위 제목은 예시 입니다. 회의록 작성 시 “날짜 ‘회의록’ (회의 내용 요약)” 형식으로 제목을 수정해 주세요:)
[회의 주제]
- FINE TUNING 방법
- 이번 방학에 했으면 좋겠는것
[To-do]
[세부 내용 메모]
- JIWON
- 5가지 fine tuning 방법 찾아 봄
- Few Shot learning: 분류하는 방법을 학습시킴
- n shot n way > way: class 개수, shot: class의 데이터 개수
- PEFT(parameter efficient fine tuning)
- Adapter
- 기존 Layer위에 작은 task를 위한 layer 추가
- LoRA
- Adapter 비슷한 Fine tuning, low Rank를 가지는 layer를 각 layer에 삽입
- Prompting
- NLP에서 사용하는 fine tuning 방법
- pre train > prompt 생성 > fine tuning
- Prefix Tuning
- prefix 를 잘 하게 만듦
- 간단한 계획
- LoRA, Adapter, Other FineTuning Method 등을 하나씩 맡아서 공부해보고, 학습시켜보기
- 설문 어떻게 할지
- 그대로 공유하면 좋을 듯
- 20대 고정도 상관없을 듯.
- 초기기억 찾기 > 전문가가 원하는 것만큼 잘할수 있을지 의문
- 설문조사의 의의?
- 그림에 대한 감정 데이터 셋 생성
- 데이터셋 만들고 다시 여쭤보고 어느 방향으로 쓸 수 있을 것 같아요~ 나오면 좋으니까
- 다음주에
- 맡은 finte tuning 방식 하나 ㄱㄱ
- TAEWAN
- 어떤 모델이 있는가
- Hugging Face
- User들이 만들었던 모델 공유하는 사이트
- Models - emotion → 모델 정보들을 얻어낼 수 있음
- 대부분 사람의 얼굴을 tracking > 전체적 맥락 tracking 경우는 적음. 이걸 어떻게 해야할까를 고민해보는 것도 좋을 듯
- JUNSU
- 설문조사
- 타겟층 제한 x
- 구체화보다는 그냥 모으자
- LoRA 같은 건 좀 더 찾아봐야할 듯
이번 방학에 했으면 좋겠는 것
- 설문조사로 얻은 sketch data로 학습시켜보기
LOADMAP
- 설문조사 시작
Fine Tuning 기법 공부
- 각자 하나씩 맡아서 하되, LoRA같은건 같이 나머지는 하나씩 맡아서 학습시켜보자!
- 최근에 나온 상위 몇개 Fine Tuning 기법을 공부하고 test해보자
- LoRA를 먼저 하고, 나머지 하는 것도 좋을 것 같음.
1주차: LoRA 이해하기
2주차: LoRA 코드 뜯어보기
3주차: LoRA 기법으로 뭔가 fine tuning 시키기
- 설문조사 완료
모은 data 정리하기
- 개강
설문 의견
지원, 태완, 준수, 아현: 그대로 내는 것에 찬성
→ 나이 고정하면 물론 좋겠지만, 표본이 적어질 수 있다.
→ 구체적인 질문을 지금 정하기 힘들다.
[다음 회의 주제 및 To-do]
LoRA 이해해오기