위 제목은 예시 입니다. 회의록 작성 시 “날짜 ‘회의록’ (회의 내용 요약)” 형식으로 제목을 수정해 주세요:)
[회의 주제]
LoRA 학습 내용 공유
[To-do]
[세부 내용 메모]
- 설문조사 16명 정도 모임!
TAEWAN(link)
- 장점: latency가 없다
- Prefix tuning & Adapter
- 이 아이들의 단점을 해결하기 위해 LoRA가 나왔다
- PEFT(Parameter Efficient Fine-Tuning)
- HuggingFace 사이트에 자세히 적혀있으니 시간날때 읽어보는 거 추천!!
- Example들도 꽤 있음.
- Example들을 가져옴
- result: 모델을 PEFT 모델로 변환시켰을 때 훈련가능한 파라미터 수
- LoRA 중에서도 DoRA
- LoRA 사용해보기
- 검증까지는 못했었음.
- PROCESS
- Data set load
- label mapping
- image processor load(pretrained model)
- image 변환 설정
- data 전처리 함수 설정 > LoraConfig 함수 활용
- 실제로 사용할 때 태완님 정리한거 참고하면 좋을 듯!!
- 큰 모델 쓸때는 pro가 필요할 것 같음
⇒ LoRA 쓰는데 사용하는게 파라미터가 전체의 0.1퍼도 안된다. 근데 좋은 성능을 보임!
HOJIN(link)
- transfer learning 예시, 블로그 사이트
- iAI KAIST
- Kaist 교수님께서 강의하시는 딥러닝 수업
- 개인 방학 목표 > transfer learning 논문 읽어 전달하기
- LoRA example을 먼저 살펴봄
- LoRA Adapter 사용 방법
JIWON(link)
- LoRA Youtube Lec
- PEFT
- Adapter, Prompting 이 대표적 > 기존 파라미터의 변화량을 통해 학습시키겠다
- Adapter
- adapter를 추가로 넣어서 그 어댑터만 학습 시킴
- Multi header attention module - feed forward network
- Sequential 하게 연산 수행되야하기에 inference latency가 발생(두 모듈에서 output을 받은 뒤 수행되기에)
- LoRA A, B initializing
- LoRA Python Example
- setting
- resnet pretrain model로 씀
- crossentropy 손실함수
- adam optimizer
- LoRA 계층 추가
- 100개 subset으로 해봤을 때 20~13% 정도 뿐이었음..
- Validation
- Seminar?
- 각자 GitHub Repo 파고, 코드 올리기
- 학회?! 기숙사비로,,
- 설문조사 15명씩 해오기
Ahyeon(link)
- LoRA 조사
- 파라미터 줄이기 + 학습 및 추론 비용 절감
- A, B low rank로 해서 높은 성능을 유도함!
- next
- 실제 파인 튜닝 시켜보기
학회 링크
시간 조정
평일 오후 6~10시 사이
[다음 회의 주제 및 To-do]
- 방학 끝날 때까지 15명씩 설문조사 해오기!!
- 20대 아녀도 됨
- 학회 갈 사람?!
- 예산 신청 > 학회 순서?
- 확정되면 태완님이 여쭤보아주시기로 함,,
- LoRA Example 돌려오기,, 정확도 50%이상을 목표로?!
- dataset 사용 수를 적게 해보자