위 제목은 예시 입니다. 회의록 작성 시 “날짜 ‘회의록’ (회의 내용 요약)” 형식으로 제목을 수정해 주세요:)
[회의 주제]
[To-do]
- 8월에 각자 뭐 맡아서 할건지
[세부 내용 메모]
- JIWON
- Param: Base Model, num of class, lora rank, criterion, optimizer, num of epoch
- Base Model
- Resnet > CoCA, ViT 사용
- CoCA: 17%
- ViT: 35% (Epoch2 까지만 돌린거긴 함)
- Num of Class
- 10개 > 8개
- 정확도 올라감
- LoRA Rank
- 16rank로 바꿈 > 55%까지 올라감(ViT based, epoch 2)
- Criterion
- cross entropy
- Optimizer
- adam
- Num of Epoch
- 얼마가 적당한지 아직은 잘 모르겠음..
파라미터 바꿔가며 정확도 높이기
- TAEWAN
- ViT를 PEFT형식으로 전이학습
- log > Colab에서는 작동 안함
- Dataset: visual emotional analysis
- normalize 과정 > PEFT로 바꾸기
- training loss 줄어드는 것 확인 가능
- validation이 잘 안됨..
- model
- adpater config, adpater model, preprocesor 세개가 나오는데 이걸 모델로 활용
→ 태완님 사이트 참고
사용한 Dataset: 
huggingfaceFastJobs/Visual_Emotional_Analysis · Datasets at Hugging Face
huggingface
FastJobs/Visual_Emotional_Analysis · Datasets at Hugging Face
We’re on a journey to advance and democratize artificial intelligence through open source and open science.
- AHYEON
- 논문 참고
- Hugging face 링크 참고해서 코드 작성 → R 불러오는 부분에서 오류가 생겼다
- Hugging face에서 알려주는 것 있다
- JUNSU
- LoRA example 돌려봄
- Model parameter 가져와서 dict 만들고 전처리
- RAM을 모두 사용한 후 세션이 다운되었습니다. 에러가 계속 발생
- 점점 data를 줄였는데 overfitting되는 결과로 이어짐
- HOJIN
- 단순화된 예제를 찾으려 시도
- LoRA parameter
- r 바꾸면서 시도했음
- ISSUE
- Timeout
- RAM 등등
- transfer learning 논문 update 하고 있는데 보면 좋을 듯(link)
[다음 회의 주제 및 To-do]
- 서로 Code Reivew > 문제점 찾아내기, 해석 1~2명 정도
- 각자 하고 싶은 거 하나, 추천해주는거 2개 정도(adapter, lora 빼고 fine tuning 방법)
- fine tuning말고도 적은 데이터로 높은 정확도 낼 수 있는 방법 찾아보기
- RAM 에러 뭔지 확인해 보기
- 담주 시간
- 투표 올릴 예정~