2024/08/04 회의록 (코드 리뷰)

[회의 주제]

[To-do]

[세부 내용 메모]

• 태완
• 코드리뷰
• 아현 코드 리뷰
: data set 문제, 모델 문제(ViT는 이미지 분류하는 모델)
• 질문
: label 615로 나오는 이유?

• 호진
• RAM 에러
: GPU 사용 용량이 초과 되어서 발생한 문제
→ 데이터 축소해서 해결할 수 있다
→ Pro 버전을 구매하는 것도 좋을 것 같다
• AI Hub
: Hugging face → 다양한 모델이 사전 구축되어 있다
• PEFT
DoRA 라는 방식도 있다
다음 시간에 이 방식에 대해서 찾아보려고 한다
• 논문 계속 정리 중 (개인 페이지에서 확인 가능)

• 아현
• 코드 리뷰
timm 라이브러리에서 Vit 가져옴
스케쥴러?
• Fine tuning matric
• bitifit (해보고 싶다고 함)
• prefix
• knowledge distillation
• fine tuning 외에 효과적인 정확도를 얻을 수 있는 방법 → MAML

• 준수
• fine tuning 방법
• bitfit tuning → bias만 다시 학습
• 프롬프팅 → 이미지 분류에도 적용 가능
• QAT → 양자화를 이용해서 학습?!
• fine tuning 이 외의 정확도를 높이는 방법
• 데이터 증강 → 데이터 늘리기
• 레이블 스무딩 → 모델 보정? → 완벽한 확신을 줄인다?!
• 대조학습 → 텍스트와 이미지 벡터화 해서 유사도 측정(?)
• ex. CLIP
→ 아마 MAWS 인가 Coca가 이 방식으로 한 것 일 거임..!
• 앙상블
• semi supervised → 우리가 못 쓸 듯..
• RAM 에러 해결
• 배치 사이즈 조정
• 아케텍처 최적화
• 데이터 전처리
• 아마존 서버 사용 or 코랩 서버 사용
 

[다음 회의 주제 및 To-do]