위 제목은 예시 입니다. 회의록 작성 시 “날짜 ‘회의록’ (회의 내용 요약)” 형식으로 제목을 수정해 주세요:)
[회의 주제]
[To-do]
[세부 내용 메모]
JIWON
- Finetuning
- ViTFineTuning을 돌려본 듯 함.
- FC layer만 바꿔서 코드 돌림.?!
- 94%까지 정확도 나옴
- image net, CIFAR10의 이미지가 서로 유사했기에 가능했던 듯
- 일부 frozen 나머지 학습
- fc layer추가
- ViT
- Adapter
- multihead attention layer, feed forward layer 뒤에 adapter를 붙임
- Adapter도 epoch 2에서 정지되었음 > layer 2개만 시키는 것보다 LoRA나 Adapter가 더 많은 메모리를 소모하는걸까?
- Visual Emotional Analysis data 쓰니까
- accuracy가 0% 나옴
TAEWAN
- Prompt Tuning
- sequence to sequence model에만 적용이 가능한 듯(Text model에만,,)
- prefix tuning과 비슷한 아이디어
- 전반적으로 간소화
- softprompt
- prompt 생성방법, 형태에 따라 manual-search/auto-search/hard/soft 로 나뉨.
- FourierFT Learning
- Fourier 계수 활용
- 푸리에 변환 > 주파수 분석 > 비슷한 애들끼리 classification
- 코드 돌려보니 > 검증하는 과정이 필요할 것으로 보임..
HOJIN
- DoRA
- PEFT 방식으로 구현, LoRA 에 adapter 추가하는 것이었음
- 감정분류 측면에서는 성능에서 많이 밀린다
- Hyperformer
- 다중작업학습에 특화된 모델
- 여러개의 관련 작업을 동시에 학습해 성능을 높임
- 비용이 높은 편
- Hypernetwork를 통해 작업 간 정보 공유
- 다양한 감정에 대한 판단을 진행해야하기에 사용할 수 있지 않을까?
- Huggingface
- zero shot classification
- ViT based image classfication 모델 분석
JUNSU
- Prefix Tuning
- Text data에 주로 적용시키는 방법
- 모델 파라미터 고정, prefix vector만 추가로 학습
- prefix tuning 통해 추출한 결과를 prompt tuning에 적용시킬 수 있다.
- text에 적용시키는 예시 시도
- 아직 막히는 부분 존재 > 다음주에 우리 방향성에 맞는 finetuning 방법 찾아보자
다음주에도 코드 안돌려봤으면 코드도 돌려보고 정확도 낼 수 있는 코드를 쓰면 좋겠다!
image field 적용 못한다면 짰던 코드 중 수정해야할 것 해보면 좋을 듯(정확도 0% 였던것)
dataset 관련해서 더 이야기 해보자
- dataset을 찾아서 우리 원하는 template에 맞게 수정해서 우리만의 dataset을 만들어보자
- Diffusion 모델을 합쳐서 어쩌구저쩌구,,.
[다음 회의 주제 및 To-do]
- dataset 찾아보기(감정 dataset 위주로…)
- 코드 수정
- 설문조사도 틈틈이