To-Do
multi label이 라벨링 되어있는 데이터 셋 찾기 → DES(Dimensional Emotion Space) 이미지 데이터
⇒ 얼굴 인식이나 텍스트에 관해서는 Dimensional Emotion Space를 사용하는데, 이미지에 관해서는 많이는 없는듯,, 잘 찾아보기!!
Keyword: Dimensional Emotion Space dataset
거대 기업에서 pre-trained data를 만든 다음, 이후 개개인이 각자에 입맛에 맞게 tuning 한다! tuning 방법으로는 Transfer learning과 Fine tuning이 존재한다. 둘 이 비슷한 거라고 생각해도 된다? Fine tuning이 전이 학습의 일부?
Transfer learning
사전 훈련된 모델의 선택과 인스턴스화
첫 단계는 대규모 데이터셋(예: ImageNet)으로 사전 훈련된 모델을 선택하고 인스턴스화하는 것입니다. 이러한 모델들은 이미 광범위한 특징을 학습했기 때문에, 새로운 문제에 적용하기에 이상적입니다.
모델의 상위 층 동결
선택한 모델의 상위 층을 동결시킵니다. 이렇게 함으로써, 이미 학습된 특징들이 새로운 데이터로 인해 손상되는 것을 방지할 수 있습니다. 동결은 해당 층의 가중치가 학습 과정에서 업데이트되지 않도록 하는 것을 의미합니다.
새로운 출력 층의 추가
모델에 새로운 작업에 적합한 출력 층을 추가합니다. 예를 들어, 분류 작업의 경우, 새로운 클래스 수에 맞게 조정된 분
류 층을 추가할 수 있습니다.
새로운 데이터셋으로의 훈련
추가된 새로운 층과 기존 모델의 일부 층을 새 데이터셋으로 훈련합니다. 이 과정에서 모델은 새로운 데이터에 특화된 특징을 학습합니다.
전체 모델의 미세 조정
일단 새로운 층이 어느 정도 학습되면, 전체 모델의 동결을 해제하고 전체 모델을 미세 조정할 수 있습니다. 미세 조정은 모델이 새 데이터에 더욱 잘 적응하도록 돕는 과정입니다. 이 단계에서는 학습률을 낮게 설정하여 사전 학습된 가중치를 세밀하게 조정합니다.
fine tuning
초기 가중치 활용
사전 훈련된 모델의 가중치를 시작점으로 사용하는 것은 파인 튜닝의 핵심입니다. 이 초기 가중치들은 이미 많은 일반적인 특징들을 학습한 상태이며, 이를 기반으로 새로운 데이터에 대한 학습을 보다 효율적으로 진행할 수 있습니다.
조정과 재학습
모델의 일부 또는 전체를 새로운 데이터셋에 맞게 조정하고 재학습하는 과정을 통해, 모델은 특정 태스크에 더욱 최적화됩니다. 이 과정에서 모델의 아키텍처를 조정하거나, 학습률과 같은 하이퍼파라미터를 세밀하게 조정할 수 있습니다.
학습률 조절
파인 튜닝 과정에서는 학습률을 낮추는 것이 일반적입니다. 이는 사전 훈련된 모델의 지식을 세심하게 보존하면서 새로운 데이터에 맞춰 조정하는 데 필요합니다. 너무 높은 학습률은 사전 학습된 유용한 특징들을 손상시킬 수 있습니다.
