[Origin]
[Summary]
Emoset이 무엇인지에 대해 설명하는 논문
[Contents]
[Abstract]
VEA: Visual Emotion Analysis
시각적 자극에 대한 사람의 반응 예측, affective computing에서 유망한 주제
DataSet: Emoset
118,102개의 사람이 라벨링한 이미지
[Introduction]
VEA의 목표
시각적 자극에 대한 감정적 반응을 예측하는 것을 목표로 한다.
ex. 사람들은 밑의 사진을 보면서 시각적 반응뿐만 아니라 감정적 반응을 한다. 감정은 주관적이지만 경향성을 띈다.
Figure 1: EmoSet images are annotated with eight emotion categories (blue) and six emotion attributes (orange), where different attributes may evoke different emotions. ⇒ (Emotion의 special한 특징 부분 참고)
++ VAE는 다양한 분야에서 사용되고 있다!
Point
이미지와 감정 사이의 격차를 어떻게 해소할 것인지 → large dataset 필요 → Emoset
⇒ 단순하게: 스케치 이미지를 통한 감정 분류 모델 → 주제가 없는 그림의 감정을 판단하는데 있어서 사람의 분석보다 나을까?
Emoset의 special한 특징
📌속성: 감정에 대해 ‘설명 가능하게 끔’ 해준다. → 중요!!!
→ 이미지가 특정 감정을 불러일으키는 이유를 쉽게 설명할 수 있도록 속성이 라벨링 되어있다.
→ 잘 이해했는지 모르겠지만, 예를 들어 Figure1의 [0,0] 사진을 보면 왜 Amusement인지 직관적으로 이해가 가지 않을 수 있는데, colorful이라는 속성을 주석으로 달아놓으므로써, ‘아! colorful하기 때문에 Amusement하구나!’라고 이해할 수 있게 돕는다~~라는 뜻인듯….
→ 이러한 속성은 심리학 연구에서 비롯된 것일 정도로 의미있는 속성인듯!??
→ 질문: 한 개의 이미지에는 한 개의 속성만 달리나?
📌다양한 이미지
Emoset 제작
어떻게 어떻게 라벨링 했다… 매우 많이…
By querying 810 emotion keywords based on Mikels model [29], we collect 3.3 million candidate images from four different sources to form the EmoSet-3.3M dataset. A subset of EmoSet-3.3M is then labeled by human annotators, yielding the EmoSet-118K dataset.
[Raleted Work]
[Construction Emoset]
Data Collection
감정 카테고리
- Mikels model을 기반으로 한 감정 카테고리
→ 8가지 범주의 감정들: 긍정 4가지(amusement,awe,contentment,excitement), 부정 4가지( anger,disgust,fear,sadness)
- 8가지 범주를 바탕으로 동의어 화(?)
→ ex. sadness: depression,sorrow,mourn,despair, grieve
→ 부족한 단어들은: amusement ⇒ amuse, amusingly 등으로 매핑(?)
- 동의어들을 바탕으로 이미지 검색
→ 최종적으로 810개의 키워드였다…
Emoset 3.3M: 데이터 셋 형성
자동으로 8가지 감정에 대해 라벨링 함
중복 라벨링 되어있는 경우 유사성을 고려하여 한 라벨만 남김
총 330만개의 이미지
딥러닝 이용
→ 약하게 나마 활용이 가능하다. (자동으로 주석 단 것이기 때문에)
Emotion Attributes Design
속성: 인간 감정과 관련된 몇 가지 시각적 단서를 파악하기 위해…
심리학 연구를 바탕으로 속성 구성
low-level: brightness, colorfulness
mid-level: scene type, object class
high-level: facial expression, human action
→ 질문: 한 개의 이미지에는 한 개의 속성만 달리나?
→ 질문: 속성이 object class같은 큰 범주 (ex. 작은 범주는 나무, 차 등…)에서 라벨링 되나?
Human Annotation
사람이 직접 달아두는 주석
테스트를 통해 60명의 주석가 고용
해당 툴을 활용하여 그림 평가: 7명 이상의 사람이 같은 것에 라벨링 했을 때만 이미지의 라벨을 유지
이를 통해 Emoset-118k 구성
[Analysis of Emoset]
[Evaluation Emoset]
[Conclusion]
정리
이모셋의 목표
- 다양하고 균형 잡힌 대규모 데이터셋
- 주석
- 속성
한계점
- 각 이미지가 여러 감정을 유발할 수 있는데, 이모셋에서는 한 가지 감정만을 유발한다고 가정했다.
[Problem]
Target 데이터의 신뢰성
데이터만을 일반 사람들껄로 하고, 실제 실험만 심리 치료 대상자
이후 예술치료 단계에서의 신뢰성
‘그냥 chacha 같은 곳에 곁들여 쓰자’ 같은 결론 내기
→ 그냥 우리는 그림으로써 소통할 수 있는 툴을 만들었다 ~ 어린 아이들이 감정을 표현하기 힘들기 때문에 ~
더 나아가 application에 활용? (ex. 타로)