위 제목은 예시 입니다. 회의록 작성 시 “날짜 ‘회의록’ (회의 내용 요약)” 형식으로 제목을 수정해 주세요:)
[회의 주제]
중간 보고서 draft
- 연구 목표 - 권태완
- 미사여구가 필요한가 → 많이 써도 나쁘지 않지 않을까
- 목표는 1차 목표, 최종 목표까지 필요한가 → 통일성 높이게 맞추자… → 스케치 데이터 사용 명시..
연구의 1차 목표는 감정 분류를 위한 높은 성능의 AI를 설계하는 것이다. 이를 위해 선행되는 목표가 2가지 있다. 첫째로 모델을 학습시키기 위한 데이터를 모으는 것이고, 두번째는 모델을 학습을 위한 최적의 방법 중 하나인 “전이 학습”에 대해서 공부하는 것이다. 첫번째 목표를 위해 우리는 설문 조사를 계획했고 두번째 목표를 위해 논문을 찾아보았다.
질문
본 연구는 스케치 데이터를 통한 감정 인식의 가능성을 탐색하고, 이를 어떻게 심리치료라는 도메인에 적용할 수 있을지 탐구함으로써, 기존에 인간에게 의존해야만 했던 심리치료 방법을 비언어적인 방식을 통해서 탈피하는 것을 목표로 두고 있다. 연구의 1차 목표는 스케치 데이터를 수집하고 이를 통해 감정 인식을 위한 분류 모델을 설계하는 것으로, 전이 학습을 적용함으로써 문제를 해결하고자 한다. 본 연구의 첫 번째 단계에서는 스케치 데이터를 수집하는 작업을 진행하게 될 것이다. 이 데이터는 설문 조사를 통해 다양한 참가자들로부터 얻어지며, 참가자들은 자신의 감정 상태를 반영하는 스케치를 제작하게 될 것이다. 이렇게 수집된 스케치는 후속 연구에서 감정 인식 모델을 구축하는 기초 자료로 활용되어, 모델의 학습 과정에서 중요한 역할을 하게 될 것이다. 특히 본 연구가 심리치료 분야에 미칠 잠재적인 영향을 고려해 보았을 때, 추후에 개발될 모델은 치료사와 환자 사이 비언어적 커뮤니케이션의 한 축을 담당할 수 있을 것으로 보인다.
- 연구 진행 상황 및 실적 — 지원, 호진
- 설문지 제작 및 데이터 수집
- 위 여덟 가지 감정 중 오늘의 기분과 가장 유사한 감정을 선택한다.
- 선택한 감정이 표현된 사진(Figure 1)을 보고, 사진에서 느껴지는 감정이 무엇인지 생각해 본다.
- 사진에서 느껴진 감정을 그림을 그려본다.
- 그림의 의도를 적는다.
- 자신이 그림을 보고 선택한 감정을 잘 느꼈는지, 잘 느꼈다면 이 감정이 자신의 그림에 잘 표현되었는지 평가해 본다.
- model 탐색 및 이론 학습
- zero-shot prompting
- 예술치료 방법 논문 리뷰 (약 30편) - HTP, VR 3D 예술치료, 등등..
현재는 설문지 제작 및 데이터 수집, model 탐색 및 이론 학습, zero-shot prompting test 세 가지가 진행되었다.
그림 데이터 수집을 위해서 설문지를 제작해 보았다. 설문은 Mikels model(Mikels et al, 2005)을 기반으로 해서 작성되었다. Mikels model은 감정을 개별적인 범주로써 보는 CES model 중 하나로, 8가지로 감정을 정의하였다. Mikels model에서의 8가지 감정은 긍정(amusement, awe, contentment, excitement) 4가지, 부정(anger, disgust, fear, sadness) 4가지로 이루어져 있다. 설문은 다음과 같이 이루어 진다.
설문을 통해서 우리는 두 가지 데이터를 얻을 수 있다. 먼저 VEA 연구에 도움이 될 수 있는 자료를 얻을 수 있다. VEA는 Visual Emotion Analysis의 약자로 시각적 자극에 대한 감정적 반응을 예측하는 연구이다(Yang et al, 2023). 설문 조사의 2번, 5번 질문을 통해 이러한 연구에 도움이 될 수 있는 결과지를 제공할 수 있을 것이다. 둘째로 감정이 담긴 그림 데이터 셋을 얻을 수 있다. 현재 감정이 담긴 사진 데이터 셋은 Emoset, FI 등 많이 존재하지만, 감정이 담긴 그림 데이터 셋은 쉽게 찾아볼 수 없다. 하지만 이 설문을 통해서 감정이 담긴 그림 데이터 셋을 얻을 수 있고, 특히 이는 미술치료에 도움이 되는 여러 label이 달린 데이터로써 추후에 여러 활용이 가능할 것이다.
설문의 배포하기 위해 간단한 파일럿 설문을 진행해 보았다. Figure 2, Figure 3은 응답자 다섯 명에 대한 그림과 피드백 결과이다. 현재 이를 바탕으로 설문 수정을 진행하였고, 최종 배포 전에 미술치료 전문가분께 마지막 피드백을 부탁드린 상태이다.
우리 연구에서의 핵심은 Transfer Learning이다. 이를 위해서 Transfer Learning에 대해서 학습해 보았고, 이와 더불어 SOTA에서 우리가 사용해볼 수 있는 model들을 살펴보았다.
Transfer Learning을 학습하기 위해서 여러 공학 블로그들을 읽어보았다.
SOTA에서는 현재 우리의 task인 image classification 부분을 찾아보았고, 그 중 image net을 기반으로 한 model들을 탐색해 보았다.
탐색한 model 중 image classification 14위에 위치하고 있는 MAWS model에 대해서 zero-shot prompting을 진행해 보았다. prompt의 label을 바꾸어서 prompting을 진행해 보았고, test data로는 파일럿 설문을 통해 얻은 그림들을 사용해 보았다. 결과는 Figure 4와 같다. Figure 5와 같은 정확도를 얻을 수 있었다.
Exact | Approximate |
25% | 100% |
VAE는 Visual Emotion Analysis의 약자로 시각적 자극에 대한 감정적 반응을 예측하는 연구이다(Yang et al, 2023). 설문 조사의 2번, 5번 질문을 통해 이러한 연구에 도움이 될 수 있는 결과지를 제공할 수 있을 것이다.
zero-shot
1. 연구를 위한 기본 이론 학습
현 연구는 전이 학습 (Transfer Learning) 을 이용하기 위한 감정 학습 데이터 제작을 현재 진행 목표로 하고 있다. 기본적으로 미술치료 이론 및 방법들을 학습하기 위해 논문 리뷰를 진행하였으며, 해당하는 논문들은 다음과 같다.
2. 데이터 수집을 위한 설문조사 작성
감정 분류 기준은 기존에 알려진 감정 데이터인 Emoset의 “9가지 감정” 으로 한다.
추가로 데이터를 모으기 위해 “주어진 감정에 관한 그림 그리기” 설문조사를 만드는 중에 있으며, 미술치료 전문가들을 연락해 현 산업에 관해 설문조사 피드백 및 미술치료 산업에서 위 연구의 유용성에 관련한 여론 수집 중에 있다.
실제 전문가들의 답변들로는 “본인이 고른 감정에 대해 그려보라는 질문은 광범위한 제시이니 수정하면 나을 거 같다.” “ 미술 치료 데이터 수집을 위해 특정 타켓층을 정해보는 것은 어떨까? 20대 심적 우울증을 이끌어내는 것도 좋은 방법이다.” 등이 있었다. 전문가 조언들을 토대로 설문조사 수정 중에 있으며 관련 피드백 및 현 미술치료 데이터 수집에 도움이 될만한 내용들을 추가로 반영할 예정이다.
3. 전이 학습 및 모델 테스트
전이 학습의 구체적인 활용 방법에 대해 이론 학습 중에 있으며, 추가로 현재 알려진 Sota (State-of-the-art) 모델들을 실제로 받은 테스트 데이터들을 돌려 정확도를 실험하였다.
MaxVit-L, Clip Library 등 실제로 감정 분류에 효과적이었던 모델들이 있었고, 우리가 목표로 하는 감정 분류와 관련된 모델들을 계속해서 돌릴 예정이다.
3. 중간성과 및 문제점 — 아현
현재까지 (1)Reference Review를 통해 주제를 좁혀갔고, 그 결과 sketch dataset을 모아 이를 예술 치료에 활용할 수 있는 AI를 만들자는 결론을 내렸다. (2)그 후 sketch data를 수집하기 위한 도구로 설문조사를 선정했으며 emoset의 감정 분류 기준을 label로 하여 data를 얻을 수 있는 설문조사를 제작하였다. 이 설문조사는 예술치료 협회의 전문가분들께 연락드려 피드백을 받고 있는 중에 있다.
또한 전이학습을 통해 sketch data 속 감정 분류 모델을 제작하기 위한 기반 모델을 찾기 위하여 (3)SotA의 emotion recognition field의 모델들을 실행해보았고, 그 중 효과적인 모델(MaxVit, Clip 등)을 찾아 몇 개의 sketch data에 적용시키고 있다.
문제점
- 구글 폼을 이용해 설문조사를 받고 있는데, 충분한 양의 sketch data를 얻을 수 있는가는 challenge라고 생각됩니다.
- 우리가 제작한 AI가 예술치료에 어떤 방법으로 도움이 될 지는 명확히 결론이 나지 않았다는 문제가 있다.
- 논문 리뷰를 통해 기반을 쌓았다.
- 전이학습 등 지식 쌓았다.
- 설문조사 만들었다.
- Sota 모델들 돌려봤다.
- 향후계획 — 준수
- 설문조사
방학기간 동안에도 계속 설문조사를 진행하여, 그림 sketch data를 계속 수집할 것이다.
설문조사의 항목은 미술치료 전문가의 조언, 연구가 진행되는 방향성에 따라서 변경되거나 내용이 업데이트 될 수 있다.
- AI model selection & fine-tuning
SOTA의 accuracy가 높은 image calssification model 중에서 우리 연구에 이용될 데이터셋과 유사한가? 정확도가 높은가? 등의 여러 기준에 부합하는 AI model을 선정한다. 선정된 AI model을 fine-tuning하여 감정 인식에 대한 output을 도출하도록 코딩한다. fine-tuning된 AI model에 수집한 sketch data set을 넣고 model을 실행하여 결과를 도출한다. 도출된 결과의 accuracy를 높이는 여러 방법을 제안하고 적용해 나갈 것이다.
- 미술치료 분야에 적용하기
도출한 결과를 바탕으로 미술치료 전문가분께 조언을 구하여 본 연구가 미술 치료에 어떻게 적용이 될 수 있는지 추가적인 자문을 구해보거나, 추후 AI model을 어떻게 적용할 수 있는지, 팀원들과 함께 회의한 후 앞으로의 방향을 더 제시할 계획이다.
참고 자료
Joseph A Mikels, Barbara L Fredrickson, Gregory R Larkin, Casey M Lindberg, Sam J Maglio, and Patricia A Reuter Lorenz. Emotional category data on images from the interna tional affective picture system. Behavior research methods, 37(4):626–630, 2005.
Yang, Jingyuan, et al. "EmoSet: A large-scale visual emotion dataset with rich attributes." Proceedings of the IEEE/CVF International Conference on Computer Vision. 2023.
memo.
순서는 호진님껄 따라가자.
연구 관련 논문 표도 첨부하면 좋을 것 같음.
설문 피드백
학생 피드백
한국어 번역 + 어떤 감정인지 설명
- 설문 방법 이해 안됨 > 아예 우리 연구를 모르는 사람이 봤을 때 이해될 수 있도록 하기
그림 그리는 설문이라는 걸 맨 앞에 대놓고 둬야할 듯
- 감정에 맞는 그림을 그리는 거? 사진을 보고 느낀 감정을 그리는거? (내가 느끼는 감정 vs 그림에서 감정이 드러나게)
감정의 기준 필요 (태완.5)
→ 자신이 그린 그림을 보았을 때 해당 감정이 잘 느껴지나요? 라는 질문을 할거라는 걸 암시하면 좋을 듯
→ 주관식으로 적는 것도 나쁘지 않을 것 같다.(예시로 이렇게 줘도 될 듯 > amusement70% excitemetnt 30%)
- 속성에 대한 이해 부족 어케 해결? (e.g. 부정적 감정에 colorful 속성 많은거,,)
→ 속성 %적어주기
- 설문을 하는데 진입 장벽이 높음..
→ 보상을 크게 크게
→ 기프티콘을 예산으로 할 수 있나?
→ 사람을 모아서 한다.
→ 지나가는 사람들한테 수집한다.
→ 한 사람한테 여러 개 받아도 됨
전문가 피드백
호진
1 : 미술 치료 데이터 수집을 위해 특정 타켓층을 정해보는 것이 좋을 걸로 보인다. 데이터를 수집할 때 타켓 대상을 정하는 것도 매우 중요한데, 내가 이 연구를 진행한다면 20대 심적 우울증을 이끌어내는 방식으로 진행할 것 같다.
2 : 산업의 큰 고민 중 하나는 사람들이 감정 표현 및 이해가 부족하다는 점이다. 여기서 미술치료에 접근한다는 것은 단순 데이터 수집을 넘어선 그 이상의 이해와 대상자에게 접근하는 방법이 중요하다. 이와 관련한 구체적인 질문을 던지는 것이 데이터의 객관성과 대상의 주관성을 같이 분석할 수 있는 좋은 방법이 될 것이다.
3 : 그림을 이용한 데이터들은 예시로 든 Emoset과 같이 여러 자료들이 있다.
여러분들이 연구의 방향을 정한다면, 좀 더 구체적이고 확실한 목적이 도움이 될 것으로 보인다. 단순히 미술치료를 위한 것이 아니라 미술치료에 어떤 부분을, 어떻게 접근하여 데이터를 제공하고자 하는가? 실제로 여러분들이 미술치료를 해보는 것은 어떤가? (미술치료가 단순히 정신 질병이 아니라 현재 상태를 가늠하게 하는 지표이기 때문에)
지원
1. 이 설문을 통해 얻은 데이터로 어떤 미술 치료를 할 수 있을지
: 이것만 가지고 어떤 미술치료를 할 수 있을지는 잘 모르겠습니다.
수집된 데이터를 통해 정서의 정도를 확인하는 결과가 나오는 걸까요?
그것이 아니라 그려진 그림을 가지고 치료사의 주관적인 인상에 의해 그림에 대한 판단을 하고 개입해야 하는 것이라면, 바로 치료개입을 정하는 것은 무리가 있다고 생각됩니다.
다만, 내가 그린 그림에게 느끼는 정서 정도와 예시 그림(예시 그림 중 어떤 그림을 선택하느냐에 따라 달라질 거 같습니다만,)에서 느끼는 정서 정도의 차이를 통해 내담자의 정서에 대한 정보를 얻는 것에는 도움이 될 것 같습니다.
2. 1번 질문에서 제안해 주신 미술 치료를 하기 위해서 설문에서 추가로 받았으면 하는 질문들
:최근 느끼는 어려움 또는 미술치료를 받고 싶은 이유. 자신이 그린 그림에 대한 스스로의 느낌, 감상. 예시 그림 중 어떤 그림(사진)을 선택했는 지의 정보
3. 이 외에 추가 조언들
만약 미술치료에 도움이 될 수 있는 부수적인 자료를 개발하는 것이라면, 이것이 어떻게 어떤 도움(초기 탐색? 정서의 정도? 등)을 주기 위한 것인지가 명확하지가 않습니다.
미술치료 과정에 어떤 도움을 주고 싶어서 든 혹은 전혀 다른 이유이든 개발하고자 하는 목적이 분명하면 좋겠습니다.
그림을 통한 정보라면 현장에서 바로 그리게 할 수도 있고, 객관화된 그림검사도 있는데, 그럼에도 이 기술을 이용해야하는 이유가 어떤 것일지 자료를 보면서 궁금해졌습니다.
준수
우선 본인이 고른 감정을 드러내는 그림을 업로드 하라는 설문 항목은 너무 광범위한 제시 같습니다.
예를 들어 미술치료 기법 중에 핵심감정 찾기를 위한 초기 기억 찾기 제시가 있는데 그런 더 구체적인 제한을 해보시는 건 어떨까요?
만약 감정 관련 자료가 만들어 진다면 자폐 스펙트럼 같은 감정을 배워야 하는 어린이들에게 도움이 될 것 같습니다.
⇒ 정리하기
학생 5명을 대상으로 설문조사에 대한 피드백을 받았다. 설문조사 초안에는 감정에 대한 설명이 부족했고, 감정을 emoset에서 따온 그대로 영어로만 적어두어 한국어 번역과 설명을 추가하면 좋겠다는 의견이 있었다. 또한 설문 방법이 잘 이해되지 않는다는 실제의견이 있어 전혀 모르는 사람들도 설문조사를 이해할 수 있도록 자세한 설명이 들어가도록 수정하였다. 또한 설문에 참여하려면 감정과 관련된 그림을 그려야하는데 이 부분에 진입 장벽이 높다는 피드백을 받았다.