아마 김예성 교수님이 추천해주신 논문이라고 함.
IEEE Transactions on Human-Machine Systems. April 2017
Abstract
Emotional states와 관련된 handwriting database, EMOTHAW 제작
Anxiety, depression, stress 등의 부정적인 emotional states가 DASS(Depression Anxiety Stress Scales)라는 척도로 평가됨
Digital tablet을 통해 7가지 task가 진행(pentagon and house drawing, words copied in hadprint, circles and clock drawing, one sentence copied in cursive writing)
Recorded: pen position, on-paper or in-air, time stamp, pressure, pen azimuth&altitude
→ timing과 ductus(?)와 관련된 측정을 계산
→ device의 위치와 관련된 측정을 계산(손이 탭에 붙어있는지 떨어져있는지 같은)
→ 측정한 것들을 random forest approach*를 이용해 classify
→ decision tree에 기반한 ML 방식을 이용해 ranking process를 만들어 targeted emotional state를 잘 나타내는 feature를 찾아냄.
Introduction
- Parkinson이나 Alzheimer 같은 질병은 글을 쓸 때 손을 떨거나 가독성이 떨어지는 경향
- handwriting은 이런 병의 early sign을 detect 하는 좋은 방법
- 이는 negative emotion을 detect 하는 것으로 확장될 수 있음
- stress의 포괄적인 definition
- [negative] emotional experience accompanied by predictable biochemical, physiological, and behavioral changes
- 다양한 source로 부터 stress를 얻고 매일 change와 challenge를 마주하며 생김
- 하지만 장기간 지속되면 우울 장애(MDD), 만성 스트레스, 분노 장애등을 앓게 될 수도
- 음성으로 데이터 얻는 건 원본이 왜곡될 가능성 존재
- 하지만 handwriting은 에러 없이 잘 전달될 수 있음
⇒ 이 논문에서는 Handwriting을 통해 인간의 negative emotion을 detect하는 과정을 제시
- 기존 연구는 얼굴표정, 음성, 몸짓 같은 걸 classification하는 것들이 많이 이뤄짐
- 이 연구에서는 손글씨에서 부정적 감정을 인식하는 방법 제안!
- 우울증-불안-스트레스 척도(DASS)를 사용해 감정 상태 label함
- 기존과의 차이점이 손글씨에 감정 label이 달렸다는 거
- DB 구축 뿐만 아니라 random forest 기반 classifier도 제안
- 시간, 필획, 작성 도구 위치 등의 특징을 계산
- random forest 기반으로 입력 특징 중요도 계산 → 순위 기반으로 분석
- ⇒ 어떤 작업, 특징이 감정을 잘 나타내는지 판단
HANDWRITING ANALYSIS FOR DIAGNOSIS PURPOSES
- Handwriting 분석을 통한 진단 목적
- 인증, 알츠하이머나 파킨슨 같은 질병 특징 파악, 필적학(거짓말 탐지) 등에서 사용
- 예시
- Clock drawing test - 11시 50분을 가리키는 시계 그리기
- 알츠하이머를 가진 사람들은 시계의 숫자 간격을 일정하게 하여 그리지 못함
- The mini mental state examination (MMSE) - 계산, 회상, 방향 설정과 같은 인지 기능을 평가하는 test
- HTP test - house, tree, person
- 성격 추론
- tablet으로 진행
- pen position, 시간, 압력, 기울기등 직접 볼 수 없는 특징도 기록된다는 장점
- 손글씨의 속도와 크기를 통해 자동으로 거짓말을 감지하는 연구도 진행되기도 함
- 근데 감정을 분석하는 연구는 없어서 연구함
Setup for Our Analysis
- Handwriting이 개인의 감정 상태에 영향을 받는다고 가정
- 우울증, 불안, 스트레스 → 세가지 감정에 초점
- DASS(최대한 우울증, 불안, 스트레스가 직교 축에 놓일 수 있도록 분류)
- DASS-우울증은 낮은 동기와 자존감 관련 항목
- DASS-불안은 공포와 패닉 인지 관련 항목
- DASS-스트레스는 긴장과 과민성 관련 항목
- 어떤 상태가 어떤 측정 값에 영향을 미치는지에 대한 초기 지식이 부족한 상태에서 random forest라는 ML기법을 제안
- random forest: 각 인식 관련 값들을 자동으로 순위 매겨줌
- 각 순위를 기반으로 감정 분석
- 129명 참가자로부터 db(EMOTHAW) 수집
- 컴퓨터 프로그램을 통해 측정
Data Collection
- WACOM Intuos 시리즈 4 타블렛과 Intuos Inkpen이라는 필기 장치를 사용하여 데이터를 수집
- 태블릿 위의 A4용지에 글씨 쓰도록 요청
- 시간 제한 없음
- svc 파일로 저장
- 수집 데이터: x 축 위치, y 축 위치, 타임스탬프, 펜 상태 (위: 0, 아래: 1), 태블릿 상대 사위각, 태블릿 상대 고도각, 펜 압력
- 속도 특징 (가속도, 속도), 순간적인 궤적 각도, 순간적인 변위, 시간 특징 등을 얻을 수 있음
- 100 포인트/초 속도로 획득한 펜 누름 및 펜 떼기 지점 획득
- Task
- copy of a two-pentagon drawing
최소 정신검사의 일부
- copy of a house drawing
- writing of four Italian words in capital letters (BIODEGRADABILE (biodegradable), FLIPSTRIM (flipstrim), SMINUZZAVANO (to crumble), CHIUNQUE (anyone)) - 대문자 이탈리아 단어 4개
복사 및 쓰기 능력 평가
- loops with left hand
- loops with right hand
- clock drawing
- writing of the following phonetically complete Italian sentence in cursive letters (I pazzi chiedono fiori viola, acqua da bere, tempo per sognare:Crazy people are seeking for purple flowers, drinking water and dreaming time). - 필기체 이탈리아어 쓰기
이탈리아 심리학과 석사 및 학사 학생들 대상
- 실험 간의 피험자 변이성을 줄이기 위해 연령 범위를 제한
- I-DASS-42는 우울증, 불안 및 스트레스를 측정하기 위해 설계된 14개 항목씩 포함하는 세 가지 자가 보고 척도를 포함하는 42개 항목 설문지
- 설문지에 나열된 각 항목을 지난 일주일 동안 얼마나 경험했는지 네 단계 심각도/빈도 척도(0~3)로 평가하도록 요청
- 참가자는 DASS 설문지를 완성하자마자 필기/그림 작업을 수행
- DASS 분석 결과
- 우울증만, 불안만, 스트레스만, 두 감정 상태 조합 (예: 우울증과 불안), 세 감정 상태 모두
- 불안 - 스트레스는 연관이 깊었음
Emotional State Recognition
- 20개의 측정값을 Random forest tree로 순위 매김
- SVM활용
- 자세한 수식은 논문에…
Experiment
- Feature analysis
- 어떤 작업이 어떤 감정을 나타내는데 도움이 되는지 상위 rank들 몇가지를 가져옴
- leave-one-out cross-validation
- 교차검증 결과를 신뢰구간과 함께 표시
- 불안 및 스트레스 인식이 우울증 인식보다 더 성능이 좋았다
- 랜덤 포레스트 실험은 R 언어 및 randomForest 및 ipred 패키지를 사용하여 수행됨
- 시계그리기 분석
- (종이 위 시간, 공중 시간)
- a: 정상(8.7초, 22초)
- b: 우울(36.8초, 39초)
- c: 스트레스(36.3초, 46초)
- 공중 시간 정보 등도 중요한 요소(스트레스 받은 사람 공중 동작은 불규칙적)
- 우울증 인식을 위한 상위 순위 특징이 모두 그림 작업에서 추출
- 쓰기 세트(8개 특징)의 특징이 그리기 세트(12개 특징)보다 적기 때문
- 그리기 특징만 사용하면 대상 감정을 인식하는 데 충분한 것으로 보임
- 하지만 쓰기 set을 이용해 implicit한 예측을 얻을 수 있음
- 불안 인식을 위한 SVM 분류기가 가장 잘 작동
Conclusion
- 감정 인식을 위한 필기/그림 데이터베이스 구축
- DASS 점수가 계산된 자가 보고 DASS 설문지를 완성
- 감정 인식 실험은 랜덤 포레스트 머신 러닝 기법을 사용하여 수행
- 우울증은 그림 작업에서 추출한 단서, 불안과 스트레스는 쓰기와 그림 단서 모두를 사용
우리도 그림파일만 받는게 아니라 과정 정보도 얻어야할까?
random forest approach*
- overfitting을 방지하기 위해 최적의 기준 변수를 랜덤으로 선택하는 기법
- 주어진 데이터에서 무작위 추출을 여러번 하여 여러개의 Decision Tree를 만듦
- 여러개의 Tree를 병렬적으로 학습해 그 중 가장 좋은 값을 채택
- 정확힌 더 공부해봐야할 듯,,