10월 5주차 정기미팅

Notice / Previous Week

Memos

교수님 미팅

• 수요일(19:00-20:00) 혹은 토요일(13:00-17:00)에 진행 예정.

• 10월 보고서 내용 기반으로 진행

• metric combination을 임의로 설정해도 되는지 컨펌 받는게 좋을 듯

• 11월 말까지의 타임라인 보여드리기

• 코드 병합 상황 보고

• 워크샵 페이퍼 가능한지, 낼 만한 곳 여쭤보기

• 설문조사 어떻게 진행?
• 적어도 몇 개의 항목을 몇 명 대상으로??
• 평가 수집 항목은?
• 선호도 조사 (두 모델 중 어디 걸 더 좋아하는지)
• 평가 시 생각한 기준
• 표현 보여주고 색상 조금씩 다른 이미지 중에 제일 적절해보이는 선택시키기

• 성능 측정 방법에서 생성한 텍스트만을 이용해 이미지를 생성하고 이를 원본 이미지와 비교하는 방법도 괜찮을 것 같음.
• 가설: 색상 표현을 잘 하고 있는 텍스트를 이용하면 다시 원본에 가까운 이미지가 생성될 것이다!
• 흑백 이미지를 recoloring하는 것도 고려해볼만 한듯

모델 개발

• 지난 기간 코드 작성한 거 함수화 및 모듈화 해놀 것(+ 주석처리)
• 이번 주 금요일까지는 완료해야 됨.
• 프로젝트 폴더 구조 참고용
• CoDeMP github - https://github.com/UGRP-TCD/CoDeMP

• resize한 이미지(원본)와 resize한 이미지를 superpixel한 이미지, 총 2개의 이미지를 LLM에 넣을 예정.

표현 평가

• metric combination을 임의로 설정해도 되는지 컨펌 받는게 좋을 듯

• Metric 관련자료
LLM 미팅 [metric performance code]

• 성능 측정 방법에서 생성한 텍스트만을 이용해 이미지를 생성하고 이를 원본 이미지와 비교하는 방법도 괜찮을 것 같음.
• 가설: 색상 표현을 잘 하고 있는 텍스트를 이용하면 다시 원본에 가까운 이미지가 생성될 것이다!

• 설문 참가자에게 생성된 텍스트만 보여주고, 텍스트에 가장 부합한 이미지를 선택하게 하는 방법.