Notice / Previous Week
[전체]
[From Team 철]
[From Team 헌]
Next Week
- 참고 논문 리뷰[
ieeexplore.ieee.org
]ieeexplore.ieee.org
⇒ 각자 리뷰한 내용 정리해서 Model-Build 에 올리기
- GPT 이용해서 색상 설명 확인 및 결과 공유
⇒ 논문 내용 정리 아래에 결과 정리해두기
- 방향성 관련 발표 준비
#이후 미팅은 화요일 19:00에 대면 진행#
Memos
< 제안 >
- 사진이 주어졌을 때 색상을 뽑아서 text로 말할 수 있게 만들기
- dominant color 뽑아내는 논문을 재현
- 단순히 재현만 해서는 의미가 없을텐데 이를 발전시키는 방향으로 연구
- 후천적 시각장애인 전제
- 데이터셋을 만드는 과정이 필요
- 가능성을 보기 위해 단계적으로 참고 논문의 color data를 넣어 모델 테스트 진행 필요
- Determining region color by using maximum colorfulness
LLM 실험할 때 Llama 3 등 오픈소스 활용해서 파인튜닝 진행- 일단 당위성을 찾는 단계이므로 GPT 사용,,,! 추후 writing 할 때 타 모델과 비교시 이를 사용하자!
< 한계 >
- 선천적 시각장애인 분들은 고려 못함
< 주제 구체화 >
- 기존 연구와의 차별성
- 왜 이 연구를 해야하는가
- 논문의 의의가 무엇인가
< 결론 >
- dominant color 뽑아내는 논문을 재현 & 발전
- 후천적으로 시각 장애를 갖게 된 분들에게 다시금 색상을 느낄 수 있는 경험을 제공하는 방향 → 이미지에 대해 모델을 적용해 색상을 묘사
- GPT에 각자의 프롬프트 만들어서 target 이미지에 대한 Color Palette set을 이용해서 결과 분석해오기 & 다음주에 결과 공유
- 7/5(금요일) 미팅 때 코멘트 받기
CoLLaVO
ByungKwanLee • Updated Nov 12, 2024
[핵심 내용]
- 계획
- DCE 논문 분석
- GPT 색상 표현력 러프한 테스트
- (2트랙 진행) DCE 모델 재현 + User study 및 LLM 모델 테스트
- …
DC가 필요한 이유는, 일종의 color seed를 주는 것
Color seed를 제공함으로써 음영은 어떻게 지고 있는지 등을 잘 표현할 수 있지 않을까?
나중에 데이터로 쓰기 위해서는, 더 많은 LLM 모델에 대해 테스트해봐야 하며, 실제 후천적 시각장애인들 중 색상을 파악하는 능력이 떨어지는 분들 대상으로 user study 진행해야 함!
- 조사가 필요한 부분
- 시각 장애의 종류
- 최신 시각 장애 통계
- 색상 인지가 어려운 장애인들의 수치적 통계가 필요