7월 1주차 정기미팅

Notice / Previous Week

Memos

논문 리뷰

• 문제점
• 하이라이트 등의 노이즈, 이미지 압축 등이 색 왜곡을 발생시키는 문제가 존재

• 방법론
• 방법: 컬러플니스가 높은 영역을 추출하기 위해 임계값을 이용해 낮은 값을 제거, hue 히스토그램을 이용해 대표 색상을 추출.

• 알고리즘

1. 입력으로 마스킹된 이미지와 원본 이미지 입력

2. CIECAM16 색공간 사용, 이미지가 무채색인지 유채색인지 구분

3. 무채색인 경우 색상의 평균을 대표로 추출, 유채색인 경우 지배적인 픽셀 집합 형성(디테일 감소 문제 존재)

4. 히스토그램으로 표현하고 가우시안 필터를 사용해 노이즈 제거

5. 픽셀 집합의 상위 10%의 평균으로 명도, 채도 계산

• 연구 방향성
1. 모델에 대한 알고리즘이 자세히 나와있지 않기 때문에 참고 문헌을 분담해 공부 후 모델 구축
2. CIECAM16 색공간은 계산 복잡도가 높다는 단점 존재 → 최적화 방향으로 나아가는 것도 나쁘지 않을듯
3. 모바일 디바이스 등을 이용해 실시간 처리가 가능하도록 계산 리소스를 낮추는 방향성도 긍정적.
4. original 이미지(a)로부터 가공된 이미지(b) 생성 → (a)와 (b)를 동시에 input으로 넣어 text 생성
1. 기존 논문 제헌 + masking
2. masking 개선
3. 색상 표현 개선
4. 최적화
1. 일단 성능을 높이고 최적화를 진행

• 연구 필요성
1. 시각 장애인 분들이 모바일 디바이스를 이용해 오프라인 매장에서 실시간으로 옷의 색상을 파악.
2. 색상 추출이 실시간으로 된다면 자율주행 등에도 활용 가능.
 

• 해당 논문에서는 작은 부분은 다 날렸는데 세밀한 부분까지 고려하여 finetuning

• 왜 lightness만 오메가에서 가져온까

• 자문 구하면 좋을 듯한 교수님
• unist 곽영신 교수님
• Color Lab | UNIST

  Color Lab | UNIST

  Color science is the study of colors. It focuses on research of how human eyes recognize colors – how light is perceived as colors and how the perceived colors affect humans’ emotions. Color science is a critical study in the industrial area, where the color perceived by the human eyes affect the quality of products such as imaging devices, like the television and cameras, lighting and more. Color science is the technology that reenacts the color or image optimized for the different areas of industry based on color science theories.

GPT 결과 비교

• “비유”라는 키워드를 넣어주면 표현이 너무 장황해짐.

• DCE모델 output을 넣어주면 오히려 색채 표현이 제한됨

• 셔츠는 회색인데 순백의 색상이라는 다른 결과값 도출되는 경우가 발생하기도 함

• 표현이 장황해서 이해에 어려움이 있음

• 색상에 대한 표현이 부족하가 생각

• GPT가 색표현을 잘하면 우리의 연구는 필요없지 않을까?

07-11-목: 논문 리뷰

< 논문 PDF >