6월 2주차 정기미팅

Notice / Previous Week

Memos

1. 연구목표

• 본 연구의 주요 목표는 온라인 상의 의류 이미지에서 색상 왜곡을 제거하고, 이를 통해 보다 정확한 색상 정보를 text로 추출해내는 모델을 개발하고자 한다. 이를 위해 다양한 조명 조건과 촬영 환경에서 발생하는 색상 왜곡과 noise를 최소화하는 이미지 처리 알고리즘을 개발하고 의류 고유의 색상은 최대한 보존하며 noise를 제거하는 filtering 기법을 적용하고자 한다. 더 나아가 본 연구는 색맹과 같은 색각 이상을 가진 사용자들에게도 color에 대한 자세한 text를 제공함으로써 온라인 상의 의류 색상을 보다 명확하게 이해하고 선택할 수 있도록 도움을 주고자 한다.

2. 연구 진행 상황 및 실적

• model
• Pi2Pix model
True color restore을 Image2Image model을 통해 해결할 수 있는지에 대 가능성을 보기 위해 Pix2Pix 모델로 실험을 진행. Pix2Pix 모델의 강점은 GAN 기반의 생성형 모델과 U-Net을 활용했다는 점. 이를 통해 적은 데이터로도 충분한 성능을 보이기 때문에 Pix2Pix 모델을 선정해 실험 진행.

• dataset 구성
• 연구에 적합한 dataset을 찾지 못하여 직접 구성해보기로 하였음
• dataset에 대한 기준을 잡고 플랫폼, 상품, 색상 왜곡에 대한 분류를 진행
• 이때 원 색상과 가장 유사한 이미지와 왜곡된 색상의 이미지 파일명을 통일하여 data file 제작
• 보완점 : 개인마다 Hardware가 달라 발생하는 왜곡 존재. 특히 데님과 같은 의류에 왜곡이 다수 존재하였는데(같은 데님에도 밝기와 푸른 정도에 차이가 있음) 이를 class를 나누어 세부적으로 구성하고자 함
 

3. 중간성과 및 문제점

• model
• 왜곡이 심한 이미지 처리 문제
• 실험 결과 색상 왜곡이 적은 이미지에 대해서는 정답 이미지에 근접한 이미지를 만들어낸다는 것을 확인. 그러나 색상 왜곡이 심한 경우 정답 색상을 복원하지 못하는 점을 확인. 현 의류 시장의 현황을 파악해 의류 이미지에 존재하는 왜곡의 정도를 파악하는 것이 필요함을 확인.
• 화질 저하 문제
• U-Net 기반임에도 conv 연산 과정에 pixel의 위치 정보에 손실이 생겨 화질 저하가 발생하는 점을 확인. 따라서 높은 해상도의 이미지를 만들어 낼 수 있는 모델의 필요성과 연산을 처리할 수 있는 자원의 확보가 필요함.
• 손실 함수 문제
• 왜곡 색상을 복원하기 위해서는 전체적인 색상 분포를 파악하는 것이 필요. 히스토그램과 같이 색을 분석할 수 있는 지표를 이용해 손실 함수를 재구성하는 것이 미치는 영향에 대한 실험 진행이 필요.

• dataset
• 품질 문제
• public 데이터셋 중 연구방향과 일맥상통하는 것이 없어 연구자 본인들이 직접 수집 및 라벨링을 진행하다 보니 연구 결과가 잘 나오도록 편향된 데이터셋을 구성할 위험이 존재한다.
• 데이터셋의 전처리 관련 논의 부족
• 현재는 데이터셋을 구성하는 과정에서 데이터 전처리에 대한 고려가 부족하며 이는 데이터의 정규화, 결측치 처리, 이상치 제거 등이 제대로 이루어지지 않을 수 있기 때문에 해당 주제에 대한 논의가 더 필요할 것으로 보인다.
• 실제 적용에서의 문제
• 연구자간의 high-level에서 논의만 오고 간 상황에서 수집된 데이터셋이 실제 적용되는 데이터와 맞지 않을 수 있으며 이는 모델의 성능 저하로 이어질 수 있다. 또한 모델 학습 후에도 데이터셋을 지속적으로 업데이트될 필요가 있지만 고정된 논의 기준으로는 이러한 동적 변화에 적절히 대응하기 어렵다

4. 향후계획

• model
• 제작한 dataset의 활용성 검증
• 현 의류 시장에서 사용되는 이미지의 왜곡이 반영된 dataset이 모델 학습이 주는 영향을 확인.
• 조사한 모델(UGAN, SPADE)을 이용한 대한 실험 진행
• 각 모델이 갖고 있는 강점 색상 복원에 활용할 수 있는지 실험을 통해 결과 확인
• 손실 함수 재구성을 통한 성능 변화 확인

• dataset
• 노이즈 유형 및 정도 기준 설정
• 의류 데이터에서 발생하는 노이즈의 다양한 유형과 정도를 분석하고, 이를 정량화할 수 있는 명확한 기준을 설정한다.
• 데이터 증강 및 전처리 기법 적용
• 노이즈가 많은 데이터를 보완하기 위해 다양한 데이터 증강 기법(회전, 자르기, 밝기 조절 등)을 적용하여 데이터셋의 다양성을 높인다.
• 전처리 기법(필터링, 노이즈 제거, 보간법 등)을 통해 데이터셋의 품질을 향상시킨다.
• 대표성 있는 샘플링 방법 활용
• 복구 모델의 강인성을 평가하고 개선하기 위해 대표성이 있는 샘플링 방법을 활용한다.
• 훈련, 검증, 테스트 데이터셋을 구성할 때 데이터셋의 다양한 특성이 반영될 수 있도록 한다.
• 모델 성능 평가 및 실효성 검증
• 구성된 데이터셋을 기반으로 복구 모델을 훈련시키고, 다양한 성능 지표(PSNR, SSIM, 사용자 주관 평가 등)를 통해 모델 성능을 평가한다.
• 실제 사례 연구를 통해 복구 모델이 실제 환경에서 얼마나 효과적으로 동작하는지 검증한다.
• 모델 성능 평가 결과와 실제 사례 연구 결과를 바탕으로 데이터셋의 실효성을 판단한다.

6. 참고문헌