Notice / Previous Week
[전체]
[From Team 철]
[From Team 헌]
Memos
질문/조언
- 리뷰 이미지는 필터나 보정으로 왜곡이 있을 수 있지만 실제 사진은 더 다양한 색상 분포가 존재한다. 리뷰 데이터와 실제 사진을 비교해 특별한 차이점을 찾는다면 향후 모델 개발에 도움이 될 것이다.
True color가 소비자에게 어떤 도움을 줄 수 있는지 궁금하다. 이용자의 환경에 따라 추가적인 처리가 필요할 수 있다.
패션/의류 데이터셋에서의 CoCa의 정확도가 궁금하다.
- 주제를 좁혀 나갈 잠재적 가능성이 있는지 궁금하다.
CoCa 외에도 VLM을 captioning에 사용해보고 정확도를 비교해보면 좋을 것 같다.
- 멀티모델의 input과 output이 궁금하다.
모니터 패널에 따른 색상 차이와 같은 소비자의 하드웨어 문제에 대한 해결책이 있는지 궁금하다.
멀티모델을 사용하는 이유가 궁금하다.
- 의류와 관련된 고품질의 대형 datasets이 존재하는지 궁금하다.
CoCa 이외에 다른 모델이 존재하는지 궁금하다.
패션 산업을 타겟으로 잡은 이유가 궁금하다.
- Datasets를 만드는데 있어 컴퓨터 그래픽을 사용하는 것도 좋을 것 같다.
디스플레이의 색상 왜곡은 생각보다 심하다. 디스플레이의 종류에 따라 왜곡이 발생하고, 환경(밝기, 채도 등)에 따라 이용자가 인식하는 색상이 달라진다.
제품 촬영에 사용된 카메라, 디자인 과정에서의 조정 모두가 색상 표현에 영향을 준다.
- 멀티모델을 학습할 때 소비자의 리뷰 사진에도 색상 왜곡이 존재한다는 것을 주의해야 한다. 이런 왜곡에서 true color를 찾기 위해서는 많은 양의 데이터가 필요하다.
패션시장은 트렌드에 민감해 변화가 심하다. 개별 의류에 대한 많은 데이터를 얻는 것에 어려움이 존재한다.
이미지에서 true color을 추출한다면 촬영 환경에 따른 색상이나 질감에 변화가 발생할 위험이 존재한다.
원문
- Jeongeon
- Notes: investigating user satisfaction with AI-corrected fashion images?
- Personally, I think that review images might be biased towards a certain filtering or color correction whereas in real-life photos, the distribution of colors would be more diverse. You might want to think about what’s unique about the review dataset in comparison to real-life photos, which could inform the potential model developments.g
- Also on a different note, how does knowing the true color of the clothing help the user? You might want to go through an additional process to present the color with respect to the user’s background or environment
- I like the name of the teams 🙂
- CoCa: I’m curious about the accuracy of the model for fashion/clothing dataset
- Do you have any potential directions for narrowing down the topic?
- Following up on Dokyun’s question, you may want to try VLM out for captioning and see how they perform in comparison to CoCa
- Sungmin
- What are the inputs and outputs of a multi-modal model?
- How to solve the problem of color in the consumer's hardware display panel?
- Sangeun
- What is the reason to use multimodal?
- Dokyun
- Are there large, high-quality datasets related to clothes?
- Are there other models besides the Coca model?
- Jihoon
- Why is the fashion industry the specific target?
- Why don’t you use the computer graphics to make the dataset?
- Jaeyeong
- Color distortion on the display is more significant than expected. Depending on the type of display, color distortion can occur, and the colors perceived by the user vary according to the viewing environment of the display (bright, dark, high saturation, etc.).
- The model of the camera used during product photography and the adjustments made during the design process both influence color representation.
- When training with user review photos using multi-modal approaches, it's crucial to consider that color distortion is also present in those images. To estimate colors while accounting for such errors, a substantial amount of data would likely be necessary.
- In the fashion market, clothing continually changes with each season, making it a domain heavily influenced by trends. Therefore, it might be challenging to accumulate a large amount of data for individual pieces of clothing.
- Nayoung
- If you extract the true color from the image, are there any concerns about the modified color or texture of clothes based on the environment of taking the photo?
백지훈님 피드백 정보
두가지 측면에서 피드백을 드렸었는데요,
- True Color 와 Image 매칭에 대한 데이터 세트를 쌓는 방법
- True Color 추출 기술에 대한 적용
1번의 경우 True Color 관련은 아니고 이미지 → 3D 오브젝트 변환 기술을 연구하던 기업이 있는데, 해당 기업에서 인공지능 데이터 세트를
3D 디자인 소프트웨어로 제작 → 화면 캡쳐 → 인공적인 노이즈 생성 → 원본 3D 오브젝트와 생성된 이미지를 통해 학습
이런식으로 데이터를 축적하여 학습시켰던게 기억이 나서 말씀드렸었습니다.
기업 이름은 잘 기억 안나는데, 2021 X-ist 에 참가했었어서 찾아보시면 좋을 것 같습니다!
두번째로 기술 활용에 대해서는 패션쪽 뿐만 아니라, 정밀색상추출이 필요한 그래픽산업 / 영화산업 / 식품 신선도 측정 등에 활용할 수 있을 것이라 말씀드렸었습니다!
Mincheol
우리도 논문 작성 대비해서 사고 흐름과 논의 내용을 CHI나 CVPR 같은 저널에 올라오는 논문들의 양식에 맞춰서 미리미리 정리해두는 것도 좋을 듯!
ex: RQ 정해두기
⇒ 월말 보고서 적을 때도 좋을듯
피그마로 메모장 붙이듯 아이디어 회의하는 것도 좋을듯
