HomeAboutMeBlogGuest
© 2025 Sejin Cha. All rights reserved.
Built with Next.js, deployed on Vercel
💻
UGRP/
3월 4주차 정기미팅

3월 4주차 정기미팅

Date
Mar 19, 2024 21:00
Type
only Students
Contributors

Notice / Previous Week

📢
[전체]
  • 발표 순서 변경 필요
    • 1차 발표자: 강지헌 / 박영진
  • ##### 3/26 미팅 없음 #####
📢
[From Team 철]
  • Youngha Chang으로부터 소스코드 공유 거절 당함
    • 1차 ⇒ 정리 덜 됨
    • 2차 ⇒ 스파게티 코드
      • ⇒ 대안 필요
  • Anaconda Cuda 설치 예정
📢
[From Team 헌]
  • 신동훈 교수님 (김수지 박사님) 소스코드 요청 - 대기 중
  • 3/19 (화) 정기회의 직후 TEAM 헌팀 회의
→ 데이터셋 규모 & 촬영 소품(Color Palette) 선택지 등
→ 회의 이후 각자 견적 조사 예정
 

This Week’s Agenda

  1. [철] 모델 다시 서치 필요 (실패 시 직접 구축해야함)
  1. [철] 언어 결정
  1. [철] Commit Rule 설정

The week after next

  1. PC 환경 구축
    1. 랜선 연결
    2. Anaconda Cuda 설치
    3. pyCharm, Code With Me 설정
  1. pyTorch, CoCa 논문 분석 및 학습
      2. Papers with Code - CoCa: Contrastive Captioners are Image-Text Foundation Models
      🏆 SOTA for Visual Question Answering on VQA v2 test-dev (Accuracy metric)
      Papers with Code - CoCa: Contrastive Captioners are Image-Text Foundation Models
      https://paperswithcode.com/paper/coca-contrastive-captioners-are-image-text
      Papers with Code - CoCa: Contrastive Captioners are Image-Text Foundation Models
##### 3/26 미팅 없음 #####

Memos

공지사항

  • DIAG Coffee Time
      • 발표 일자 : 3/29 (금)
      발표 장소 : E3 - 2층 세미나/중회의실
      발표자 : 강지헌 / 박영진
      특이사항
      발표 템플릿 통일 예정. 발표는 영어이고, 질의응답의 경우 적절히 유도리 있게 하면 됨. 발표 내용은 개요 및 목적, 막혀있는 부분에 대한 교수님의 코멘트를 유도할 것 → ppt 가독성 필요.
 
  • 월말 보고서
      • 미팅 메모를 기반으로 작성할 것.
 

팀 별 상황 공유

  • Team 철
      1. Youngha Chang 메일 답변 결과 스파게티 코드이기 때문에 소스코드 제공 불가 답변 받음. 따라서 추가적인 모델 서치 및 경우에 따라 밑바닥부터 모델 구축 필요함.
 
  • Team 헌
      1. 신동훈 교수님께 조언 받을 예정
 

토의 내용

  • Model에 관해
      1. COCA의 multimodal 구조를 배경으로 적절히 튜닝해 돌려보자. 이미지와 텍스트 페어에서 색과 관련된 텍스트를 사용하자
          2. → 색과 관련된 텍스트를 만드는 것이 어려울 것 같다.
           
      1. 생성형 모델을 기반으로 색이 왜곡된 색상을 원래 색상으로 바꾸는 모델은 어떤가
          2. → 이미 많은 연구가 존재하고, 여러 모델이 있다.
           
      1. 색이 왜곡된 이미지(실제 RGB값과 이미지의 RGB값이 다른 이미지)에서 왜곡된 RGB 값으로 실제 RGB 값을 추론하는 모델도 좋을 것 같다.
  • Dataset에 관해
      1. 온라인 쇼핑몰의 이미지 - 고객이 실제로 수령한 물건의 이미지 페어를 사용해보자. 웹페이지 등에서 설문조사처럼 라벨링을 시도해볼 수 있다. 두 색상에 대해 어떤 이미지가 더 밝은지 어두운지 이용자가 선택하는 형식.
          2. → 건 당 페이를 제공하는 것보다 추첨을 통해 값비싼 상품을 제공하는 것이 효율이 좋다.
      1. 너무 많은 색상을 다루면 모델이 제대로 작동하지 않을 것 같다. Kaggle에 있는 데이터셋(색상에 대한 여러 이미지가 분류되어 있음 - 약 100개의 이미지)을 써보자.
          2. → 이미지에 대한 텍스트 설명 작성이 필요함.
           
      1. 쇼핑몰의 이미지와 고객의 이미지를 매칭한 데이터셋이 존재하기 때문에 이것도 좋을 것 같다.
 

토의 결과

  • Model에 관해
      • CoCa를 베이스 모델로 사용
      → pyTorch로 작성됨. 따라서 pyCharm code with me와 jetbrain 학생 라이센스 사용 예정
       
  • Dataset에 관해
      • 접근성 높은 Kaggle 데이터셋 사용, 필요에 따라 데이터셋 구성
       
  • 기타사항
      • 코딩 때 변수명을 의미가 명확하게 작성, 작성법에 대한 표준 필요. 학습은 제공받은 데스크탑으로 돌리고 GPU에 한계가 존재하면 구매하거나 슈퍼컴퓨팅 센터 이용