Portfolio

Notice / Previous Week

📢

[전체]

📢

[From Team 철]

📢

[From Team 헌]

This Week’s Agenda

Next Week

Memos

Superpixel

Python의 Subprocess 라이브러리를 이용해 외부 실행 파일에 대한 접근 및 입출력을 제어할 수 있음.

Matlab의 Matlab Compiler라는 애드온(==라이브러리)을 이용해 matlab 스크립트를 실행파일로 만들 수 있음.

위 두 가지를 활용해 python에서 matlab 코드의 실행파일을 동작시키는 코드를 작성했으나 오류가 존재.

Matlab Compiler가 최신 버전이 아니기 때문인 것으로 추측됨. 버전 업데이트 후 추가 진행 예정, 버전 확인 결과 matlab 버전을 R2024a로 업데이트해야 Matlab Compiler가 최신 버전이 설치됨. → 시도 후 결과 업데이트 예정
매트랩 버려

그럴 수 없어 &_&

https://github.com/abdelrahman-0/Fuzzy-Simple-Linear-Iterative-Clustering

→ matlab 대신 c로 구현, Fastness에 contribution 줄거면 유의미하지 않을까 싶은데 아직 돌려보지 못함

그리고 C-means clustering으로 segmentation 할때 CIELuv 색공간에서의 연산이 가장 빠르다는 논문 찾음

→

A Comprehensive Review of the Impact of Color Space on Image Segmentation | IEEE Conference Publication | IEEE Xplore

Color is the most important characteristics in the image segmentation process. The color can make a distinction of thousands of shades of color information. So the color based segmentation offers more significant extraction of information as compared to intensity or texture based segmentation. Color space is a numerical replica which represents color details as dissimilar color channels (components) in 3 or 4 dimensional polar or Cartesian system. The utilization of color space is application oriented. For instance, RGB system is employed for computer graphics and display whereas CMY is for printing applications. The proposed work conducts an elaborate survey of color spaces and their utilization for image segmentation.

SAM

Roboflow 연결은 성공

데이터셋 다운로드도 가능

현재 permission denied 문제로 인해 코드 새로 작업 예정

input, output 사이즈 조절 작업도 진행 예정
데이터셋을 로컬로 다운 받아 해결할 예정.

시각장애인

- 주 Target을 시각장애인으로 가야할 지, 아니면 창작자 쪽으로 가야할 지?

어떤 집단을 핵심으로 잡아서 Target하는게 핵심이 아니라, Color Description을 구현하는 것 자체가 Main이므로, 이게 왜 필요한 지 Justification정도의 수준으로 나열하는 것이 좋을 것 같다.

Ex. 시각장애인 쪽으로도 쓰일 수 있고, 창작자분들께도 쓰일 수 있고, 등등등

Rich Color Description에 대한 사회적 니즈는 많다. 예를 들어, ‘시각장애인이나 색맹은 색깔에 대한 Description이 없는데, 이러한 기술을 통해 도움을 받을 수 있고, 인테리어나 창작 수업에서도 도움을 받을 수 있다’는 것을 이야기하는 정도로!

다만, Rich Color Description에 대한 개발이 아직 미비해서, 직접 개발하여 Usability(유용성)를 테스트해봐야 할 것. 이때, Usability 테스트에서는 시각장애인보다 일반인들을 대상으로 모집하는 것이 훨씬 쉬울 것임.

- Description을 평가할 Metric은 어떤 것이 될 수 있을지?

Accuracy (오브젝트를 다르게 명명하지 않고, 제대로 명명하는가?)

Expression Richness (얼마나 풍부한가?)

형용사의 개수
수사를 도와주는 어휘의 개수

이미 있는 기술(다른 논문)에서도 따와서 비교

Ex. ‘이 기술의 Richness는 3.5였는데, 우리는 5.4더라’
BaseLine을 설정하고, 그것을 바탕으로 비교하는 작업 필요

Syntactic Smoothness (문장이 얼마나 자연스럽고 말이 되는가?)

Compute할 수 있는 방법이 없을 것임. 그래서 User Test를 해보면서 문장이 자연스러운지 수치화하는 것을 추천

추가 searching한 부분

BLEU(Bilingual Evaluation Understudy)

많은 자연어 처리 모델이 생성 평가를 할 때 사용하는 방법으로 ‘목표로 하는 문장과 모델이 생성한 문장이 일치하는 정도’를 수치화 한 지표로 파이썬에서 NLTK 패키지를 사용하여 BLEU를 쉽게 계산 가능

14-03 BLEU Score(Bilingual Evaluation Understudy Score)

앞서 언어 모델(Language Model)의 성능 측정을 위한 평가 방법으로 펄플렉서티(perplexity, PPL)를 소개한 바 있습니다. 기계 번역기에도 PPL을 평가에 사…

https://wikidocs.net/31695

- Comment

*이렇게 짧게라도 자주 미팅하는 것이 생산적이고 좋은 것 같음. 10~15분정도 고민거리 간단하게 자주 이야기합시다!

- 앞으로 해야할 일

Justification 수준으로 여러 분야로 쓰일 수 있다는 Case들을 정리(시각장애인, 창작 ← 조금 더 구체적으로!?)

Color Expression Richness에 대한 Metric을 찾을 수 있도록 유사한 기술들을 서칭해야 함.

번역하는 순간 한국어와 영어 사이에 간극이 생길텐데 이를 어떡하면 좋을지 교수님께 여쭤보기

시각장애인 파트에 대한 교수님 미팅을 진행함. 주 타겟에 대한 질문을 드림.

교수님 답변 요약

타겟이 중요한 것이 아니라 모델이 어떻게 활용할 수 있는지가 중요하고, 타겟은 가볍게 다루어라. User test를 진행할 때 시각장애인 분들 보다는 창작 분야에 대해 모집을 하는 것이 쉬울 것이다.
모델의 정확도(대상을 잘 인식하는지)와 설명의 디테일이 중요하다. 설명에 대한 것은 다른 논문을 참고해서 다른 모델들과 비교를 하는 것이 필요하다.
Syntactic Smoothness에 대한 부분을 수치적으로 나타내는 메트릭이 없을 것이기 때문에 user study를 진행하는 것을 추천한다. 추가 조사한 결과 수치화를 위한 BLEU라는 유용한 도구가 존재함.

영진이형: 여러 LLM이 존재하니 각 모델 별로 표현에 대한 테스트를 진행하면 좋을 것 같음.

개강 이후 미팅 일정

정기 회의 매주 20:00 (화)에 수행.

교수님과의 미팅은 각 분야 별로 자율적으로 진행.

8월 3주차 중간미팅