8월 5주차 중간미팅

Notice / Previous Week

Memos

SAM

• 보안 관련 문제는 해결함.
• 직접 해결하진 않았지만 무슨 이유에서 인지 해결됨.

• 보안 이슈 외에 input size가 32로 divisible해야 한다는 문제점이 발생하여 새로운 버전의 roboflow dataset 생성함.
• dataset을 이용한 test 결과 계속 size와 관련된 에러 발생.

• meta의 sam2 모델 공부(github에 공개되어 있음)
⇒ sam2 모델이 prompt based model이라 input prompt(사용자가 원하는 좌표를 지정해주어야 함)가 없으면 mask 생성이 불가능함!!!! → 연구의 방향성에 맞지 않는 모델이 아닐지…
 

Superpixel

• C언어로 작성된 코드 오류 해결 중.
• 코드가 리눅스 바탕으로 작성된 것으로 추정됨. 윈도우 환경에서 제한사항 존재.
• 가상머신 이용해서 테스트하는 것은 어떨지…

• 속도 향상은 현재 단계에서 멈추고, 다음 과정 (LLM?)을 진행하는 것에 대한 의견 존재.
• 연구에서 중요한 부분이 비전보다는 텍스트 표현이기 때문에 LLM이 중요할 것으로 생각됨.
• API를 활용해 프롬프트를 넣는 것만 하기 보다는 파인튜닝을 진행하는 것이 연구로서의 가치가 있을 것으로 생각됨.

자료조사

• ‘Processed Contents → 성능평가 metrix reference‘에 조사한 metrix 정리
성능 평가 Metric Reference

• 정확도에 관해
• BLEU: 정답 텍스트와 모델이 생성한 텍스트를 비교해 정확도를 측정하는 매트릭이 존재함.
• Python에서 간단히 사용할 수 있음.
• 정답 텍스트를 어떻게 정할지가 중요함. 성능이 좋은 LLM(e.g ChatGPT)으로 생성하거나, 사람이 작성한 리뷰 등을 이용하거나 등등.

• 표현력에 관해
• Distinct 관련 매트릭 존재. 단일 단어/단어 간 조합의 비율을 이용.
• BERT-score 매트릭 조사 중.