TMI
Python으로 무신사 사이트 품 url/제목/가격 정보를 크롤링한 사람이 있어 첨부한다.
※Kaggle에 cloth에 관한 검색을 해보면 사진이 몇 백 장 나오는 것밖에 안 나온다.. 실제로 크롤링을 하거나 실질적으로 있는 데이터를 대량 수집하는 방법이 더 빠를 것 같기도
- WIT
- Contrastive Learning of Medical Visual Representations from Paired Images and Text
Contrastive Learning
Representation Learning
위 사진을 보면 우리는 당연히 고양이를 떠올리지만, 컴퓨터 입장에서는 그저 RGB 값에 해당하는 픽셀의 배열일 뿐이다. 조금 더 우리의 직관적인 이미지를 인공지능이 학습하게 하기 위해 나온 개념이 Representation Learning 이라고 한다.
Self-supervised representation Learning(unsupervised learning)의 방식 중 하나이다.
개념: 저차원 공간에서 유사한 이미지는 가깝게, 다른 이미지는 멀리 떨어지도록 이미지를 인코딩하는 방법을 모델이 학습한 것.
대표적으로 Contrastive Loss라는 개념이 있는데, 이는 벡터 사이의 유사성을 정량화하는 방법이다.
여기서 Cosine Similary라는 간단한 방법으로 두 벡터의 유사성을 구할 수 있다.
Contrastive Learning은 데이터 증강(Data Augmentation; 적은 데이터를 가지고 알고리즘을 이용해 데이터를 불리는 작업)에 중점을 두고 있기 때문에 데이터 증강이 어려운 경우 성능저하가 발생할 수 있음. 따라서 초기에 데이터셋 규모가 큰 경우에 사용하는 것을 추천한다.
기존에 의료 이미지 관련 인공지능을 학습 시킬 때, ImageNet 사전 훈련 과정에서 가중치를 조절하는 걸로 해결하고 있는 방식이 불만
요즘 연구에서 이미지를 학습할 때 Unsupervised Contrastive Learning 방식이 흥미로운 결과를 도출하지만, 이 방법도 의료 이미지가 각각 고유한 특성을 다양하게 가지고 있어서 별 도움 안된다. 그래서 이 논문은 conVIRT라는 새로운 방법으로, 여기서 텍스트 데이터 쌍을 추가로 이용한다고 함.
X-ray 사진과 그에 관한 설명(텍스트) 데이터를 같이 학습시키므로, 주로 사진에 대한 설명 글이 존재한다. 그래서 우리가 추구하고자 하는 Multimodal AI model로도 유사성이 높은 논문인듯?