AllSpark: Reborn Labeled Features from Unlabeled in Transformer for Semi-Supervised Semantic Segmentation
Semi-Supervised Semantic Segmentation : 적은 수의 labeling data와 대량의 unlabeled data를 이용해 네트워크를 학습시키는 방법으로, 현 UGRP 연구에서 용이할 것으로 보임
기존의 연구들은 labeled과 unlabeled된 데이터의 training flow를 분리하여 한정된 라벨링 데이터의 특성을 overfitting한다는 단점이 있었는데, 위 Sota 모델은 unlabeled된 데이터를 사용하는 과정에서 labeled data flow를 intervene하도록 접목시켰다.
Semantic Memory
Semantic Memory는 class에 관련된 특징들을 담고 대량의 unlabled feature space를 생성하는데, 이는 현 라벨링된 같은 클래스의 데이터뿐만이 아니라 다른 클래스들의 유사성이 적은 “negative” 를 띠는 특징들을 담아 similarity matrix를 만드는데 사용한다.
아래는 위의 Semantic Memory 및 Channel-wise Semantic Grouping을 이용해 channel들 사이에 sample의 similarity를 수치화하여 나타낸 내용이다.
