Why ‘’Sufficient Data’’ are required?
- “이상적인” 머신 러닝은 라벨링된 학습 인스턴스들이 많은 것을 기초로 한다.
- (당연히 Same Distribution as Test Data여야 학습이 잘 이루어짐)
- 충분한 데이터 수집은 실제로 매우 어렵고, 비현실적이다.
- Semi-supervised learning으로 라벨링된 데이터 필요량을 줄일 순 있으나, 성능을 개선하기 위해 다량의 라벨링되지 않은 데이터들을 필요로 하기 때문에 이도 최고의 방법이라고 할 순 없음
Transfer Learning
- Domain간의 지식을 “transfer” 하는 데에 중점을 두는 방식으로, 언급한 “데이터 공급 문제” 를 해결을 목표로 한다.
Generalized Theory of the ‘’Transfer’’
- 2개의 학습 사이에는 서로 Connection이 있어야 된다는 것이 선제 조건임
- 바이올린을 연주할 줄 아는 사람은 피아노를 다른 사람보다 더 빠르게 배울 수 있음
- 악기 연주를 하는데 있어 공통된 논리를 공유하기 때문임
- 이와 같이 인간의 Domain을 공유하는 정보 학습에 영감을 받아, Transfer Learning은 우리가 원하는 도메인 영역에 Source Domain의 정보를 이용해 성능 개선 및 “라벨링 데이터를 최소화” 한다.
++ Negative Transfer : 결과가 부정적으로 나올 경우
- Transfer Learning은 항상 긍정적인 결과만 줄 수는 없음
- 서로 관련 있어 보였던 2개의 Domain이 실제로 서로의 상관 관계가 크게 없다라든지, 학습자의 학습 성능에 따라 결정된다.
Types of the Transfer Learning
- 두 도메인 영역의 “불일치” 에 따라, Transfer Learning은 2개의 영역으로 나누어진다.
- Domain이 동일한 Feature Space에 있을 경우
- 어떤 연구들은 Sample Selection Bias or Covariate Shift로 Domain을 Adapt시킴
- 허나 이러한 케이스들은 그렇게 많은 편이 아님
- 예시로, 감정 분류 문제에 있어 단일 단어도 다른 Domain에서는 다른 의미 경향성을 가짐
- Context Feature Bias → Conditional Distribution can solve this.
- Domain이 서로 다른 Feature Space에 있을 경우
- Feature Space Adaptation을 이용함 → Homogeneous보다 더 복잡하게 만드는 요인
Homogeneous Transfer Learning
Heterogeneous Transfer Learning
Transfer Learning versus ALL!
Semi-Supervised Learning
- 라벨링된 인스턴스들을 이용한 Supervised Learning과 라벨링되지 않은 인스턴스들을 이용한 Unsupervised Learning을 섞은 방식으로, 일반적으로 다량의 비라벨링된 인스턴스들과 소수의 라벨링 인스턴스들을 이용한다.
- 이로써 비싼 라벨링 비용을 줄여주며, 같은 Distribution에서 사용된다.
↔ Transfer Learning
- Source와 Target Domain의 Data Distribution이 대개 서로 다르다.
- 허나 Semi-Supervised Learning의 기법들을 대부분 흡수하여 사용한다!
- i.e (smoothness, cluster, manifold assumptions)
Multi-view Learning
- Multi-view Learning은 Multi-view data를 이용한 머신 러닝에 집중한다.
- Intuitive example about the multiple view (video data)
- “비디오” 는 단순히 단일 데이터 형태가 아니라, 관점에 따라 image signal, audio signal로 분류할 수 있다.
- Describing an object from multiple view → ABUNDANT Information
Multi-task Learning
- Multi-task Learning은 비슷한 Task들을 그룹화하여 학습하는 방식으로, Task간의 Interconnection을 통한 장점들을 가져와 학습 효과를 높인다.
Transfer Learning
- : Domain의 개수를 각각 의미하며, 이면 Single-source Transfer Learning이고, 그 외의 경우는 모두 Multi-source Transfer Learning이다.
- 는 Task의 Domain 개수로 일반적으로 하나만 다룬다.