여러 개를 섞어보자!!
[Ensenble Method]
What
지금까지 배운 classifier를 합쳐보는 방법!
Learner라는 classifer를 합친다!
To Do
1. Base Classifier 설정 2. Combine/integrate 하는 방법
[Bagging]
What
여러 개를 합치는 방법이다.
voting, average 등의 방법을 통해 합친다.
[Boosting]
What
Bagging과 마찬가지로 voting, avaraging을 이용해서 합친다. 단 이 때는 hardest example에 더 집중한다(가중치를 부여한다). 따라서 합칠 때도 weight를 이용해서 합쳐준다.
AdaBoost
AdaBoosting model에서는 error를 바탕으로 가중치를 구하고, 이를 활용한다.
ex. 
GBM (Gradient Boosting Machine)
이런 것이 있다..
Summary
요약!
- 초기 iteration에서는 학습률이 낮다.
- 빠르다! (weak한 classifier 여러 개 쓰는 것이기 때문에)
- simple하다.
- 유연하다!
- overfitting도 잘 피한다!
Application
여러 가지 application들이 있다.
- face detection
- ranking problems
- confidence-rated predictions