[DL개념]Bootstrapping & Bagging & Boosting

Bootstrapping이란 간단히 어떤 테스트나 평가 메트릭에서 랜덤 하게 샘플링하여 사용하는 것을 의미한다. 

Bagging 이란 Bootstrapping Aggregating의 축약어이다. bootstrapping 기법으로 학습한 여러 개의 모델을 의미한다. 
예를들어, 100개 데이터가 있을 경우, 100개를 한 번에 다 사용하는 것이 아니라 80개의 데이터를 랜덤 하게 추출하여 학습한 모델을 여러 개 만든다. 이 모델의 결괏값의 consensus, 얼마나 일치하는지 확인하여 그 활용 여부를 판단하는 것이다. 모델의 결과 값들은 평균이나 투표 등을 통해 최종 값을 결정하는데 일반적으로 많은 데이터를 한 번에 사용한 단일 모델보다 일부 데이터를 사용한 여러 개의 모델의 결괏값을 활용하는 것이 더 좋은 결과를 얻을 수 있다고 알려져 있다. 대표적인 모델로는 RandomForest 모델이 있다.

Boosting이란 분류하기 어려운 데이터에 순차적으로 집중하여 학습하는 기법이다. 처음 일부 데이터를 사용하여 약하게 학습한 분류기(weak learner)를 만들고, 해당 분류기가 잘 분류하지 못한 데이터에 집중해서 다시 약한 분류기를 학습시키는 방법을 순차적으로(Sequentially) 진행해 최종적으로 강한 분류기(strong learner)를 만들 수 있다.