Generalization, 일반화

'과적합'이라는 개념을 설명할 때 함께 많이 사용되는 그림이다. 

Underfitting은 모델이 너무 간단하거나 학습 데이터가 충분하지 않아 학습 데이터에서도 성능이 좋지 않게 나오는 경우이다. 모델이나 데이터에서 부족한 부분을 찾아 보완해야 한다. 

Overfitting은 과적합이라고도 하고 기계학습에서 이슈가 많이 되는 부분이다. 모델이 학습 데이터에 너무 맞춰진 나머지 새로 들어오는 테스트 데이터로는 학습 데이터만큼의 성능을 보장할 수 없는 경우다. 

이를 해결하기 위해 generalization, 즉 일반화 성능을 높이는 기법이 다양하게 연구되고 적용되고 있다. 

일반화 성능을 높인다는 것은 무슨 뜻일까? 단순히 모델의 성능이 좋아진다는 뜻은 아니다. 일반화 성능이라는 것은 학습 데이터의 에러와 테스트 데이터의 에러의 차이를 의미하고, 일반화 성능이 높다는 것은 네트워크의 성능이 테스트 데이터에서도 학습 데이터와 비슷한 성능을 보장한다는 것을 뜻한다. 역기서 주의해야 하는 것은 모델 자체의 성능이 좋지 않으면, 즉 underfitting 상태라면 아무리 일반화 성능이 좋아도 그 모델이 좋다고 할 수 없다.