Deeplearning 썸네일형 리스트형 Regularization, 정형화 - 드랍아웃 (Dropout) 이전 포스터에서 언급했던 딥러닝을 위한 정형화의 종류로는 다음의 방법들이 있다. https://sha-sha-sha.tistory.com/53 Regularization, 정형화 - Norm 기반 Regularization 정형화란, 오비피팅이나 ill-posed(1개의 유일한 정답이 존재하지 않는) 문제를 가지고 있는 머신러닝 모델에 추가적인 정보를 더하거나 제약사항을 두는 등의 과정을 통해 문제를 해결하는 방법 sha-sha-sha.tistory.com 1. 제한을 거는 파라미터값을 삽입 (Parameter Norm Penalties) 2. 데이터 증대 (Dataset Augmentation) 3. 노이즈 활용 (Noise Robustness) 4. 준지도 학습 (Semi-Supervised Lear.. 더보기 Regularization, 정형화 - 앙상블(Ensemble) 이전 포스터에서 언급했던 딥러닝을 위한 정형화의 종류로는 다음의 방법들이 있다. https://sha-sha-sha.tistory.com/53 Regularization, 정형화 - Norm 기반 Regularization 정형화란, 오비피팅이나 ill-posed(1개의 유일한 정답이 존재하지 않는) 문제를 가지고 있는 머신러닝 모델에 추가적인 정보를 더하거나 제약사항을 두는 등의 과정을 통해 문제를 해결하는 방법 sha-sha-sha.tistory.com 1. 제한을 거는 파라미터값을 삽입 (Parameter Norm Penalties) 2. 데이터 증대 (Dataset Augmentation) 3. 노이즈 활용 (Noise Robustness) 4. 준지도 학습 (Semi-Supervised Lear.. 더보기 Regularization, 정형화 - Norm 기반 Regularization 정형화란, 오비피팅이나 ill-posed(1개의 유일한 정답이 존재하지 않는) 문제를 가지고 있는 머신러닝 모델에 추가적인 정보를 더하거나 제약사항을 두는 등의 과정을 통해 문제를 해결하는 방법이다. 이는 모델의 학습 에러를 줄이기 위한 것이 아닌 일반화 에러를 줄이기 위한 프로세스이다. 딥러닝을 위한 정형화의 종류로는 다음의 방법들이 있다. 1. 제한을 거는 파라미터값을 삽입 (Parameter Norm Penalties) 2. 데이터 증대 (Dataset Augmentation) 3. 노이즈 활용 (Noise Robustness) 4. 준지도 학습 (Semi-Supervised Learing) 5. 단일 신경망으로 유사성이 있는 여러 작업 수행 (Multitask Learning) 6. 이른 학습 중.. 더보기 활성함수의 필요 및 종류 배경 데이터를 표현하는 표현형을 찾거나 또는 피쳐(feature)를 알기 위해서 변형함수(transformation)를 선택해야 하는데 아래 세 가지 방법이 주로 사용된다. 직접 함수를 디자인 : 머신러닝이 이에 해당하며 딥러닝 이전에는 일반적이었다. 포괄적 함수 선택 : 커널 함수가 대표적인데 데이터를 다른 차원으로 보내서 이상적인 모델의 확률 밀도를 계산한다. 딥러닝이 변형 함수 자체를 학습하게 함 : 이 경우 변형 함수는 비선형(non-linear)이어야 한다. 그렇다면 왜 비선형으로 변환해야 할 필요가 있을까? 가볍게 이진 분류를 생각했을 때 선형으로 분류할 수 없는 경우가 있다. 아래 그림은 2차원에 표현된 X와 O의 클래스로 나눠진 데이터이다. 해당 데이터를 AND(x축과 y축의 값으로 and.. 더보기 Bias(편향) & Variance(분산) Variance 추정값 분산 : 모델의 예측값 & 예측 평균의 차이 variance(분산)란 입력값이 들어갔을 때 출력 값이 얼마나 일관적으로 나오는가에 대한 개념으로 볼 수 있다. 즉, 분산이 낮을 경우(low variacne) 비슷한 입력값에 대해 비슷한 출력을 뱉는다. 선형 회귀식과 같은 간단한 모델을 생각할 수 있다. 반면 분산이 높을 경우(high variance), 비슷한 입력값을 받음에도 불구하고 출력 값의 차이가 큰 경우이다. 이는 개개의 데이터에 과하게 적합된 overfitting 문제와도 연관이 있다. $Var [h(x)] = E[(h(x) - E[h(x)])^2]$ Bias 추정값 편향 : 모델의 예측값 & 이상적인 모델의 예측값의 차이 bias(편향)란 모델의 예측값과 실제값의 차이.. 더보기 Generalization, 일반화 '과적합'이라는 개념을 설명할 때 함께 많이 사용되는 그림이다. Underfitting은 모델이 너무 간단하거나 학습 데이터가 충분하지 않아 학습 데이터에서도 성능이 좋지 않게 나오는 경우이다. 모델이나 데이터에서 부족한 부분을 찾아 보완해야 한다. Overfitting은 과적합이라고도 하고 기계학습에서 이슈가 많이 되는 부분이다. 모델이 학습 데이터에 너무 맞춰진 나머지 새로 들어오는 테스트 데이터로는 학습 데이터만큼의 성능을 보장할 수 없는 경우다. 이를 해결하기 위해 generalization, 즉 일반화 성능을 높이는 기법이 다양하게 연구되고 적용되고 있다. 일반화 성능을 높인다는 것은 무슨 뜻일까? 단순히 모델의 성능이 좋아진다는 뜻은 아니다. 일반화 성능이라는 것은 학습 데이터의 에러와 테스트.. 더보기 이전 1 다음
