pretraining 썸네일형 리스트형 [pytorch] 전이 학습, Transfer Learning Transfer learning 다른 데이터셋으로 학습시킨 모델(pre-training learning)을 현재 데이터에 적용하는 것 일반적으로 대용량 데이터셋으로 만들어진 모델의 성능이 좋기 때문에 활용하는 것 현재 딥러닝에서 가장 일반적으로 사용하는 학습 기법 backbone architecture가 잘 학습된 모델에서 일부분만 변경하여 학습을 수행함 이미지 : Torchvision에서 다양한 기본 모델을 제공하고 있음 자연어 : HuggingFace가 사실상 표준으로 사용되고 있음 Freezing pre-trained model 활용 시 모델 일부분을 학습하지 않도록 frozen 시킴 최근에는 stepping frozen 기법이 사용되기도 함 (중간중간 frozen 시켜 그 부분을 학습시키지 않고 .. 더보기 이전 1 다음