본문 바로가기
728x90
반응형

전체 글

Regularization, 정형화 - 드랍아웃 (Dropout) 이전 포스터에서 언급했던 딥러닝을 위한 정형화의 종류로는 다음의 방법들이 있다. https://sha-sha-sha.tistory.com/53 Regularization, 정형화 - Norm 기반 Regularization 정형화란, 오비피팅이나 ill-posed(1개의 유일한 정답이 존재하지 않는) 문제를 가지고 있는 머신러닝 모델에 추가적인 정보를 더하거나 제약사항을 두는 등의 과정을 통해 문제를 해결하는 방법 sha-sha-sha.tistory.com 1. 제한을 거는 파라미터값을 삽입 (Parameter Norm Penalties) 2. 데이터 증대 (Dataset Augmentation) 3. 노이즈 활용 (Noise Robustness) 4. 준지도 학습 (Semi-Supervised Lear.. 더보기
Regularization, 정형화 - 앙상블(Ensemble) 이전 포스터에서 언급했던 딥러닝을 위한 정형화의 종류로는 다음의 방법들이 있다. https://sha-sha-sha.tistory.com/53 Regularization, 정형화 - Norm 기반 Regularization 정형화란, 오비피팅이나 ill-posed(1개의 유일한 정답이 존재하지 않는) 문제를 가지고 있는 머신러닝 모델에 추가적인 정보를 더하거나 제약사항을 두는 등의 과정을 통해 문제를 해결하는 방법 sha-sha-sha.tistory.com 1. 제한을 거는 파라미터값을 삽입 (Parameter Norm Penalties) 2. 데이터 증대 (Dataset Augmentation) 3. 노이즈 활용 (Noise Robustness) 4. 준지도 학습 (Semi-Supervised Lear.. 더보기
Regularization, 정형화 - Norm 기반 Regularization 정형화란, 오비피팅이나 ill-posed(1개의 유일한 정답이 존재하지 않는) 문제를 가지고 있는 머신러닝 모델에 추가적인 정보를 더하거나 제약사항을 두는 등의 과정을 통해 문제를 해결하는 방법이다. 이는 모델의 학습 에러를 줄이기 위한 것이 아닌 일반화 에러를 줄이기 위한 프로세스이다. 딥러닝을 위한 정형화의 종류로는 다음의 방법들이 있다. 1. 제한을 거는 파라미터값을 삽입 (Parameter Norm Penalties) 2. 데이터 증대 (Dataset Augmentation) 3. 노이즈 활용 (Noise Robustness) 4. 준지도 학습 (Semi-Supervised Learing) 5. 단일 신경망으로 유사성이 있는 여러 작업 수행 (Multitask Learning) 6. 이른 학습 중.. 더보기
[Programmers] 완주하지 못한 선수 (python) 문제 https://school.programmers.co.kr/learn/courses/30/lessons/42576 프로그래머스 코드 중심의 개발자 채용. 스택 기반의 포지션 매칭. 프로그래머스의 개발자 맞춤형 프로필을 등록하고, 나와 기술 궁합이 잘 맞는 기업들을 매칭 받으세요. programmers.co.kr 문제 설명 수많은 마라톤 선수들이 마라톤에 참여하였습니다. 단 한 명의 선수를 제외하고는 모든 선수가 마라톤을 완주하였습니다. 마라톤에 참여한 선수들의 이름이 담긴 배열 participant와 완주한 선수들의 이름이 담긴 배열 completion이 주어질 때, 완주하지 못한 선수의 이름을 return 하도록 solution 함수를 작성해주세요. 제한사항 마라톤 경기에 참여한 선수의 수는 1명.. 더보기
모든 랜덤값을 고정하기 위한 함수 (python) 경진 대회든 실제 업무에서의 연구든 재현성을 가지는 것은 중요하다. 특히 gpu를 사용하는 경우 재현성을 확보하기 어려워지는 경우도 있다. 재현성을 확보하기 위해 다음과 같은 함수를 사용할 수도 있다. def seed_everything(seed=1234): random.seed(seed) os.environ['PYTHONHASHSEED'] = str(seed) np.random.seed(seed) torch.manual_seed(seed) torch.cuda.manual_seed(seed) torch.backends.cudnn.deterministic = True 더보기
활성함수의 필요 및 종류 배경 데이터를 표현하는 표현형을 찾거나 또는 피쳐(feature)를 알기 위해서 변형함수(transformation)를 선택해야 하는데 아래 세 가지 방법이 주로 사용된다. 직접 함수를 디자인 : 머신러닝이 이에 해당하며 딥러닝 이전에는 일반적이었다. 포괄적 함수 선택 : 커널 함수가 대표적인데 데이터를 다른 차원으로 보내서 이상적인 모델의 확률 밀도를 계산한다. 딥러닝이 변형 함수 자체를 학습하게 함 : 이 경우 변형 함수는 비선형(non-linear)이어야 한다. 그렇다면 왜 비선형으로 변환해야 할 필요가 있을까? 가볍게 이진 분류를 생각했을 때 선형으로 분류할 수 없는 경우가 있다. 아래 그림은 2차원에 표현된 X와 O의 클래스로 나눠진 데이터이다. 해당 데이터를 AND(x축과 y축의 값으로 and.. 더보기
[monitoring tools] wandb (weights & biases) 개념 머신러닝 실험을 원활히 지원하기 위한 사용도구 협업, code versioning, 실험 결과 기록 등을 제공 사용 가입 https://wandb.ai/home Setting → API keys 복사 새 프로젝트 생성 (Create new project) 코드 import wandb wandb.init(project='my-test-project', entity='sherryjeon') # 프로젝트명 입력 import torch import torchvision from torchvision import datasets, models, transforms import torch.nn as nn import torch.optim as optim import os import numpy as np im.. 더보기
[monitoring tools] Tensorboard from torch.utils.tensorboard import SummaryWriter import numpy as np img_batch = np.zeros((16, 3, 100, 100)) for i in range(16): img_batch[i, 0] = np.arange(0, 10000).reshape(100, 100)/10000/16*i img_batch[i, 1] = (1 - np.arange(0, 10000).reshape(100, 100)/10000)/16*i writer = SummaryWriter(logs_base_dir) writer.add_images('my_image_batch', img_batch, 0) writer.flush() writer.close() 기본 개념 scala.. 더보기
728x90
반응형

티스토리툴바