티스토리

샤샤샤

검색하기

블로그 홈

샤샤샤

sha-sha-sha.tistory.com/m

da-da-da 님의 블로그입니다.

구독자: 1

방명록 방문하기

728x90

반응형

주요 글 목록

[DL개념]Bootstrapping & Bagging & Boosting Bootstrapping이란 간단히 어떤 테스트나 평가 메트릭에서 랜덤 하게 샘플링하여 사용하는 것을 의미한다. Bagging 이란 Bootstrapping Aggregating의 축약어이다. bootstrapping 기법으로 학습한 여러 개의 모델을 의미한다. 예를들어, 100개 데이터가 있을 경우, 100개를 한 번에 다 사용하는 것이 아니라 80개의 데이터를 랜덤 하게 추출하여 학습한 모델을 여러 개 만든다. 이 모델의 결괏값의 consensus, 얼마나 일치하는지 확인하여 그 활용 여부를 판단하는 것이다. 모델의 결과 값들은 평균이나 투표 등을 통해 최종 값을 결정하는데 일반적으로 많은 데이터를 한 번에 사용한 단일 모델보다 일부 데이터를 사용한 여러 개의 모델의 결괏값을 활용하는 것이 더 좋은 .. 공감수 1 댓글수 0 2022. 11. 24.
로지스틱 회귀 편미분 정리 및 구현 편미분 계산 과정 기본 구현 모델 import torch import torchvision import torch.nn as nn from torchvision import datasets, models, transforms import os import numpy as np class LR(nn.Module): def __init__(self, dim, lr=torch.scalar_tensor(0.01)): super(LR, self).__init__() self.w = torch.zeros(dim, 1, dtype=torch.float).to(device) self.b = torch.scalar_tensor(0).to(device) self.grads = {'dw': torch.zeros(dim, 1.. 공감수 1 댓글수 0 2022. 11. 14.
[그래프] 5-2. 군집 구조 : 군집 탐색 알고리즘 1. Girvan-Newman 알고리즘 1. 개념 설명 대표적인 하향식(Top-down) 군집 탐색 알고리즘 = 전체 그래프에서 탐색을 시작함. 즉, 군집들이 서로 분리되도록 간선을 순차적으로 제거함 어떤 간선을 제거해야 하나? → 서로 다른 군집을 연결하는 다리(Bridge) 역할의 간선 아래 예시에서 빨간 선을 따라 간선을 제거한다고 생각해보면 → 각각의 군집들이 다른 요소가 되어 떨어져 나옴을 상상할 수 있음 그럼 다리 역할의 간선을 어떻게 찾아낼 수 있을까? 간선의 매개 중심성(Between Centrality)을 사용함. 매개 중심성은 정점간의 최단 경로에 놓이는 횟수를 의미함 정점 i 로부터 j로의 최단 경로를 $\sigma_{i, j}$ 그중 간선 (x, y)를 포함한 것을 $\sigma_{.. 공감수 1 댓글수 0 2022. 10. 27.
[그래프] 5-1. 군집 구조 : 군집 탐색 문제 1. 군집(Community)의 정의 군집(Community)이란 다음 조건들을 만족하는 정점들의 집합을 의미하지만 수학적으로 엄밀한 정의는 아니다. 집합에 속하는 정점 사이에는 많은 간선이 존재 집합에 속하는 정점과 그렇지 않은 정점 사이에는 상대적으로 적은 수의 간선이 존재 온라인 소셜 네트워크의 군집들은 사회적 무리(Social Circle)를 의미하는 경우가 많다. 뉴런 간 연결 그래프에서는 군집들이 뇌의 기능적 구성단위를 의미 2. 군집 탐색 문제 그래프를 여러 군집으로 '잘' 나누는 문제를 군집 탐색(Community Detection) 문제라고 함. 비지도 기계학습 문제인 클러스터링과 상당히 유사함 군집 탐색 문제는 '정점'들을 그룹으로 묶는데 비해 클러스터링은 feature들을 벡터 형태로.. 공감수 1 댓글수 0 2022. 10. 27.
[그래프]4-3. 그래프를 통한 전파 : 바이럴 마케팅과 전파 최대화 문제 1. 바이럴 마케팅이란 소비자들로 하여금 상품에 대한 긍정적인 입소문을 내게 하는 기법 바이럴 마케팅의 효과를 위해서는 소문의 시작점이 중요함. 시작점에 따라 전파 범위가 달라지기 때문 인플루언서가 높은 광고비를 받는 이유 2. 시드 집합의 중요성 시드 집합(소문의 시작점)이 전파 크기에 많은 영향을 미침. 즉, 시드 집합을 어떤 정점으로 구성하느냐에 따라 결과가 크게 달라질 수 있음. 이전 포스트에서 다뤘던 확률적 전파 모형에서 u, v를 시드 집합을 했을 경우 총 9명이 A를 선택하게 되었지만, 아래와 같이 x, y를 선택하는 경우 추가적인 전파가 이뤄지지 않아 총 2명만 A를 선택하게 됨 3. 전파 최대화 문제 전파 최대화(Influence Maximization) 문제 : 그래프, 전파 모형, 시.. 공감수 1 댓글수 0 2022. 10. 27.
[그래프]4-2. 그래프를 통한 전파 : 확률적 전파 모형 그래프를 통해 다양한 것들이 전파되고 상호작용한다. 온라인 소셜 네트워크를 통해 정치 상황, 과학 정보, 챌린지 등 다양한 정보, 행동이 전파되고, 컴퓨터 네트워크 장비 고장의 전파, 파워 그리드의 정전 등의 고장이 전파될 수도 있다. 또한 코로나19, 사스, 메르스 등의 질병 전파도 그래프를 통한 전파로 설명될 수 있다. 전파 과정은 다양하고 매우 복잡한데 이를 이해하고 대처하기 위한 많은 수학 모형 중 두 가지를 살펴보려 한다. 1. 확률적 전파 모형 전염병의 경우를 생각해보면 의사결정 기반 모형은 적합하지 않다. 전염병에 걸리기로 '의사결정'을 내리지는 않기 때문이다. 전파가 확률적 과정으로 일어나는 경우 확률적 전파 모형을 고려해야 한다. 가장 간단한 형태인 독립 전파 모형(Independent .. 공감수 1 댓글수 0 2022. 10. 27.
[그래프] 4-1. 그래프를 통한 전파 : 의사결정 기반의 전파모형 그래프를 통해 다양한 것들이 전파되고 상호작용한다. 온라인 소셜 네트워크를 통해 정치 상황, 과학 정보, 챌린지 등 다양한 정보, 행동이 전파되고, 컴퓨터 네트워크 장비 고장의 전파, 파워 그리드의 정전 등의 고장이 전파될 수도 있다. 또한 코로나19, 사스, 메르스 등의 질병 전파도 그래프를 통한 전파로 설명될 수 있다. 전파 과정은 다양하고 매우 복잡한데 이를 이해하고 대처하기 위한 많은 수학 모형 중 두 가지를 살펴보려 한다. 1. 의사결정 기반의 전파 모형 주변 사람들의 의사 결정이 본인의 의사결정에 영향을 미치는 경우 사용 예를 들어 어떤 메신저(e.g., 카카오톡, 라인 메신저)를 사용할지, 어떤 충전기 포트를 도입할지 등은 주변 상황이 의사결정에 영향을 미친다 가장 간단한 형태로 선형 임계치.. 공감수 1 댓글수 0 2022. 10. 26.
[그래프] 3. 페이지랭크 페이지랭크의 배경 1. 웹과 그래프 웹 : 웹페이지와 하이퍼링크로 구성된 거대한 방향성 있는 그래프 웹페이지 = 정점 웹페이지가 포함하는 하이퍼링크 = 웹페이지에서 나가는 방향성 있는 간선 이때, 웹 페이지는 추가적으로 키워드 정보를 포함 2. 구글 이전의 검색 엔진 방법 1 : 웹을 거대한 디렉토리로 정리하는 것 웹페이지 수 증가 → 카테고리 수 & 깊이가 무한히 커짐 카테고리 구분이 모호한 경우가 많음 → 저장과 검색에 어려움 방법 2 : 웹페이지에 포함된 키워드에 의존한 검색 엔진 방법 : 사용자가 입력한 키워드에 대해 해당 키워드를 (여러번) 포함한 웹페이지 반환 단점 : 악의적인 웹페이지에 취약 (악성 키워드를 보이지 않게 여러 번 포함한다면?) 페이지랭크의 정의 1. 투표 관점의 정의 페이지랭.. 공감수 1 댓글수 0 2022. 10. 6.
[그래프] 2-2. 그래프 패턴 이전 포스트에 계속되는 내용입니다 2022.09.27 - [Analysis] - [그래프] 2-1. 그래프 패턴 [그래프] 2-1. 그래프 패턴 1. 실제 그래프 VS 랜덤 그래프 실제 그래프(Real Graph)란 다양한 복잡계로부터 얻어진 그래프 소셜 네트워크, 전자 상거래 구매 내역, 인터넷, 웹 그래프.. 랜덤 그래프 (Random Graph)란 확률적 과정을 sha-sha-sha.tistory.com 4. 거대 연결 요소 필수 개념 : 연결 요소 (Connected Component) 다음 조건들을 만족하는 정점들의 집합 연결 요소에 속하는 정점들은 경로로 연결될 수 있음 1의 조건을 만족하면서 정점을 추가할 수 없음 예시 좌측 그래프에는 3개의 연결 요소가 존재 {1, 2, 3, 4, 5}, .. 공감수 5 댓글수 0 2022. 9. 28.
[그래프] 2-1. 그래프 패턴 1. 실제 그래프 VS 랜덤 그래프 실제 그래프(Real Graph)란 다양한 복잡계로부터 얻어진 그래프 소셜 네트워크, 전자 상거래 구매 내역, 인터넷, 웹 그래프.. 랜덤 그래프 (Random Graph)란 확률적 과정을 통해 생성한 그래프 ex: 에르되스-레니 랜덤 그래프 (Erdos-Renyi Random Graph) 임의의 두 정점 사이에 간선이 존재하는지 여부는 동일한 확률 분포에 의해 결정됨 G(n, p) n개의 정점 임의의 두 정점 사이에 간선이 존재할 확률은 p 정점 간의 연결은 서로 독립적(Independent) Q : G(3, 0.3)에 의해 생성될 수 있는 그래프와 각각의 확률은? 정점 3개, 간선이 존재할 확률 0.3 ( = 간선이 존재하기 않을 확률 0.7) $0.3^3$ $0... 공감수 2 댓글수 0 2022. 9. 27.
[그래프] 1-2. 필수 기초 개념 1. 그래프 유형 및 분류 방향의 유무 간선에 방향이 없는 그래프 (Undirected Graph) 간선에 방향이 있는 그래프 (Directed Graph) 협업 관계 그래프 페이스북 친구 그래프 인용 그래프 트위터 팔로우 그래프 가중치의 유무 간선에 가중치가 없는 그래프 (Unweighted Graph) 간선에 가중치가 있는 그래프 (Weighted Graph) 웹 그래프 페이스북 친구 그래프 전화 그래프(횟수 등) 유사도 그래프 정점의 종류 동종 그래프 - 단일 종류의 정점 (Unpartite Graph) 이종 그래프 - 두 종류의 정점 (Bipartite Graph) 웹 그래프 페이스북 친구 그래프 전자 상거래 구매 내역 (사용자, 상품) 영화 출연 그래프 (배우, 영화) 2. 필수 기초 개념 그래.. 공감수 3 댓글수 0 2022. 9. 27.
[그래프] 1-1. 그래프 이론기초 1. 그래프란 무엇이고 왜 중요할까? 그래프의 정의 및 구성요소 그래프(Graph)는 정점 집합과 간선 집합으로 이루어진 수학적 구조. 네트워크(Network)라고도 불림 하나의 간선은 두 개의 정점을 연결. 모든 정점 쌍이 반드시 간선으로 직접 연결되는 것은 아님. 그래프는 왜 중요할까? 우리 주변의 많은 관계와 시스템은 복잡계(Complex System)로 구성됨. ex : 70억 인구로 구성된 사회, 전자 장치로 구성된 통신 시스템, 정보와 지식, 뇌, 신체 등. 공통 특징 : 구성 요소 간의 복잡한 상호작용 표현 방법 : 그래프 (= 복잡계를 표현하고 분석하기 위한 언어) 활용 분야 : 전산학, 물리학, 화학, 사회과학 → 뇌(뉴런 간 연결), 지식 그래프, 화학 분자, 단백질 구조, 세포 간 유.. 공감수 2 댓글수 0 2022. 9. 26.
[논문리뷰]Learning to Propagate Labels: Transductive Propagation Network for Few-shot Learning 문제인식 최근 관심을 받고 있는 few-shot learning은 각 클래스별 제한된 수의 데이터만으로 분류기를 잘 일반화 하는 것이다. 관련하여 다수의 다중 클래스 데이터로 학습하고 일반화하는 meta-learnig이 많이 사용되고 있지만 여전히 최신의 분류 문제에는 데이터가 적은 문제가 남아있다. 본 연구에서 제안하는 것은 전도성 전파망(Transductive Propagation Network, TPN)을 이용해 전체 데이터를 추론에 이용하는 meta-learning을 제안한다. 배경 개념 Few-shot learning 용어 정리 N-way K-shot way : Class 개수 shot : class당 제공하는 입력 데이터의 수 대부분의 연구들이 5-way 1-shot / 5-way 5-shot.. 공감수 6 댓글수 0 2022. 7. 27.
[논문리뷰] FixMatch : Simplifying Semi-Supervised Learning with Consistency and Confidence 작년 KAMP 경진대회를 준비하며 라벨 데이터가 적은 한계를 극복하기 위한 Semi-supervised Learning(이하 SSL)에 관심이 생겼다. 관련하여 어떤 논문을 리뷰할까 서치하다 FixMatch라는 구글에서 발표한 연구를 알게 되었다. 최근 딥러닝 업계에서 많이 연구되는 SSL분야는 연구가 많이 진행될수록 모델의 성능이 좋아졌지만 그와 함께 모델의 구조 및 학습 방법 또한 복잡해졌다. FixMatch는 이전에 진행된 최신 SSL 모델 대비 비슷하거나 더 좋은 성능을 가지지만 모델을 단순화 하고 비용을 줄임으로 많은 각광을 받았다는 점이 흥미를 끌었다. 문제 인식 컴퓨터 비젼에 딥러닝을 사용하며 점점 더 많은 데이터가 필요하게 되었다. 하지만 데이터에 라벨을 붙이는 것은 비용과 공수가 많이 드.. 공감수 6 댓글수 0 2022. 7. 19.
벡터 벡터란? 숫자를 원소로 가지는 리스트 또는 배열 $$ x = \begin{bmatrix}x_{1}\\x_{2}\\...\\x_{d}\\ \end{bmatrix} $$ $$x^{T} = \begin{bmatrix}x_{1}&x_{2}&...\\ \end{bmatrix}$$ 공간에서의 한 점 원점에서부터의상태적 위치 벡터 연산 같은 모양을 가지면 벡터 간의 덧셈, 뺄셈, 성분곱(Hadamard product) 계산 가능 놈 (norm) : 원점으로부터의 거리 기호 : || . || 임의의 차원 d에 대해 성립 -> 차원 상관없이 계산이 가능 종류 L1 norm $$||x||_{1}=\sum_{i=1}^{d}|x_{i}|$$ 각 성분의 변화량의 절댓값의 합 좌표평면에서 좌표축을 따라 움직이는 거리를 뜻함 L2.. 공감수 1 댓글수 0 2022. 7. 18.
Skewness, 비대칭 데이터 머신러닝 프로젝트를 진행할 때 정규 분포가 아닌 꼬리가 한쪽으로 긴 비대칭 데이터를 자주 볼 수 있다. 비대칭 데이터를 정규 분포로 변환해야 모델의 성능이 올라가거나 예측 오차가 줄어든다는 글을 많이 보았는데 이 데이터의 형태는 어떤 것인지, 꼭 변환을 해야 할지 정리해보고자 한다. 왜도(skewness)란 무엇일까? 왜도(skewness)란 한마디로 데이터 분포의 비대칭성의 정도를 뜻한다. 분포는 오른쪽 꼬리가 길거나(skewness > 0), 왼쪽 꼬리가 길거나(skewness < 0) 또는 0의 수치를 가질 수 있다. 아마 다음과 같은 경우에 왜도를 계산할것이다. 해당 변수에 대해 설명하고자 할 때. 해당 변수가 정규 분포인지 확인하고자 할 때. 정규 분포의 왜도 값은 0으로써 많은 통계적 절차들이.. 공감수 6 댓글수 0 2022. 7. 17.

728x90

반응형

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.