전체 글 썸네일형 리스트형 [Ray] 2-2. Ray Core : Actors 예제 Actors Actors는 RAY API에서 함수가 클래스로 확장된 개념이다. 새로운 actor가 생성되면 새 worker가 생성되고, actor의 method는 특정 worker에 스케쥴링되어 접근 및 사용될 수 있다 import ray import time ray.shutdown() ray.init() @ray.remote class Counter(): def __init__(self): self.value = 0 def increment(self): self.value += 1 return self.value def get_counter(self): return self.value counter = Counter.remote() Specifying required resources @ray.remo.. 더보기 [Ray] 2-1. Ray Core: Tasks 예제 Tasks Ray는 별도의 파이썬 작업자에서 임의의 함수를 비동기적으로 실행할 수 있다. 그런 기능을 ray remote function이라고 하고 비동기식 호출을 ray tasks라고 한다. import ray import time ray.shutdown() ray.init() def normal_function(): return 1 # @ray.remote 데코레이터를 붙임으로써 ray remote function으로 정의할 수 있음 @ray.remote def my_function(): return 1 # 위의 remote function을 적용하기 위해 'remote' method 사용 # 이는 즉각 object ref(미래시점에)을 반환하고 task를 생성한다. obj_ref = my_funct.. 더보기 [Ray] 2. Ray Core Ray Core란? 분산 어플리케이션을 만들기 위해 제공된 핵심 요소들 (i.e., tasks, actors, objects) Key Concept Tasks Ray는 분산된 파이썬 작업들을 비동기로 실행할 수 있는 함수를 제공하는데, 이 비동기 함수를 'tasks'라고 부른다. Ray를 사용하면tasks가 CPUs, GPUs, 사용자 요구 측면에서 자원을 지정할 수 있다. 이 리소스 요청은 병렬 처리를 위해 clueter scheduler가 task를 분배할 때 사용된다. ( Actors 함수에서 클래스로 Ray API가 확장된 것이다. actor는 필수적으로 stateful(네트워크 연결 상태를 추적할 수 있는) 작업이나 서비스이다. 새로운 actor 객체가 생성되면, 새로운 작업이 생성되고, act.. 더보기 [자료구조] Heap 우선순위 큐 (Priority Queue) 우선순위 큐란 자료구조 큐에 우선순위 개념을 도입 데이터가 들어온 순서에 따라 나가게 되는 큐, 스택과 달리 데이터들의 우선순위에 따라 나가는 순서가 달라진다 ex: 물건 데이터를 자료구저에 넣었다가 꺼내는 경우, 가치가 높은 물건부터 꺼내서 확인 자료구조 삭제되는 요소 스택(Stack) LIFO (Last in, first out) 큐(Queue) FIFO(First in, first out) 우선순위큐(Priority Queue) 가장 우선순위가 높은 데이터 우선순위 큐의 구현 단순히 리스트를 이용해 구현 힙(heap)을 이용해 구현 배열, 연결 리스트, 힙으로 구현할 수 있지만 그 중 힙(heap)으로 구현하는 것이 가장 효율적 구현 방식 삽입시간 삭제시간.. 더보기 [그래프] 3. 페이지랭크 페이지랭크의 배경 1. 웹과 그래프 웹 : 웹페이지와 하이퍼링크로 구성된 거대한 방향성 있는 그래프 웹페이지 = 정점 웹페이지가 포함하는 하이퍼링크 = 웹페이지에서 나가는 방향성 있는 간선 이때, 웹 페이지는 추가적으로 키워드 정보를 포함 2. 구글 이전의 검색 엔진 방법 1 : 웹을 거대한 디렉토리로 정리하는 것 웹페이지 수 증가 → 카테고리 수 & 깊이가 무한히 커짐 카테고리 구분이 모호한 경우가 많음 → 저장과 검색에 어려움 방법 2 : 웹페이지에 포함된 키워드에 의존한 검색 엔진 방법 : 사용자가 입력한 키워드에 대해 해당 키워드를 (여러번) 포함한 웹페이지 반환 단점 : 악의적인 웹페이지에 취약 (악성 키워드를 보이지 않게 여러 번 포함한다면?) 페이지랭크의 정의 1. 투표 관점의 정의 페이지랭.. 더보기 [Ray]1. 시작하며 https://docs.ray.io/en/latest/ray-overview/installation.html Installing Ray — Ray 2.0.0 .rst .pdf to have style consistency --> docs.ray.io Ray란? Ray는 AI와 Python 어플리케이션의 확장을 위한 통합 프레임워크이다. Ray는 핵심 분산 runtime과 ML 계산의 단순화를 위한 라이브러리 툴킷으로 구성되어 있다. Ray AIR Datasets : 분산된 데이터 전처리 Train : 분산 학습 Tune : 확장 가능한 하이퍼파라미터 튜닝 Serve : 확장 및 프로그래밍 가능한 서빙 RLib : 확장 가능한 강화학습 Ray Core Tasks : 클러스터에서 실행되는 상태 비저장 함수 .. 더보기 [그래프] 2-2. 그래프 패턴 이전 포스트에 계속되는 내용입니다 2022.09.27 - [Analysis] - [그래프] 2-1. 그래프 패턴 [그래프] 2-1. 그래프 패턴 1. 실제 그래프 VS 랜덤 그래프 실제 그래프(Real Graph)란 다양한 복잡계로부터 얻어진 그래프 소셜 네트워크, 전자 상거래 구매 내역, 인터넷, 웹 그래프.. 랜덤 그래프 (Random Graph)란 확률적 과정을 sha-sha-sha.tistory.com 4. 거대 연결 요소 필수 개념 : 연결 요소 (Connected Component) 다음 조건들을 만족하는 정점들의 집합 연결 요소에 속하는 정점들은 경로로 연결될 수 있음 1의 조건을 만족하면서 정점을 추가할 수 없음 예시 좌측 그래프에는 3개의 연결 요소가 존재 {1, 2, 3, 4, 5}, .. 더보기 [그래프] 2-1. 그래프 패턴 1. 실제 그래프 VS 랜덤 그래프 실제 그래프(Real Graph)란 다양한 복잡계로부터 얻어진 그래프 소셜 네트워크, 전자 상거래 구매 내역, 인터넷, 웹 그래프.. 랜덤 그래프 (Random Graph)란 확률적 과정을 통해 생성한 그래프 ex: 에르되스-레니 랜덤 그래프 (Erdos-Renyi Random Graph) 임의의 두 정점 사이에 간선이 존재하는지 여부는 동일한 확률 분포에 의해 결정됨 G(n, p) n개의 정점 임의의 두 정점 사이에 간선이 존재할 확률은 p 정점 간의 연결은 서로 독립적(Independent) Q : G(3, 0.3)에 의해 생성될 수 있는 그래프와 각각의 확률은? 정점 3개, 간선이 존재할 확률 0.3 ( = 간선이 존재하기 않을 확률 0.7) $0.3^3$ $0... 더보기 이전 1 2 3 4 5 6 7 8 다음
