개발/머신러닝5 [Deep Learning] Attention Mechanism (어텐션) (개인적으로 학습의 목적으로 정리한 글로 틀린 내용이 있을 수 있습니다) Attention이 생긴이유 1) 연속된 정보(Sequence data)들관의 상관관계를 처리하기 위해 RNN(Recurrent Neural Network)이 처음으로 고안되었다. 2) 하지만 RNN은 vanishing gradient의 문제점 때문에 데이터가 길어지면 길어질수록 결과가 부정확해졌고, LSTM(Long Short Term Memory)는 이를 보완하기 위해 구조를 개선하여 나왔다. 3) Seq2Seq 모델은 내부적으로 encoder와 decoder라는 2개의 LSTM/RNN 모델 계층들을 사용하여 sequence를 입력값으로 받고 결과값도 sequence로 반환하여준다. 4) 하지만 Seq2Seq 모델또한 Vanis.. 2020. 8. 2. Entropy and Information Gain What is Entropy: Entropy is the measure of impurity, disorder and uncertainty In machine Learning: Average number of yes/no questions we need to guess the target class How does entropy play? Entropy controls how a Decision Tree decides to split the data. It actually effects how a decision tree draws its boundaries. What is Information Gain: Information Gain(IG) measures how much "information" a .. 2020. 4. 6. Decision Tree Learning - 의사결정나무 Decision Tree Learning은 데이터들의 모음으로부터 패턴을 추출하여 같은 규칙들 안에 들어가는 데이터들끼리 묶어 Decision Tree를 만들고, 이를 활용하여 새로운 데이터가 들어왔을때 데이터가 어떤 집합에 속하게 되는지를 판별함으로써 target을 예측하는 방법입니다. 위에 도표를 예시로 들자면, 가장 아래의 Leaf node를 먼저 살펴보겠습니다. Humidity 2020. 4. 5. Deep Learning을 사용한 Object Detection 설명 Object Detection이란, 여러 개의 사물이 포함되어 있는 이미지 안에서 각각의 물체의 종류를 판별하는 Image Classification과, 각각의 사물의 범위를 예측하는 Object Localization이 합쳐진 작업입니다. Deep learning 이전의 기법들: Sliding Window: 여러가지 사이즈의 frame들을 움직이며 각각의 위치의 score를 계산하는 방법입니다. 계산의 횟수가 많아 속도 측면에서 비효율적입니다. Selective Search: 영상의 계층적인 구조를 활용하여 탐색하고 그룹화하는 과정을 반복합니다. Deep learning을 사용한 Object Detection R-CNN: Object Detection에 CNN을 적용한 첫 논문이며 selective s.. 2020. 3. 30. Apache Beam, Apache Airflow, Apache Atlas 설명 Apache Beam Apache Beam은 data processing pipeline을 정의할 수 있는 오픈소스 프로그래밍 모델이다. Apache Beam은 배치 프로세싱과 스트리밍 프로세싱을 모두 지원한다. Beam에서 pipeline을 정의한 후, Beam이 지원하는 Runner들(Spark, Apex, Flink, Google Dataflow) 중 하나를 사용하여 데이터를 처리하는 방식으로 각각의 Runner들을 사용하는 방법을 몰라도 Beam만을 사용해서 데이터를 처리할 수 있다. Apache Beam은 Dataflow model paper를 따라 개발되었다. 여기서 Dataflow Model이란, 제한이없고 정렬되지않은 데이터셋들을 처리하기 위한 데이터의 관리 및 처리 프레임워크이다. 최근에.. 2020. 3. 30. 이전 1 다음
