💡 TIL/ML&DL

Uber가 딥러닝 모델을 사용하여 도착시간을 예측하는 방법

DeepETA: How Uber Predicts Arrival Times Using Deep Learning Uber가 도착시간을 예측하기 위해 왜 딥러닝 모델로 넘어가게 되었는지 알 수 있는 글이다. 아래 본문은 이를 읽고 정리한 내용이다. 우버는 사용자에게 차량 도착 예측 시간(ETA)을 제공한다. ETA를 사용하여 요금을 계산하고, 픽업 시간을 추정하고, 라이더와 기사를 연결하고, 배송을 계획하는 등의 작업을 수행하며, 이를 정확하게 추정하는 능력은 매우 중요하다. 정확한 ETA 추정은 고객에게 긍정적인 경험을 제공하고, 서비스 가격과 운전 경로 등을 설정하는 데도 활용된다. 이 글에선 우버가 ETA 예측 개선을 위해 왜 딥러닝 모델을 선택했고, 어떤 기술을 사용했는지 다룬다. 전통적인 ETA 엔진..

Decision Tree

어렵고 복잡한 모델이 아닌 기본 트리모델이 성능이 더 좋은 경우가 있다. 또 인기있는 부스팅 모델인 Light GBM, XG boost은 Tree모델을 고도화한 것이고, 나 또한 프로젝트에서 사용했던 모델이기에 다시 한 번 정확히 이해해보고자 StatQuest: Decision Trees를 보고 정리해봤다. * 이 글은 StatQuest: Decision Trees를 보고 정리한 내용입니다. * 0. Decision Tree Decision Tree는 분류 규칙을 통해 데이터를 분류, 회귀하는 지도 학습 모델 중 하나이다. 한 번의 분기 때마다 변수 영역을 두 개로 구분하며, 질문이나 정답은 노드(Node)라고 불린다. 맨 처음 분류 기준을 Root Node, 중간 분류 기준을 Intermediate N..

얼굴인식에서 노이즈 제거를 위한 PCA 접근

PCA가 영상인식에 활용되는 대표적인 예는 얼굴인식(face recognition)입니다. 이와 관련된 개념 혹은 용어로서 eigenface(아이겐페이스)가 있습니다. 다음과 같은 20개의 45x40 얼굴 이미지들이 있습니다. 이미지에서 픽셀 밝기값을 일렬로 연결하여 벡터로 만들면, 이들 각각의 얼굴 이미지는 45x40 = 1,800 차원의 벡터로 생각할 수 있습니다. (즉, 각각의 이미지는 1,800 차원 공간에서 한 점(좌표)에 대응) 이제 이 20개의 1,800차원 점 데이터들을 가지고 PCA를 수행하면 데이터의 차원 수와 동일한 개수의 주성분 벡터들을 얻을 수 있습니다. 이렇게 얻어진 주성분 벡터들을 다시 이미지로 해석한 것이 eigenface 입니다. (얼굴 이미지를 가지고 얻은 벡터이기에 ei..

XGBoost

Basic Concept 앙상블 : 여러 모델들의 집합을 통해 예측 결과를 만들어 내는 것 부스팅 : 모델들을 앙상블 형태로 만드는 일반적인 기법 : 연속된 라운드마다 잔차가 큰 레코드들에 가중치를 높여 일련의 모델들을 생성 배깅 : 샘플을 여러 번 뽑아(Bootstrap) 각 모델을 학습시켜 결과물을 집계(Aggregration) 부스팅은 이전 모델이 갖는 오차를 줄이는 방향으로다음 모델을 연속적으로 생성한다. 배깅은 상대적으로 튜닝이 거의 필요없지만, 부스팅은 적용하고자 하는 문제에 따라 주의 필요 XGBoost GBM은 residaul을 줄이는 방향으로 weak learner를 결합해 강력한 성능을 자랑하지만, 해당 train data에 residual을 계속 줄여 overfitting 되기 쉽다는..

BERT

BERT Bidirectional Encoder Representations from Transformers BERT란? Encoder: 입력값을 양방향으로 처리함. Decoder: 입력값을 왼쪽에서 오른쪽으로 단방향 처리함. 단어를 하나씩 읽어가면서 다음 단어를 예측하는 방식(왼→오) 잘 만들어진 BERT 언어모델 위에 1개의 classification layer만 부착하여 다양한 NLP task를 수행 Bidrectional Encoder Representations from Transformers : Transformer의 양방향 인코더를 사용한 사전학습 모델 기존의 RNN, CNN 계열의 신경망 구조를 탈피하여 Self-Attention 기법을 사용한 기계번역 신경망 → 양방향으로 문맥을 이해할 ..