💡 TIL

Uber가 딥러닝 모델을 사용하여 도착시간을 예측하는 방법

DeepETA: How Uber Predicts Arrival Times Using Deep Learning Uber가 도착시간을 예측하기 위해 왜 딥러닝 모델로 넘어가게 되었는지 알 수 있는 글이다. 아래 본문은 이를 읽고 정리한 내용이다. 우버는 사용자에게 차량 도착 예측 시간(ETA)을 제공한다. ETA를 사용하여 요금을 계산하고, 픽업 시간을 추정하고, 라이더와 기사를 연결하고, 배송을 계획하는 등의 작업을 수행하며, 이를 정확하게 추정하는 능력은 매우 중요하다. 정확한 ETA 추정은 고객에게 긍정적인 경험을 제공하고, 서비스 가격과 운전 경로 등을 설정하는 데도 활용된다. 이 글에선 우버가 ETA 예측 개선을 위해 왜 딥러닝 모델을 선택했고, 어떤 기술을 사용했는지 다룬다. 전통적인 ETA 엔진..

Decision Tree

어렵고 복잡한 모델이 아닌 기본 트리모델이 성능이 더 좋은 경우가 있다. 또 인기있는 부스팅 모델인 Light GBM, XG boost은 Tree모델을 고도화한 것이고, 나 또한 프로젝트에서 사용했던 모델이기에 다시 한 번 정확히 이해해보고자 StatQuest: Decision Trees를 보고 정리해봤다. * 이 글은 StatQuest: Decision Trees를 보고 정리한 내용입니다. * 0. Decision Tree Decision Tree는 분류 규칙을 통해 데이터를 분류, 회귀하는 지도 학습 모델 중 하나이다. 한 번의 분기 때마다 변수 영역을 두 개로 구분하며, 질문이나 정답은 노드(Node)라고 불린다. 맨 처음 분류 기준을 Root Node, 중간 분류 기준을 Intermediate N..

Hidden Technical Debt in Machine Learning Systems (2)

Hidden Technical Debt in Machine Learning Systems Part of Advances in Neural Information Processing Systems 28 (NIPS 2015) Abstract Machine learning offers a fantastically powerful toolkit for building useful complexprediction systems quickly. This paper argues it is dangerous to think ofthese quick wins as coming for free. Using the software engineering frameworkof technical debt, we find it is..

Hidden Technical Debt in Machine Learning Systems (1)

Hidden Technical Debt in Machine Learning Systems Part of Advances in Neural Information Processing Systems 28 (NIPS 2015) Abstract Machine learning offers a fantastically powerful toolkit for building useful complexprediction systems quickly. This paper argues it is dangerous to think ofthese quick wins as coming for free. Using the software engineering frameworkof technical debt, we find it is..

얼굴인식에서 노이즈 제거를 위한 PCA 접근

PCA가 영상인식에 활용되는 대표적인 예는 얼굴인식(face recognition)입니다. 이와 관련된 개념 혹은 용어로서 eigenface(아이겐페이스)가 있습니다. 다음과 같은 20개의 45x40 얼굴 이미지들이 있습니다. 이미지에서 픽셀 밝기값을 일렬로 연결하여 벡터로 만들면, 이들 각각의 얼굴 이미지는 45x40 = 1,800 차원의 벡터로 생각할 수 있습니다. (즉, 각각의 이미지는 1,800 차원 공간에서 한 점(좌표)에 대응) 이제 이 20개의 1,800차원 점 데이터들을 가지고 PCA를 수행하면 데이터의 차원 수와 동일한 개수의 주성분 벡터들을 얻을 수 있습니다. 이렇게 얻어진 주성분 벡터들을 다시 이미지로 해석한 것이 eigenface 입니다. (얼굴 이미지를 가지고 얻은 벡터이기에 ei..