헤매어도 한 걸음씩

원문 : https://arxiv.org/html/2401.18059v1소스코드 : https://github.com/parthsarthi03/raptor RAG 파이프라인에 대해서 고민하던 중 지인의 추천으로 읽게 된 논문입니다.RAPTOR 는 스탠포드 대학에서 제안한 RAG 방법론으로, 문서를 재귀적으로 요약하여 계층적인 트리 구조를 형성함으로써 장문의 문서에서의 RAG 성능을 향상시킬 수 있다는 가능성을 제시합니다. 본문에선 구체적인 설명에 앞서 RAPTOR 에 대해 간단히 소개한 후, Naive RAG 방식과의 차별점, 그리고 각 단계별로 어떤 이론이 사용되었는지 일부 소스코드와 함께 정리했습니다.   1. 기존 Naive RAG 방식과 RAPTOR 비교Naive RAG : Naive RAG 방식..

원문 : https://www.cs.umd.edu/~samir/498/Amazon-Recommendations.pdf 사용자가 선호할만한 아이템을 추천함으로써 여러 가지 항목 중 사용자에게 적합한 특정 항목을 추천하여 제공하는 알고리즘매출과 직결되는 system이기 때문에 많은 연구가 있음 ex. 넷플릭스, 구글, 아마존Item-to-Item Collaborative Filtering : 1998년 Amazon에서 처음 사용 Problems: E-commerce recommendation algorithms often operate in a challenging environment.대용량 데이터의 처리half of second 안으로 처리해야하는 real time 추천새로운 USER가 왔을때 어떻게 추..

원문 : https://static.googleusercontent.com/media/research.google.com/ko//pubs/archive/45530.pdfABSTRACT유튜브는 현재 매우 큰 규모와 복잡한 추천 시스템을 보여주고 있는 산업 중 하나이 논문에서는 딥러닝을 사용하여 추천 시스템의 성능을 향상시킨 것에 대해 다루며, 2가지 기본 구조를 따르고 있음첫번째는 deep candidate generation model이며, 두번째는 separate deep ranking model임ABSTRACT유튜브는 현재 매우 큰 규모와 복잡한 추천 시스템을 보여주고 있는 산업 중 하나이 논문에서는 딥러닝을 사용하여 추천 시스템의 성능을 향상시킨 것에 대해 다루며, 2가지 기본 구조를 따르고 있음첫..

🎬 소개 영상 : https://www.youtube.com/watch?v=AwnoASlxeIs깃헙 코드 : https://github.com/rosewang2008/language_modeling_via_stochastic_processes  INTRODUCTION[ABSTRACT] 사전 훈련된 모델에 대한 긴 텍스트 생성 문제를 해결GPT-2와 같은 현재의 대규모 언어 생성 모델은 매우 유창한 짧은 텍스트를 생성하지만 긴 텍스트를 생성할 때 의미론적 일관성이 떨어짐 (보통 토큰을 사용한 언어모델에서 발생)예를 들어, 진지하게 시사를 이야기하다가 갑자기 주제에서 벗어난 취미나 음식에 대해 이야기함 → 사전 훈련된 언어 모델에는 장기 계획 기능이 전혀 없기 때문이러한 문제를 해결하기 위해 스탠포드 대학..

원문 : https://arxiv.org/abs/2205.13504 Abstract최근 들어 Time Series Forecasting(TSF), 특히 Long Term TSF에서 Transformer 기반의 모델이 다수 제안됨Transformer 기반의 모델은 Paired Element 사이에 존재하는 상관관계를 추출하는 것에 뛰어나지만, 'Permutation-Invariant' 즉 순서를 고려하지 않는다는 단점이 있음.→ 시계열 예측 문제의 경우 연속적인 순서로 이루어진 데이터로부터 Temporal Dynamics 를 포착하는 것이 매우 중요한 바, Transformer 기반의 모델이 Long-Term TSF 문제에 적합한지에 대해 다시 생각해볼 필요가 있음트랜스포머 모델이 명확한 추세와 주기성을 ..