목록전체 글 (38)
헤매어도 한 걸음씩

BERT Bidirectional Encoder Representations from Transformers BERT란? Encoder: 입력값을 양방향으로 처리함. Decoder: 입력값을 왼쪽에서 오른쪽으로 단방향 처리함. 단어를 하나씩 읽어가면서 다음 단어를 예측하는 방식(왼→오) 잘 만들어진 BERT 언어모델 위에 1개의 classification layer만 부착하여 다양한 NLP task를 수행 Bidrectional Encoder Representations from Transformers : Transformer의 양방향 인코더를 사용한 사전학습 모델 기존의 RNN, CNN 계열의 신경망 구조를 탈피하여 Self-Attention 기법을 사용한 기계번역 신경망 → 양방향으로 문맥을 이해할 ..

자주 나오는 면접 질문 통계에서 사용되는 부트스트랩(Bootstrap)의 의미는? 신뢰구간의 정의는? 신뢰구간이 95%인 경우, p-value가 0.03이 나오면 어떻게 해석할 것인가? 1. 부트스트랩 표본통계량이나 모델 파라미터의 표본분포를 추정하는 쉽고 효과적인 방법은, 표본에서 추가적으로 표본을 복원추출하고, 각 표본에 대한 통계량과 모델을 다시 계산하는 것이다. 이러한 절차를 부트스트랩이라고 한다. 개념적으로 부트스트랩은 원래 표본을 수천, 수백만번 복제하는 것이라고 생각할 수 있다. 그렇다고 표본을 실제로 엄청난 횟수로 반복 복제하는 것은 아니다. 대신 각각의 표본을 뽑은 후 각 관측치를 다시 원래 자리에 돌려놓는다. 즉, 복원추출 한다. 이런식으로 뽑을때마다 각 원소가 뽑힐 확률은 그대로 유지..

원문 : https://arxiv.org/abs/2205.13504 Abstract최근 들어 Time Series Forecasting(TSF), 특히 Long Term TSF에서 Transformer 기반의 모델이 다수 제안됨Transformer 기반의 모델은 Paired Element 사이에 존재하는 상관관계를 추출하는 것에 뛰어나지만, 'Permutation-Invariant' 즉 순서를 고려하지 않는다는 단점이 있음.→ 시계열 예측 문제의 경우 연속적인 순서로 이루어진 데이터로부터 Temporal Dynamics 를 포착하는 것이 매우 중요한 바, Transformer 기반의 모델이 Long-Term TSF 문제에 적합한지에 대해 다시 생각해볼 필요가 있음트랜스포머 모델이 명확한 추세와 주기성을 ..