최근 관측에 더 큰 가중치, 과거일수록 지수적으로 가중치 감소

• 칼만필터의 정상상태 이득이 상수로 수렴하면, 업데이트가 ETS의 형태와 같아짐 → 특정 가정에서 ETS ≈ 칼만필터 기반 추정으로 볼 수 있음

• RNN: $h_t = f(h_{t-1}, x_t)$ 로 과거 정보를 전달하나, 장기 의존에서 기울기 소실/폭발 문제

• LSTM: 게이트(Forget/Input/Output)와 셀 상태 $c_t$로 중요 정보를 보존/삭제/출력하도록 학습
  $$c_t=f_t⊙c_{t−1}+i_t⊙~c_t, h_t=o_t⊙tanh(c_t)$$
  • $f_t$, $i_t$가 시점·상황별로 달라지는 비선형·적응형 가중

• 우리가 다루는 데이터(단어, 문장, 이미지, 사용자 등)는 원래 형태로는 숫자가 아님

• 컴퓨터/딥러닝 모델이 이해할 수 있도록 → 숫자 벡터로 바꿔줘야 함

• 고차원적이고 복잡한 데이터를 “의미가 보존된 벡터 공간”으로 바꾸는 것 = 임베딩

• 임베딩을 자동으로 잘 학습해주는 신경망 모델

• 데이터의 의미/관계가 벡터 간 거리로 표현되도록 훈련

• 예시
  • 자연어: Word2Vec, GloVe, BERT → 비슷한 의미 단어는 가까운 벡터
  • 추천시스템: 사용자와 아이템을 같은 공간에 임베딩 → 취향 가까우면 추천
  • 이미지 검색: 비슷한 이미지끼리 벡터가 가까워지도록 학습

길이가 달라도 되는 입력 시퀀스를 받아, 또 다른 시퀀스로 바로 변환해 주는 엔드투엔드 프레임워크

1. 가변 길이 ↔ 가변 길이

   : 전통 모델이 어려워하던 입력·출력 길이 불일치를 자연스럽게 처리함

2. 엔드투엔드 학습

   : 토큰화 이후 별도 규칙·정렬 없이 학습만으로 변환 규칙을 습득함

3. 정렬 문제 해결

   : 어텐션을 붙이면 입력의 어느 부분을 보고 있는지까지 학습해 긴 문장·복잡한 매핑을 잘 처리하고, 해석도 쉬워짐

4. 범용성

   : RNN/LSTM → 어텐션 → 트랜스포머까지 같은 틀(인코더 - 디코더) 안에서 발전

Seq2Seq의 핵심 업그레이드