머신러닝·딥러닝 학습 알고리즘

요약

• learning은 task를 잘 수행하기 위해

data(experience)를 이용해

성능지표를 최대화하도록 모델 파라미터를 찾는 과정

• 딥러닝은 복잡한 신경망 모델을 쓰고 미분 가능한 목적함수를 경사하강법(SGC/미니배치)으로 최적화 → 목표는 암기(memorize)가 아니라 일반화

• data augmentation은 label은 유지하면서 입력만 살짝 바꿔 가상 데이터를 대량 생성하는 기법 → 일반화에 결정적

• 고급 증강: Mixup, Cutout, CutMix, Label Smoothing, Adversarial Training

Learning의 구성요소: Task, Data, Metric

최적화의 기본: ERM → (미니배치) SGD

• ERM(Empirical Risk Minimization)의 직관
• 이상적으로는 “세상 모든 데이터”에 대한 평균 오차를 줄이고 싶지만 불가능
• 대신 훈련 데이터 평균 오차(경험적 위험)을 최소화

경험적 위험(ERM) = 훈련 데이터 손실

→ 학습의 기본 원리이며, 실제로는 SGD/미니배치로 최적화

• 정규화(Regularization): 과적합을 막기 위해 손실 함수에 Regularization Term을 추가하는 방법
• L2 정규화(Weight Decay): 가중치 제곱합을 줄임
• L1 정규화(Lasso): 가중치 절댓값 합을 줄임

• 경사하강법과 미니배치
• 경사하강법: 손실의 기울기(gradient) 방향으로 파라미터를 갱신


SGD

• Batch GD : 한 번 파라미터를 업데이트할 때 전체 데이터셋에 대해 기울기를 모두 계산 → 연산량이 매우 크고 시간이 오래 걸림

• SGD(Stochastic Gradient Descent) : 한 번의 업데이트에 한 샘플만 사용

→ 1 스텝 업데이트당 연산량이 크게 줄어든다.

→ 데이터셋이 아무리 커도 업데이트 속도는 일정하게 유지됨

• 미니배치 SGD: 전 데이터 대신 매번 일부 샘플(미니배치)로 근사해 계산
• 장점
1. 연산량 감소

: 전체 데이터셋으로 기울기를 계산하는 배치 GD는 어무 무거움. 미니배치로 근사하면 연산이 가벼워지고, GPU 메모리 사용도 감소

2. 랜덤성(노이즈) 효과

: 미니배치마다 샘플 구성이 달라서 기울기 추정치에 노이즈가 섞임. 이 랜덤성이 지역 최적점(local minima)이나 안장점(saddle point)에 갇히지 않고 더 좋은 해로 갈 수 있도록 도와줌

데이터는 부족하고 세상은 넓다: 증강의 필요성과 원칙

• 왜 증강인가?
• 현실의 훈련셋은 전체 분포의 작은 표본 일 뿐
• 증강은 원본 근처에 가상 샘플을 생성해 분포를 더 잘 근사하게 도움

• 가장 중요한 규칙 = 레이블 불변성(Label Invariance)
• 입력을 변형해도 정답의 의미가 바뀌지 않아야 함

고급 증강 기법

VRM(Vicinal Risk Minimization)

• ERM은 훈려 데이터 평균 손실만 최소화

→ 데이터가 부족할 경우 분포를 제대로 근사하지 못할 수도..

• VRM은 원본 데이터 근방(vicinity)의 가상 샘플을 만들어 학습시켜, 실제 분포에 더 가까운 근사를 하도록 도움

• 데이터 증강 기법들을 VRM의 대표적인 구현 사례

딥러닝 학습 루프

1. 데이터 불러오기(미니배치)

2. 전처리/증강 적요

3. 모델 추론(forward pass)

4. 손실 계산(loss function)

5. 역전파(backward pass) → 기울기 꼐산

6. 파라미터 업데이트(optimizer step)

손실함수