게임 이론의 Shapley value 개념을 머신러닝에 적용 → 모델 예측값에 기여한 기여도(마진) 을 계산

• 특정 feature 가 없을 때와 있을 때 모델 예측 차이를 여러 feature 조합에 대해 평균내어 산출

• 각 샘플별로 각 feature 가 예측에 미친 영향을 수치화
  • 양수 → 예측값을 증가
  • 음수 → 예측값을 감소

  → 각 feature의 SHAP 값 절댓값 평균을 내어 global feature 중요도를 얻음

• 기존 feature impotance는 모델이 학습 중에 feature를 얼마나 자주, 얼마나 잘 썼는지를 기반으로 중요도를 산출
  • 예를 들어, XGBoost의 feature_importances_ 는 Gini impurity 감소량을 합산

• SHAP는 단순 중요도 순위뿐 아니라, 각 feature가 예측값을 어떻게 끌어올리거나 내렸는지까지 설명하므로 해석력이 훨씬 뛰어남

• SHAP는 이론적으로 공정성, 일관성(Consistency) 가 보장되어 매우 신뢰할만함
  • feature가 모델에 더 큰 영향을 미치면 SHAP 값도 반드시 커짐

• 다만, 계산량이 많아 대규모 데이터나 복잡한 딥러닝 모델에서는 계산 비용과 시간이 많이 든다.

• SHAP는 모델과 데이터에 기반해 해석하므로, 이상치(outlier)나 노이즈에 민감할 수도 있음
  • 데이터 전처리와 모델 검증이 중요

• SHAP 값은 인과관계를 의미하지 않고, 단지 예측에 대한 기여도임을 명확히 이해해야 함
  • 기존의 feature importance도 인과관계를 의미하지 않음

  → 상관관계 또는 예측적 중요도를 나타냄

  → 실제로 인과관계를 파악하려면 추가적인 인과 추론 기법(ex. A/B 테스트)가 필요

• 모델 예측의 투명성 확보가 필요한 경우 (의료, 금융, 법률 등)

• 복잡한 모델(트리 앙상블, 딥러닝)의 내부 작동 원리를 해석할 때

• 개별 샘플별 예측 이유를 설명해야 할 때

• feature 간 상호작용과 의존성을 고려한 정밀한 중요도 분석이 필요할 때

• 기존 feature importance가 불안정하거나 일관성이 떨어질 때

SHAP은 모델의 예측 결과를 각 feature 별로 분해해 설명하는 해석 기법

• 모델과 데이터 자체에 기반해 계산되므로, 데이터 내의 이상치나 노이즈에 민감하게 반응할 수 있음

SHAP 값은 모델이 훈련된 데이터 분포를 바탕으로 각 feature의 기여도를 계산

→ 만약, 데이터에 이상치나 노이즈가 많으면, 모델이 이를 학습하면서 예측 경계가 왜곡되고, SHAP 값 역시 비정상적으로 산출될 수 있음

SHAP는 각 feature 조합에 대해 예측값의 변화를 계산하는데, 이상치가 포함된 샘플은 다른 특성의 SHAP 값에도 영향을 미칠 수 있음

1. 모델 학습

2. SHAP 값 계산
   • 학습된 모델과 입력 데이터를 사용해 각 샘플, 각 feature 별로 SHAP 값을 계산
   • SHAP 값 : 해당 feature 가 예측값에 기여한 정도
   • 계산 방식은 모델 종류에 따라 TreeSHAP, KernelSHAP, DeepSHAP 등이 있음