자주 쓰이는 딥러닝(1): 최대우도추정, 크로스엔트로피 로스

최대우도추정: 주어진 데이터셋을 기반으로 확률 모델(로그 우도함수 최대화 하는 파라미터) 추정

＊우도란? 주어진 파라미터하에서 데이터 X가 관측될 확률

---

엔트로피: 불확성의 척도로, 정보량의 기대값

KL-divergence: 확률분포 간 정보량의 차이로, P분포를 추정하는데 Q분포가 얼마나 적합한 지 측정

---

크로스 엔트로피(KL + entropy P)

1) 두 확률 분포 p와 q사이의 차이를 측정하는 방법

2) 모델이 예측하는 확률 분포 q와 실제 데이터의 분포 p가 얼마나 유사한지 측정

H(p,q)= −∑x​p(x)logq(x) #p: 실제 분포, q: 예측 분포

---

크로스 엔트로피 손실함수

이진 분류 손실함수

N: 샘플 C: 클래스 yi: 실제 레이블 yhat: 모델이 예측한 확률

다중 클래스 분류

yi,c: 실제 레이블 yi,c hat: 모델이 클래스 c에 대해 예측한 확률