북극곰의 개발일기

모두를 위한 딥러닝 lecture 6 - Softmax regression(Multinomial Logistic Regression)





posted by purplebeen on Mon Feb 11 2019 22:49:05 GMT+0900 (KST) in AI


Softmax Regression (Multinomial Logistic Regression)

Multinomial 개념 소개

multinomial: 여러개의 데이터가 있는 경우

x1 (hours) x2 (attendance) y (grade)
10 5 A
9 5 A
3 2 B
2 4 B
11 1 C

[W1 W2 W3] [X1 X2 X3] = [W1X1+W2X2+W3X3]

위의 경우, A, B, C 3개의 경우가 있으므로 3번 수행해야함

softmax_행렬

Matrix multiplication을 사용

Softmax classifier 의 cost함수

Cross-entropy cost function

(cross_enctropy_function

0일때는 무한대에 해당되는 값이 나오고, 1일때는 0이 나오므로 cost function으로 적합하다.

결론

softmax cost function = logistic regression cost function