북극곰의 개발일기

모두를 위한 딥러닝 lecture5-2 logistic classfication의 가설 함수 정의 (이론)





posted by purplebeen on Thu Feb 07 2019 21:41:34 GMT+0900 (KST) in AI


Lecture 5-2 Logistic Regression의 cost 함수 설명

New cost function for logistic

cost(W) = 1/m (sigma) c(H(x), y)

c(H(x), y) =

  • -log(H(x)) : y = 1
  • -log(1-H(x)) : y =0

understanding cost function

  1. y = 1인경우 log(H(x))
  • H(x) = 1 : cost(1) = 0
  • H(x) = 0 (잘못 예측한 경우) : cost = ∞
  1. y = 0 인경우 log(1-H(x))
  • H(x) = 0 : cost = 0
  • H(x) = 1 : cost = ∞

2개의 그래프를 합치게되 되면 서로의 단점을 상쇄하여 하나의 그래프처럼 만들 수 있다.

cost function

c(H(x)) = -ylog(H(x)) - (1 - y)log(1 - H(x))

Minimize cost : Gradient decent algorithm

2개의 결과를 합칠 경우 Gradient decent algorithm을 그대로 사용할 수 있다.

기울기를 구하기 위해서 cost function을 미분한다.