(Machine Learning) 손실 함수 (loss function)

1. 손실 함수

손실 함수는 어떤 가설 함수를 평가하기 위한 함수입니다. 손실 함수의 아웃풋이 작을수록 가설 함수의 손실이 적기 때문에 더 좋은 가설 함수라고 할 수 있고, 반대로 손실 함수의 아웃풋이 클수록 가설 함수의 손실이 크므로 더 나쁜 가설 함수라고 할 수 있습니다.

 

손실 함수는 보통 J라는 문자를 쓰고 선형 회귀의 경우는 평균 제곱 오차가 손실 함수의 아웃풋 입니다.

특정 가설 함수의 평균 제곱 오차가 크면 이 손실 함수의 아웃풋이 큰 것이고 손실이 크기 때문에 안 좋은 가설 함수라는 것입니다. 반대로 가설 함수의 평균 제곱 오차가 작으면 이 손실 함수의 아웃풋이 작다는 것이고 손실이 적기 때문에 좋은 가설 함수인 것입니다.

 

원래 이 부분이 m분의 1 이었는데 여기세 2가 붙어서 2m분의 1로 바뀐 이유는 이후에 계산을 더 편하게 하기 위한 장치입니다.

 

2. 손실 함수의 인풋은 세타

여기서 주의해야 할 부분은 손실 함수 J의 인풋은 세타입니다. 

가설 함수가 위와 같은데, 가설 함수에서 바꿀 수 있는 건 이 세타 값입니다. 세타 값들을 잘 조율해서, 가장 적합한 가설 함수를 찾아냅니다. 그러면 결국 손실 함수의 아웃풋은 이 세타 값들을 어떻게 설정하느냐에 달려 있는 것입니다. 그래서 손실 함수의 인풋은 세타입니다. 반면 x와 y는 변수처럼 보이지만 사실 정해진 데이터를 대입하는 것이기 때문에 손실 함수에서는 이들이 오히려 변수가 아니라 상수입니다.