영국 척척석사 유학생 일기장👩🏻‍🎓

경사 하강법을 이용하여 업데이트 하는 방법에 대해 알아보겠습니다. 세타제로와 세타원을 업데이트 하는 방법은 다음과 같습니다. 1. 세타0 업데이트 편미분을 하는 부분을 살펴봅시다. 여기 손실 함수 J가 있는데, 선형 회귀에서 우리의 손실 함수 J는 아래와 같습니다. 편미분 식에 대입하면 아래와 같습니다. 여기에 가설 함수 h는 다음과 같습니다. 이것을 위식에 대입하면 이걸 이제 세타0에 대해 편미분하면 아래와 같습니다. 가설 함수 h로 다시 돌려줍니다. 결국 편미분은 아래와 같이 나오는데 이걸 세타0을 업데이트 하는 기존 공식에 대입하면 됩니다. 2. 세타1 업데이트 세타1을 업데이트 하는 공식을 살펴봅시다. 편미분 하는 부분을 집중적으로 알아봅시다. 편미분 식에 손실 함수 J를 대입하면 아래와 같습니다..

1. 손실 함수 손실 함수는 어떤 가설 함수를 평가하기 위한 함수입니다. 손실 함수의 아웃풋이 작을수록 가설 함수의 손실이 적기 때문에 더 좋은 가설 함수라고 할 수 있고, 반대로 손실 함수의 아웃풋이 클수록 가설 함수의 손실이 크므로 더 나쁜 가설 함수라고 할 수 있습니다. 손실 함수는 보통 J라는 문자를 쓰고 선형 회귀의 경우는 평균 제곱 오차가 손실 함수의 아웃풋 입니다. 특정 가설 함수의 평균 제곱 오차가 크면 이 손실 함수의 아웃풋이 큰 것이고 손실이 크기 때문에 안 좋은 가설 함수라는 것입니다. 반대로 가설 함수의 평균 제곱 오차가 작으면 이 손실 함수의 아웃풋이 작다는 것이고 손실이 적기 때문에 좋은 가설 함수인 것입니다. 원래 이 부분이 m분의 1 이었는데 여기세 2가 붙어서 2m분의 1로..