(Machine Learning) 다중 선형 회귀 경사 하강법

 

1. 다중 선형 회귀 경사 하강법

다중 선형 회귀에서도 선형 회귀와 마찬가지로 손실 함수가 아래와 같이 생겼습니다.

다중 선형 회귀에서는 입력 변수가 여러 개라서 가설 함수가 살짝 달라지지만, 손실 함수는 완전히 똑같습니다.

손실을 줄이기 위해서는 경사 하강법을 해야 하는데, 입력 변수가 하나일때와 차이가 있습니다.

입력 변수가 하나일때는 theta_0과 theta_1만 업데이트 하면 됩니다.

입력 변수가 하나일때는 위와 같이 하면 되는데, 입력 변수가 여러 개면 세타 값도 여러개입니다. 그러면 업데이트 할 세타 값디 많아지는 것 뿐입니다.

입력 변수가 n개 있다고 하면 theta_0 부터 theta_n까지 쭉 업데이트를 해야 경사 하강을 한 번 했다고 할 수 있습니다. 이렇게 나열된 식을 하나로 표현하면 아래와 같습니다.

j에 0을 넣어서 업데이트 하고, j에 1을 넣어서 업데이트 하고, 이런 식으로 j에 0부터 n까지 넣어서 모든 세타 값들을 업데이트 하는 것입니다. 

 

이 과정을 한 번 거칠 때마다, 손실을 최대한 빨리 감소시키는 방향으로 세타 값들이 업데이트 되는 것이고 충분히 반복하면 결국 손실을 최소에 가깝게 줄일 수 있습니다. 그러면 우리는 학습 데이터에 잘 맞는 세타 값들을 찾게 되는데 데이터에 잘 맞는 가설 함수를 찾았다고 할 수 있는 것입니다.