(Machine Learning) 경사 하강법 vs 정규 방정식

1. 경사 하강법 vs 정규 방정식

경사 하강법	정규 방정식
적합한 학습률 a를 찾거나 정해야 함	학습율 a를 정할 필요가 없음
반복문 사용해야함	한 단계로 계산을 끝낼 수 있음
입력 변수의 개수 n이 커도 효율적으로 연산 가능	입력 변수의 개수 n이 커지면 커질수록 비효율적임 (행렬 연산을 하는 비용이 경사 하강법을 하는 것 보다 큼)
	역행렬이 존재하지 않을 수도 있음 (이때는 pseudo inverse를 이용해서 다르게 계산할 수 있음)

둘 중 어떤 걸 선택해야 할 지 정해져 있지는 않으나 입력 변수(속성)의 수가 엄청 많을 때는(1000개 기준) 경사 하강법을, 비교적 입력 변수의 수가 적을 때는 정규 방정식을 사용합니다.