(Machine Learning) 극소점, 극대점, 안장점

1. 극소점(Local Minimum)

위의 그림과 같이 극소점은 그래프에서 아래로 볼록 튀어나오는 경우입니다.

이 지점에서 왼쪽으로는 기울기가 음수고, 오른쪽으로는 기울기가 양수입니다. 기울기가 음수에서 양수로 전환할 때 한 번 0을 찍고 가는 거라고 생각하면 됩니다. 

위의 그림에서는 아래로 볼록 튀어나오는 경우가 여러 번 있습니다. 즉, 극소점이 여러개인데, 이 중에서 가장 작은 값은 최소점, 영어로는 global minimum이라고 합니다. 

 

2. 극대점 (Local Maximum)

극소점이랑 반대되는 개념으로는 극대점이 있습니다. 극대점은 그래프에서 위로 볼록 튀어나오는 경우입니다. 극대점의 왼쪽으로는 기울기가 양수고, 오른쪽으로는 기울기가 음수입니다. 기울기가 양수에서 음수로 전환할 때 0을 찍고 가는거라고 생각하면 됩니다. 

위의 그래프에서 위로 볼록 튀어 나오는 부분이 여러 개 있는데, 가장 큰 것을 최대점, 영어로는 global maximum이라고 합니다.

 

3. 안장점

마지막으로는 극소점도 아니고 극대점도 아닌 경우입니다.

위의 경우 기울기가 음수에서 양수로 바뀌거나 양수에서 음수로 바뀌는 건 아닙니다. 기울기는 계속 양수이지만 x=0인 지점에서만 기울기가 0입니다. 이런 점을 안장점이라고 합니다.

 

극소점이나 극대점 같은 지점은 그래프에서 특별한 점이라고 볼 수 있습니다. 머신 러닝에서 이런 점들을 찾아야 하는 경우가 종종 있는데 이 경우의 특징이 미분계수 즉, 순간변화율이 0인 것이라는 특징을 기억하고 있으면 좋습니다.