(Machine Learning) 다변수 함수의 미분, 편미분

1. 편미분

위의 함수에서는 인풋 변수가 x 하나만 있는 게 아니라, x랑 y 이렇게 두 개가 있습니다. 이럴 때 '편미분' 이라는 것을 사용합니다.

 

편미분이란, 두 인풋 변수 x랑 y에 대해서 모두 미분을 하는 게  아니라, 변수 하나에 대해서만 미분을 하는 것입니다. 그러면 위의 식에서는 변수 x에 대해서 편미분을 할 수도 있고, 변수 y에 대해서 편미분을 할 수도 있습니다.

2. x에 대해서 편미분

x에 대해서 미분으로 하면 d/dx로 쓰는데, x에 대해서 편미분을 하면 기호로 ∂/∂x 를 씁니다. 구부러진 d라고 생각하고 델(델타) 이라고 읽습니다. x에 대해서 편미분을 하면 x를 제외한 나머지 변수들은 마치 상수인 것처럼 취급을 하면 됩니다. 즉 위의 식에서 x가 아닌 문자 즉, y는 상수라고 생각을 한다는 것입니다.

위의 결과처럼 나오게 됩니다.

 

3. y에 대해서 편미분 

같은 원리로 y에 대해서 편미분을 하면 y가 아닌 변수 즉, x는 상수 취급을 하면 됩니다.

4. 합치기

이런 식으로 x와 y에 대한 편미분을 따로 했습니다. 이 두가지를 합쳐서 벡터를 만들 수 있습니다. 이 벡터가 바로 이 함수의 기울기이고, 역세모 기호를 사용합니다.

만약, x가 1이고, y가 1인 지점의 기울기를 알고 싶으면 그 값들을 여기에 대입하면 됩니다.

기울기가 벡터 2,4라는 것인데 이 뜻은 뭘까요?

우리는 2라는 값을 구하기 위해서 x에 대해 편미분을 했습니다. 편미분을 할 때 y를 상수라고 가정했는데 y를 고정시켰다는 뜻입니다. 즉, 2라는 값은 y를 1로 고정했을때, x에 대한 함수 f의 기울기가 2라는 것입니다. 좀 더 쉽게 말하자면 y를 1로 고정시키면 사실상 변수는 x하나뿐입니다. 그러면 2차원 그래프를 그릴 수 있는데, 이 2차원 그래프에 그려지는 이 함수의 기울기가 2라고 생각하면 됩니다.

그리고 4라는 값을 구하기 위해서는 y에 대해 편미분을 했습니다. 그러면 x를 고정시키는 것입니다. x를 1로 고정시킨다고 가정했을 때, y에 대한 함수 f의 기울기가 4라는 것입니다. 즉, x를 1로 고정시키면 사실상 변수는 y하나 뿐인데, 그러면 이러한 2차원 그래프를 그릴 수 있고 여기에 그려지는 이 함수의 기울기가 4인 것입니다.

5. 가장 가파른 방향 

위의 함수에 대해 그래프를 그리면 다음과 같습니다.

그리고 편미분을 이용해서 함수의 기울기 벡터를 구했습니다. 이 벡터는 해당 지점에서의 기울기를 알려 주기도 하지만, 또 하나의 유용한 정보를 알려줍니다.

 

그래프의 어떤 한 지점에 우리가 놓였다고 생각합시다.

 

여기서 어떤 방향으로 걸어가는 지에 따라 더 낮은 곳으로 내려가게 될 수도 있고, 더 높은 곳으로 올라갈 수도 있습니다. 그리고 조금 더 가파르게 올라갈 수도 있고, 조금 덜 가파르게 올라갈 수도 있습니다. 

 

이 기울기 벡터가 알려주는 것이 바로 그것입니다. 그래프를 가장 가파르게 올라갈 수 있는 방향을 알려주는 것입니다. 

예를 들어, x가 1이고 y가 1인 지점에 놓였다고 생각해 보세요.

그러면 기울기 벡터는 2,4 입니다. 이 벡터를 그래프에 표시하면, x방향으로 두칸이고 y방향으로 네칸이니까, 이러한 대각선 방향입니다. 이 대각선 방향으로 움직이면 가장 가파르게 걸어 올라갈 수 있는 것입니다. 

 

그럼 반대로 가장 가파르게 걸어 내려가고 싶다면 어느 방향으로 가야 할까요? 그냥 이 기울기 벡터에 마이너스(-)만 붙여주면 됩니다.

x가 1이고 y가 1인 지점이라고 가정하면, 벡터는 -2,-4입니다. 이 벡터를 그래프에 표시하면 이러한 대각선 방향입니다. 이 방향으로 움직이면, 가장 가파르게 걸어 내려갈 수 있습니다.