정의
- 그래디언트: $\nabla f=(f_x,\ f_y)$
- 방향도함수: 단위벡터 $\mathbf u=(u_1,u_2)$ 방향으로의 순간변화율
$$D_{\mathbf u}f(a,b)=\lim_{t\to0}\frac{f(a+tu_1,\ b+tu_2)-f(a,b)}{t}$$
정리
$f$가 미분가능하면
- $D_{\mathbf u}f=\nabla f\cdot\mathbf u=f_xu_1+f_yu_2$
- $D_{\mathbf u}f$는 $\mathbf u$가 $\nabla f$와 같은 방향일 때 최대이고, 그 최댓값은 $|\nabla f|$이다.
- $\nabla f$는 그 점을 지나는 등고선에 수직이다.
증명 보기
(1) $D_{\mathbf u}f=\nabla f\cdot\mathbf u$. $g(t)=f(a+tu_1,\ b+tu_2)$라 하면 정의에 의해 $D_{\mathbf u}f=g'(0)$이다. $x(t)=a+tu_1$, $y(t)=b+tu_2$로 보고 연쇄법칙을 쓰면
$$g'(0)=f_x\cdot\frac{dx}{dt}+f_y\cdot\frac{dy}{dt}=f_xu_1+f_yu_2=\nabla f\cdot\mathbf u$$
이다.
(2) 최대가 되는 방향. 내적의 성질에 의해 $\nabla f\cdot\mathbf u=|\nabla f|\,|\mathbf u|\cos\theta=|\nabla f|\cos\theta$이다. ($\theta$는 두 벡터 사이의 각, $|\mathbf u|=1$) $\cos\theta\le1$이므로 $D_{\mathbf u}f\le|\nabla f|$이고, 등호는 $\theta=0$, 즉 $\mathbf u$가 $\nabla f$와 같은 방향일 때 성립한다. 반대 방향($\theta=\pi$)이면 가장 빨리 줄어든다.
(3) 등고선에 수직. 등고선 $f(x,y)=c$ 위를 움직이는 점을 $\mathbf r(t)=(x(t),y(t))$, $\mathbf r(0)=(a,b)$라 하자. 등고선 위에서는 함숫값이 항상 $c$이므로 $f(x(t),y(t))=c$이다. 양변을 $t$로 미분하면 연쇄법칙에 의해
$$f_x\,x'(t)+f_y\,y'(t)=0,\qquad\text{즉}\qquad\nabla f\cdot\mathbf r'(t)=0$$
이다. $\mathbf r'(0)$은 등고선의 접선 방향이므로, $\nabla f$는 접선에 수직이다. $\blacksquare$
(3)은 직관과도 맞는다. 등고선을 따라가면 높이가 변하지 않으므로($\theta=\frac\pi2$, $\cos\theta=0$), 높이가 가장 빨리 변하는 방향은 그것과 수직인 방향이다.
예제
$f=x^2+2y^2$, 점 $(1,1)$에서 $\nabla f=(2,4)$이다.
- $\mathbf u=\left(\frac35,\frac45\right)$ 방향의 방향도함수: $2\cdot\frac35+4\cdot\frac45=\frac{22}{5}$
- 가장 빨리 증가하는 방향은 $(2,4)$, 즉 $\left(\frac1{\sqrt5},\frac2{\sqrt5}\right)$이고, 그때의 변화율은 $|\nabla f|=\sqrt{20}=2\sqrt5$
인공지능의 학습에 쓰이는 경사하강법은 오차 함수의 $-\nabla f$ 방향(가장 빨리 줄어드는 방향)으로 조금씩 움직이는 방법이다.
정리
- $D_{\mathbf u}f=\nabla f\cdot\mathbf u$
- $\nabla f$: 가장 가파르게 올라가는 방향, 등고선에 수직
