[AI Math] 3강 경사하강법 순한맛

1. 미분
   1. 변수의 움직임에 따른 함수값의 변화를 측정
   2. 최적화에서 가장 많이 사용하는 기법
   3. 주어진 점 $(x, f(x))$에서의 접선의 기울기
2. 미분을 이용한 함수값의 증가 및 감소
   1. 경사상승법 : 미분값을 더하여 함수의 극대값의 위치를 구함
   2. 경사하강법 : 미분값을 빼 함수의 극소값의 위치를 구함
3. 변수가 벡터일 경우
   1. 벡터가 입력인 다변수 함수일 경우 편미분(partial differentiation) 사용
   2. 각 변수 별로 편미분을 계산한 그레디언트 벡터를 이용하여 경사하강 및 경사상승법에 사용할 수 있음
   3. 그레디언트 벡터 : $\nabla{f} = (\partial_{x_{1}}f, \partial_{x_{2}}f, ..., \partial_{x_{d}}f)$
      • 역삼각형 기호 : $nabla$
      • 하나의 벡터 안의 원소에 대해 각각 미분한 것
4. 그레디언트 벡터
   1. $\triangledown f = \triangledown (f)$ : 각 벡터 공간에서 $\triangledown f$ 벡터는 f의 표면을 따라 각 점에서 가장 빨리 증가하는 방향으로 흐름
   2. $-\triangledown f = \triangledown (-f)$ : 각 벡터 공간에서 $-\triangledown f$ 벡터는 f의 표면을 따라 각 점에서 가장 빨리 감소하는 방향으로 흐름
5. 변수가 벡터일 때 경사하강법 : 경사하강법 알고리즘을 그대로 적용하되, 벡터는 절대값 대신 노름(norm)을 계산해서 종료조건을 설정