역전파와 경사하강법의 차이점

역전파와 경사하강법의 차이점

역전파와 경사하강법은 같은 것인가?

가중치와 편향을 업데이트하기 위해서 사용한다는 것이 비슷해서 헷갈리는 역전파와 경사하강법.
과연 같은 것일까? 찾아보았다.

경사하강법 : 비용함수가 최소가 되도록 가중치와 편향을 찾는 최적화 알고리즘.

역전파 : 신경망의 기울기를 계산하는 알고리즘.

즉, 경사하강법은 비용함수가 최소가 되도록 하는 가중치와 편향을 찾기위해 역전파(신경망 기울기 계산) 를 사용할 수 있는 것이다.

결론 : 역전파와 경사하강법은 똑같지 않으며 경사하강법이 역전파를 이용하는 관계다.

---

참고

What is the difference between gradient descent and back propagation in deep learning? Are they not the same thing?