티스토리 뷰
반응형
역전파와 경사하강법의 차이점
역전파와 경사하강법은 같은 것인가?
가중치와 편향을 업데이트하기 위해서 사용한다는 것이 비슷해서 헷갈리는 역전파와 경사하강법.
과연 같은 것일까? 찾아보았다.
경사하강법 : 비용함수가 최소가 되도록 가중치와 편향을 찾는 최적화 알고리즘.
역전파 : 신경망의 기울기를 계산하는 알고리즘.
즉, 경사하강법은 비용함수가 최소가 되도록 하는 가중치와 편향을 찾기위해 역전파(신경망 기울기 계산) 를 사용할 수 있는 것이다.
결론 : 역전파와 경사하강법은 똑같지 않으며 경사하강법이 역전파를 이용하는 관계다.
참고
반응형
'ML' 카테고리의 다른 글
| 2. 미니배치 경사하강법 (Mini-batch Gradient Descent) (0) | 2023.07.24 |
|---|---|
| 1. 경사하강법과 역전파 정리 (0) | 2023.07.24 |
| 불균형 데이터 다루기 - Resampling (over-sampling, under-sampling) (0) | 2021.09.11 |
| 로지스틱 회귀와 신경망의 차이 (0) | 2021.08.15 |
| Logistic Regression (로지스틱 회귀) (0) | 2021.08.12 |
댓글