5. RMSProp(Root Mean Square Prop)

RMSProp(Root Mean Square Prop)

모멘텀을 이용해서 경사하강법을 빠르게 할 수 있었다. 그리고 경사하강법을 빠르게 할 수 있는 알고리즘이 또 있다. 바로 RMSProp이다. 이것은 도함수의 제곱을 지수가중평균하는 것이다.

✋ 잠깐 여기서 다시 기억해보자. 경사하강법에서 빨리 최솟값에 도달하려면

• 진동하고있는 수직의 학습률은 느리게
• 최솟값을 향해 나아가야하는 수평방향의 학습률은 빠르게

해야한다.

어떻게 작동하는지?

# 지수 가중 평균법 : Vt = β*Vt-1 + (1-β)*Θt


Sdw = β*Sdw + (1-β)*dw²
Sdb = β*Sdb + (1-β)*db²

그리고 가중치를 이렇게 업데이트해준다.

α = learning_rate


w = w - α * dw/√Sdw
b = b - α * db/√Sdb

이렇게 계산해주면

• dw가 상대적으로 작으므로 w를 업데이트할 때 상대적으로 작은 숫자를 나눠진다.
  • 수평방향에서의 업데이트는 증감한다.
• db가 상대적으로 크므로 b를 업데이트할 때 큰 숫자로 나눠진다.
  • 수직방향에서의 업데이트는 감소한다.
• 수직방향의 진동은 감소되고 수평방향은 계속 나아가게 된다.
  

이렇게 빠르게 학습하고 수직 방향으로 발산하지않게되는 것이다!!

Tip

• 구현할 때 알고리즘이 0으로 나눠지지않도록 조심하자. Sdw의 제곱근이 0에 가깝다면 값이 폭.발 할 수 있다.
  • √Sdw 에 10^(-8) 더해주자.

아직 더 멋진 것이 남아있다
바로 이 RMSProp과 앞서봤던 Momentum을 결합한 멋진 것을 만들어낼것이다.