ROC Curve (Receiver Operating Characteristic) & AUC Curve (Area Under the Curve) ROC Curve 는 이진분류에서 클래스별 분포가 다를 때, Accuracy의 단점을 보완하기 위해 사용된다. 다양한 임계값에서 FPR(1-Specificity) 에 대한 TPR(Recall) 값 을 플롯하고 noise를 제거하여 signal을 얻는 커브이다. AUC Curve 는 ROC Curve의 밑부분을 뜻하며 이 AUC 커브를 이용하여 퍼포먼스를 확인한다. 결과만 말하자면, AUC Curve가 높이 향할 수록 Positive 와 Negative 를 잘 구분할 수 있는 모델인 것이다. 구현 sklearn 으로 간단하게 구현 가능하다. from sklearn..
Confusion Matrix (오차행렬) Classification 모델의 퍼포먼스를 설명할 수 있는 테이블이다. 간단한 설명을 해보자. Actual＼Predict POSITIVE NEGATIVE POSITIVE True Positive False Positive NEGATIVE False Negative True Negative 행은 Actual Values로 실제 값을 말한다. 열은 Predictive Values로 예측값을 말한다. True Positive (TP): 모델의 예측도 YES, 실제값도 YES일 때 True Negative (TN) : 모델의 예측이 NO, 실제값도 NO일 때 False Positive (FP) : 모델의 예측이 YES, 하지만 실제값은 NO일 때 (Type 1 에러라..
Coursera - Batch Normalization 하이퍼파라미터들을 살펴보며 최적화를 어떻게 시킬 수 있는지를 확인했다. 하이퍼파라미터를 잘 선택할 수 있는 또 다른 테크닉인 Batch Normalization 을 살펴보자. 모든 신경망에 적용되진 않지만 적용이 가능하다면 하이퍼파라미터 탐색이 훨씬 쉽고 빨라진다. Batch Normalization 하이퍼파라미터 탐색을 쉽게 만들어줄 뿐만아니라 신경망과 하이퍼파라미터의 상관관계를 줄여주어 더 많은 하이퍼파라미터가 잘 작동하게 만들어준다. 또한 아주 깊은 심층 신경망이라도 아주 쉽게 학습하 수 있도록 해준다. 와오... 그래서 ML 에서 아주 중요한가보다. 어떻게 작용할까 로지스틱 회귀에서는 인풋값 x를 normalization 하여 w,b에 영향을..