머신러닝 모델 평가, PR Curve, Roc Curve, Precision-recall by threshold

 

PR Curve

PR Curve, 즉 정밀도-재현율 곡선(Precision-Recall Curve)은 분류 모델의 성능을 평가하는 데 사용되는 도구 중 하나입니다.
PR Curve 곡선은 모델의 정밀도(Precision)와 재현율(Recall) 사이의 관계를 시각적으로 나타냅니다. 주로 클래스 불균형이 큰 경우 또는 양성 클래스의 성능이 더 중요한 상황에서 유용합니다.

정밀도 (Precision) & 재현율 (Recall)

정밀도 (Precision)는 양성으로 예측된 케이스 중 실제로 양성인 비율입니다. 높은 정밀도는 거짓 양성(FP)이 적음을 의미합니다.

재현율 (Recall) 실제 양성 중 모델이 양성으로 올바르게 예측한 비율입니다. 높은 재현율은 거짓 음성(FN)이 적음을 의미합니다.

그래프 형태는x축에는 재현율, y축에는 정밀도가 위치합니다. 곡선은 모델의 임계값을 다양하게 변화시키면서 얻은 정밀도와 재현율의 관계를 나타냅니다.

클래스 불균형 및 양성 클래스의 중요성 

양성 샘플이 음성 샘플보다 훨씬 적은 경우, 즉 클래스가 고르지 않으면 PR Curve는 모델 성능을 더 정확하게 평가할 수 있습니다. 정확도나 ROC Curve는 음성 클래스의 성능에 의해 지나치게 영향을 받을 수 있습니다.

예를 들어, 암 진단 같은 경우 양성(암) 케이스를 놓치지 않는 것이 매우 중요합니다. PR Curve는 이러한 경우에 양성 클래스에 대한 모델의 성능을 더 잘 보여줍니다.

모델 해석

고른 성능: 곡선이 우측 상단 모서리에 가까울수록 모델의 성능이 더 좋다는 것을 의미합니다. 즉, 높은 정밀도와 재현율을 동시에 달성하고 있음을 나타냅니다.

임계값의 선택: PR Curve를 통해 어떤 임계값이 비즈니스 요구에 가장 적합한지 판단할 수 있습니다. 예를 들어, 거짓 양성을 최소화하면서도 양성을 충분히 잘 잡아내는 임계값을 선택할 수 있습니다.

아래 PR Curve는 Recall을 x축으로 Precision을 y 축으로 놓은 그래프입니다.

Roc Curve는 False Positive Rate(FPR)를 x축으로 True Positve Rate(TPR)을 y축으로 놓은 그래프입니다.

AUC Curve는 Area Under Curve의 약자로 Roc Curve의 하단영역을 말하고, AUC Curve 사이즈가 크다는 것은 분류 모델의
성능이 훌륭하다는 의미입니다.

Precision-recall by threshold는 Recall과 Precision의 trade-off 에서 최적의 threshold를 찾아주는 그래프이다.

PR Curve는 모델이 양성 클래스를 얼마나 잘 식별하는지에 대한 중요한 통찰을 제공하며, 특히 양성 샘플이 적거나 양성 클래스의 정확한 예측이 매우 중요한 경우에 유용합니다.