[분류 모델 평가 지표] Confusion Matrix

		실제 분류
		True	False
예측 분류	True	TP (True Positive)	FP (False Positive) TYPE Ⅰ ERROR
	False	FN (Flase Negative) TYPE Ⅱ ERROR	TN (True Negative)

해석) True Poisitive : 예측 결과 긍정이고(Positive) 실제와 일치한다.(True)

 

암의 질병을 예측하는 예시라면

TP : 분류기가 결과를 병에 걸렸다고 예측한 경우 실제 결과도 병에 걸린게 맞는 경우

TN : 분류기가 결과를 병에 걸리지 않았다고 예측한 경우 실제 결과도 병에 걸리지 않은 경우

FP (제 1종 오류): 환자가 병에 걸리지도 않았는데 병에 걸렸다고 해 버린 경우

FN (제 2종 오류): 환자가 건강하다고 예측하였는데 병에 걸린 경우 

 

● 분류 모델 평가 지표

Accuracy (정확도) =  (TP + TN) / (TP + TN + FP + FN)

 

Precision (정밀도) = TP / Total True Predictions = (TP) / (TP + FP)

모델이 예측한 값이 참일 경우 실제로 얼마나 정확했는가 - 예측값 대비 실제 (첫번째 행)

 

Recall (재현성) =  TP / Actual True = TP ( TP + FN )

 실제 값이 있다면 모델이 정확히 예측한 수는 얼마나 될가 - 실제값 대비 예측 (첫번째 열)

 

세 지표를 모두 확인해야 좋은 모델을 평가할 수 있습니다.

 

★ F1 스코어

정밀도와 재현율의 조합으로 조화 평균을 구하는 방식입니다.

하나의 측정치를 이용하여 모델의 수행 정밀도와 재현율을 평가할 수 있다.

불균형한 데이터의 경우(많은 True negative 예시 가령 건강한 환자들이 많은 경우) 정확도 보다 F1 스코어를 평가하는 것이 정확하다.

 

F1-Score = 2 * (Precision * Recall ) / ( Precision + Recall  )  혹은 2 * TP / {(2 * TP) + 1종 오류 + 2종 오류}