一 背景
首先舉個例子:
正樣本(90) 負(fù)樣本(10)
模型1預(yù)測 正(90) 正(10)
模型2預(yù)測 正(70)負(fù)(20) 正(5)負(fù)(5)
結(jié)論:
模型1準(zhǔn)確率90%;
模型2 準(zhǔn)確率75%
考慮對正負(fù)樣本對預(yù)測能力,顯然模型2要比模型1好,但對于這種正負(fù)樣本分布不平衡對數(shù)據(jù),準(zhǔn)確率不能衡量分類器對好壞了,所以需要指標(biāo)auc解決傾斜樣本的評價問題。
二分類混淆矩陣
預(yù)測\實(shí)際 1 0
1 TP FP
0 FN TN
TPR=TP/P=TP/TP+FN 直觀1中猜對多少
FPR=FP/N=FP/FP+TN 直觀0中猜錯多少
Auc對橫縱坐標(biāo)分別為FPR和TPR,相對于y=x這條直線靠近左上角對分類器性能更好,所以模型2更優(yōu)。
TPR FPR
模型1 90/90=1 10/10=1