實(shí)現(xiàn)過程
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
|
from keras import backend as Kdef Precision(y_true, y_pred): """精確率""" tp= K.sum(K.round(K.clip(y_true * y_pred, 0, 1))) # true positives pp= K.sum(K.round(K.clip(y_pred, 0, 1))) # predicted positives precision = tp/ (pp+ K.epsilon()) return precision def Recall(y_true, y_pred): """召回率""" tp = K.sum(K.round(K.clip(y_true * y_pred, 0, 1))) # true positives pp = K.sum(K.round(K.clip(y_true, 0, 1))) # possible positives recall = tp / (pp + K.epsilon()) return recall def F1(y_true, y_pred): """F1-score""" precision = Precision(y_true, y_pred) recall = Recall(y_true, y_pred) f1 = 2 * ((precision * recall) / (precision + recall + K.epsilon())) return f1 |
補(bǔ)充知識(shí)：分類問題的幾個(gè)評(píng)價(jià)指標(biāo)（Precision、Recall、F1-Score、Micro-F1、Macro-F1）
四個(gè)基本概念
TP、True Positive 真陽性：預(yù)測(cè)為正，實(shí)際也為正
FP、False Positive 假陽性：預(yù)測(cè)為正，實(shí)際為負(fù)
FN、False Negative 假陰性：預(yù)測(cè)與負(fù)、實(shí)際為正
TN、True Negative 真陰性：預(yù)測(cè)為負(fù)、實(shí)際也為負(fù)。
【一致判真假，預(yù)測(cè)判陰陽。】
以分類問題為例：（word公式為什么粘不過來？？頭疼。）
首先看真陽性：真陽性的定義是“預(yù)測(cè)為正，實(shí)際也是正”，這個(gè)最好理解，就是指預(yù)測(cè)正確，是哪個(gè)類就被分到哪個(gè)類。對(duì)類A而言，TP的個(gè)位數(shù)為2，對(duì)類B而言，TP的個(gè)數(shù)為2，對(duì)類C而言，TP的個(gè)數(shù)為1。
然后看假陽性，假陽性的定義是“預(yù)測(cè)為正，實(shí)際為負(fù)”，就是預(yù)測(cè)為某個(gè)類，但是實(shí)際不是。對(duì)類A而言，F(xiàn)P個(gè)數(shù)為0，我們預(yù)測(cè)之后，把1和2分給了A，這兩個(gè)都是正確的，并不存在把不是A類的值分給A的情況。類B的FP是2，"3"和"8"都不是B類，但卻分給了B，所以為假陽性。類C的假陽性個(gè)數(shù)為2。
最后看一下假陰性，假陰性的定義是“預(yù)測(cè)為負(fù)，實(shí)際為正”，對(duì)類A而言，F(xiàn)N為2，"3"和"4"分別預(yù)測(cè)為B和C，但是實(shí)際是A，也就是預(yù)測(cè)為負(fù)，實(shí)際為正。對(duì)類B而言，F(xiàn)N為1，對(duì)類C而言，F(xiàn)N為1。
具體情況看如下表格：
|
A |
B |
C |
總計(jì) |
|
|
TP |
2 |
2 |
1 |
5 |
|
FP |
0 |
2 |
2 |
4 |
|
FN |
2 |
1 |
1 |
4 |
感謝這兩位的指正
精確率和召回率
計(jì)算我們預(yù)測(cè)出來的某類樣本中，有多少是被正確預(yù)測(cè)的。針對(duì)預(yù)測(cè)樣本而言。
針對(duì)原先實(shí)際樣本而言，有多少樣本被正確的預(yù)測(cè)出來了。
套用網(wǎng)上的一個(gè)例子：
某池塘有1400條鯉魚，300只蝦，300只鱉?，F(xiàn)在以捕鯉魚為目的。撒一大網(wǎng)，逮著了700條鯉魚，200只蝦，100只鱉。那么，這些指標(biāo)分別如下：
精確率 = 700 / (700 +200 + 100) = 70%
召回率 = 700 / 1400 =50%
可以吧上述的例子看成分類預(yù)測(cè)問題，對(duì)于“鯉魚來說”，TP真陽性為700，F(xiàn)P假陽性為300，F(xiàn)N假陰性為700。
Precison=TP/(TP+FP)=700(700+300)=70%
Recall=TP/(TP+FN)=700/(700+700)=50%
將上述例子，改變一下：把池子里的所有的鯉魚、蝦和鱉都一網(wǎng)打盡，觀察這些指標(biāo)的變化。
精確率 = 1400 / (1400 +300 + 300) = 70%
召回率 = 1400 / 1400 =100%
TP為1400：有1400條鯉魚被預(yù)測(cè)出來；FP為600：有600個(gè)生物不是鯉魚類，卻被歸類到鯉魚；FN為0，鯉魚都被歸類到鯉魚類去了，并沒有歸到其他類。
Precision=TP/(TP+FP)=1400/(1400+600)=70%
Recall=TP/(TP+FN)=1400/(1400)=100%
其實(shí)就是分母不同，一個(gè)分母是預(yù)測(cè)為正的樣本數(shù)，另一個(gè)是原來樣本中所有的正樣本數(shù)。
作為預(yù)測(cè)者，我們當(dāng)然是希望，Precision和Recall都保持一個(gè)較高的水準(zhǔn)，但事實(shí)上這兩者在某些情況下有矛盾的。比如極端情況下，我們只搜索出了一個(gè)結(jié)果，且是正確的，那么Precision就是100%，但是Recall就很低；而如果我們把所有結(jié)果都返回，那么比如Recall是100%，但是Precision就會(huì)很低。因此在不同的場(chǎng)合中需要自己判斷希望Precision比較高或是Recall比較高，此時(shí)我們可以引出另一個(gè)評(píng)價(jià)指標(biāo)—F1-Score(F-Measure)。
F1-Score
F1分?jǐn)?shù)（F1 Score），是統(tǒng)計(jì)學(xué)中用來衡量二分類模型精確度的一種指標(biāo)。它同時(shí)兼顧了分類模型的精確率和召回率。F1分?jǐn)?shù)可以看作是模型精確率和召回率的一種加權(quán)平均，它的最大值是1，最小值是0。（出自百度百科）
數(shù)學(xué)定義：F1分?jǐn)?shù)（F1-Score），又稱為平衡F分?jǐn)?shù)（BalancedScore），它被定義為精確率和召回率的調(diào)和平均數(shù)。
更一般的，我們定義Fβ分?jǐn)?shù)為：
除了F1分?jǐn)?shù)之外，F(xiàn)0.5分?jǐn)?shù)和F2分?jǐn)?shù)，在統(tǒng)計(jì)學(xué)中也得到了大量應(yīng)用，其中，F(xiàn)2分?jǐn)?shù)中，召回率的權(quán)重高于精確率，而F0.5分?jǐn)?shù)中，精確率的權(quán)重高于召回率。
Micro-F1和Macro-F1
最后看Micro-F1和Macro-F1。在第一個(gè)多標(biāo)簽分類任務(wù)中，可以對(duì)每個(gè)“類”，計(jì)算F1，顯然我們需要把所有類的F1合并起來考慮。
這里有兩種合并方式：
第一種計(jì)算出所有類別總的Precision和Recall，然后計(jì)算F1。
例如依照最上面的表格來計(jì)算:Precison=5/(5+4)=0.556,Recall=5/(5+4)=0.556，然后帶入F1的公式求出F1，這種方式被稱為Micro-F1微平均。
第二種方式是計(jì)算出每一個(gè)類的Precison和Recall后計(jì)算F1，最后將F1平均。
例如上式A類：P=2/(2+0)=1.0，R=2/(2+2)=0.5，F(xiàn)1=(2*1*0.5)/1+0.5=0.667。同理求出B類C類的F1，最后求平均值，這種范式叫做Macro-F1宏平均。
本篇完，如有錯(cuò)誤，還望指正。 以上這篇使用keras實(shí)現(xiàn)Precise, Recall, F1-socre方式就是小編分享給大家的全部?jī)?nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持服務(wù)器之家。
原文鏈接：https://blog.csdn.net/joleoy/article/details/85787457
