Mål for en models nøjagtighed
Klassifikationsnøjagtighed
Begrebet klassifikationsnøjagtighed – eller på engelsk classification accuracy (CA) – dækker over hvor stor en andel af data, som på baggrund af en given model klassificeres korrekt.
Lad os illustrere det med et eksempel. Vi forestiller os, at vi har en model, som for en given person kan skelne mellem, om personen tilhører en af to klasser A eller B baseret på en række features, vi har fået oplyst om personen. På baggrund af denne model har vi følgende:
| Klassificeret som A | Klassificeret som B | I alt | |
|---|---|---|---|
| Faktisk A | \(84\) | \(16\) | \(100\) |
| Faktisk B | \(20\) | \(80\) | \(100\) |
| I alt | \(105\) | \(95\) | \(200\) |
Denne tabel kaldes for en confusion matrix.
Vi kan her se, at \(100\) personer faktisk tilhører klasse A, og at vores model kan forudsige, at \(84\) af disse personer tilhører denne klasse. Desuden ser vi, at \(100\) personer faktisk tilhører klasse B, hvilket, modellen forudsiger, er tilfældet for \(80\) af disse personer. Det betyder, at modellen klassificerer
\[ 84+80 = 164 \] personer korrekt. Det svarer til, at
\[ \frac{164}{200} = 82 \% \] af personerne klassificeres korrekt. Det er denne størrelse, som kaldes for klassifikationsnøjagtigheden. I tabel 1 kan vi se, at \(50 \%\) af personerne faktisk tilhører klasse A. Hvis vi havde valgt en naiv model, som altid vil gætte på, at en person tilhører klasse A, så vil vi få en klassifikationsnøjagtighed på \(50 \%\). Med en klassifikationsnøjagtighed på \(82 \%\) er den forhåndenværende model altså bedre end et naivt gæt.
Lad os se på et nyt eksempel med følgende confusion matrix:
| Klassificeret som A | Klassificeret som B | I alt | |
|---|---|---|---|
| Faktisk A | \(132\) | \(32\) | \(164\) |
| Faktisk B | \(4\) | \(32\) | \(36\) |
| I alt | \(136\) | \(64\) | \(200\) |
Her kan vi se, at vi får en klassifikationsnøjagtighed på
\[ \frac{132+32}{200}= 82 \% \]
Altså det samme som før. Så kunne man jo tænke – fedt! Denne model er lige så god som den, der ligger til grund for tabel 1. Men det faktisk ikke helt tilfældet. Hvis vi her laver en naiv model, hvor vi altid gætter på, at en person tilhører klasse A, så vil vi gætte rigtigt i \(164\) ud af \(200\) tilfælde. Altså igen i \(82 \%\) af tilfældene. Modellen, som ligger til grund for tabel 2, er altså ikke bedre end et naivt gæt. Det betyder, at det er vigtigt, at vurdere en models klassifikationsnøjagtighed i forhold til hvordan klasserne fordeler sig i data.