Måske du i opgave 1 så på klassifikationsnøjagtigheden (CA). Hvis ikke, så lav opgave 1 igen. [^1]: Klassifikationsnøjagtigheden er den andel af input, som modellen klassificerer korrekt. Så CA=0,85 betyder, at modellen rammer rigtigt for 85% de givne input og forkert for 15%. Her skal det bemærkes, at vi klassificerer ud fra, om \(o>0,5\), hvor vi klassificerer som "Ja".

NoteOpgave 7: Vurder på CA for den trænede model

• Hvad blev CA i den trænede model i opgave 1?
• Hvis modellen i stedet blindt giver \(o=0\) for alle input, hvad bliver CA så?
• Hvis modellen i stedet blindt giver \(o=1\) for alle input, hvad bliver CA så?
• Hvor stor vil du ud fra dette sige, at CA mindst skal være, før modellen kan være nogenlunde trænet?
• Hvor høj en værdi af CA fik du til sidst i opgave 6?

Måske du har undret dig over, at vi både taler om værdien af tabsfunktionen og om CA, som jo begge siger noget om, hvor god modellen er. Lad os kigge på, om de altid følges ad.

NoteOpgave 8: Sammenhæng mellem CA og \(E\)

• Beregn \(E\) og CA for datasættet med de 200 personer, hvis den trænede model bare altid giver \(o=1\) ("Ja") som svar for alle personer.
• Beregn \(E\) og CA for datasættet for de 200 personer, hvis den trænede model giver \(o=0.55\) for alle personer med \(t=1\) og \(o=0.45\) for alle personer med \(t=0\).
• Hvad kan du konkludere med hensyn til sammenhængen mellem CA og \(E\)?

Vi håber naturligvis, at vi ved at minimere værdien af tabsfunktionen får prædikteret flere tilfælde korrekt, men som opgave 8 viser, så er der ikke altid en 100% sammenhæng mellem lavere værdi af tabsfunktionen og bedre klassifikationsnøjagtighed.