Facit til udvalgte dele af opgaverne.
\[ E(w_0, w_1)=\frac{1}{2}\Bigg( \left(0-\frac{1}{1+e^{-(w_0+25w_1)}}\right)^2 +\left(0-\frac{1}{1+e^{-(w_0+40w_1)}}\right)^2 +\left(1-\frac{1}{1+e^{-(w_0+60w_1)}}\right)^2 \Bigg) \]
Vi er rimeligt sikre på, at under 44 år ikke vil aktivere og over 55 år vil aktivere.
\[ \begin{aligned} \sigma(40) &\approx 0.0000677 \\ \sigma(60) &\approx 0.999975 \end{aligned} \]
Over \(49.5\) år vil aktivere, under \(49.5\) år vil ikke aktivere.
\(w_0^{\mathrm{(ny)}} = -0.9999955411\)
\(w_1^{\mathrm{(ny)}} = 0.1002675354\)
Gult plateau - 0 rigtige, \(E /approx 1.5\) Grønt plateau - 1 rigtig, \(E /approx 1\) Blåt plateau - 2 rigtige, \(E /approx 0.5\)
Med start i \(w_0 = -10\) og \(w_1 = 0.8\) går det langsomt de første ca. \(355\) opdateringer. Så går det meget stærkt, hvor tabsfunktionen falder fra ca. \(1\) til ca \(0.5\) svarende til det blå plateau, hvorefter det igen går langsomt. Det vil nok derfra senere igen falder hurtigt ned til en værdi af tabsfunktionen på ca. \(0\), men det sker ikke indenfor \(2000\) opdateringer. Så det er meget slow lærning på plateauerne.
Med \(w_0=30\) og \(w_1=0.4\) falder tabsfunktionen i ca. \(0.5\) efter blot \(6\) opdateringer, og derefter til ca. \(0\) efter \(13\) opdateringer. Så hvis man starter det rigtige sted, kan det gå meget hurtigt.