Facit til forløb om opdatering af vægte i et simpelt neuralt netværk med to skjulte lag
\(y\)-værdierne er
0.8807971, 0.9525741, 0.9890131
\(z\)-værdierne er
0.7191802, 0.7263709, 0.7299771
\(o\)-værdierne er
0.702575, 0.7033258, 0.7037019
\(\delta_w\)-værdierne er
-0.1468124, 0.0619036, -0.1467257
Summen
\(\sum_{m=1}^3 \delta_w^{(m)} =\) -0.2316345
\(w_0\)-vægten opdateres til
\(w_{0}^{ny}=\) 0.4768365
Summen
\(\sum_{m=1}^{3} \delta_w^{(m)} \cdot z^{(m)} =\) -0.167726
\(w_1\)-vægten opdateres til
\(w_{1}^{ny}=\) 0.4832274
\(\delta_v\)-værdierne er
-0.0148251, 0.0061519, -0.0144606
Summen
\(\sum_{m=1}^{3} \delta_v^{(m)} =\) -0.0231339
\(v_0\)-vægten opdateres til
\(v_{0}^{ny}=\) 0.4976866
Summen
\(\sum_{m=1}^{3} \delta_v^{(m)}\cdot y^{(m)} =\) -0.0214995
\(v_1\)-vægten opdateres til
\(v_{1}^{ny}=\) 0.49785
\(\delta_r\)-værdierne er
-0.0007783, 0.0001390, -0.0000786
Summen
\(\sum_{m=1}^3 \delta_r^{(m)} =\) -0.0007179
\(r_0\)-vægten opdateres til
\(r_{0}^{ny}=\) 0.4999282
Summen
\(\sum_{m=1}^3 \delta_r^{(m)} \cdot x_1^{(m)} =\) -0.0007360
\(r_1\)-vægten opdateres til
\(r_{1}^{ny}=\) 0.4999264
Summen
\(\sum_{m=1}^3 \delta_r^{(m)} \cdot x_2^{(m)} =\) -0.0015325
\(r_2\)-vægten opdateres til
\(r_{2}^{ny}=\) 0.4998468
Værdien af tabsfunktionen er cirka \(24.8\).
Vurderingen af tabsfunktion er \(24.99\), så \(24.8\) fra opgave 7 er næppe godt.
Værdien af tabsfunktionen er faldet meget betydeligt til i nærheden af \(2\).
Når grafen ikke ser pæn ud, er det nok fordi learning rate er for stor, så opdateringerne "hopper" henover minimum. Løsningen er at bruge en lavere learning rate.
Værdien af tabsfunktionen er faldet yderligere til i nærheden af \(0.5\). Om den kan blive endnu lavere, vides naturligvis ikke.
Grafen ser også betydeligt pænere ud, fordi vi ikke længere hopper henover minimum.