Facit til forløb om opdatering af vægte i et simpelt neuralt netværk med ét skjulte lag
Summen giver
1.9773575, 2.9659487, 4.4468601
\(y\)-værdierne er
0.8783992, 0.9510119, 0.9884204
\(o\)-værdierne er
0.6738134, 0.6800149, 0.6831854
\(\delta_w^{(m)}\)-værdierne er: \[ \begin{aligned} \delta_w^{(m)} &= (t^{(m)}-o^{(m)} ) \\ \end{aligned} \]
Opdateringsregler for \(w\)-vægtene: \[ \begin{aligned} w_0^{\textrm{ny}} & \leftarrow w_0 + \eta \cdot \sum_{m=1}^{M} \delta_w^{(m)} \cdot 1\\ w_1^{\textrm{ny}} & \leftarrow w_1 + \eta \cdot \sum_{m=1}^{M} \delta_w^{(m)} \cdot y^{(m)}\\ \end{aligned} \]
\(\delta_w\)-værdierne er
-0.7191802, 0.2736291, -0.7299771
Summen
\(\sum_{m=1}^3 \delta_w^{(m)} =\) -1.1755281
\(w_0\)-vægten opdateres til
\(w_{0}^{ny}=\) 0.3824472
Summen
\(\sum_{m=1}^{3} \delta_w^{(m)} \cdot y^{(m)}=\) -1.093027
\(w_1\)-vægten opdateres til
\(w_{1}^{ny}=\) 0.3905243
\(\delta_r^{(m)}\)-værdierne er: \[ \begin{aligned} \delta_r^{(m)} &= \delta_w^{(m)} \cdot w_1 \cdot y^{(m)} \cdot (1-y^{(m)}) \end{aligned} \] Opdateringsreglerne for \(r\)-vægtene:
\[ \begin{aligned} r_0^{\textrm{ny}} & \leftarrow r_0 + \eta \cdot \sum_{m=1}^M \delta_r^{(m)} \cdot 1 \\ r_1^{\textrm{ny}} & \leftarrow r_1 + \eta \cdot \sum_{m=1}^M \delta_r^{(m)} \cdot x_1^{(m)} \\ r_2^{\textrm{ny}} & \leftarrow r_2 + \eta \cdot \sum_{m=1}^M \delta_r^{(m)} \cdot x_2^{(m)} \end{aligned} \]
\(\delta_r\)-værdierne er
-0.0377547, 0.0061808, -0.0039660
Summen
\(\sum_{m=1}^M \delta_r^{(m)}=\) -0.0355399
\(r_0\)-vægten opdateres til
\(r_{0}^{ny}=\) 0.496446
Summen
\(\sum_{m=1}^M \delta_r^{(m)} \cdot x_1^{(m)}=\) -0.0372911
\(r_1\)-vægten opdateres til
\(r_{1}^{ny}=\) 0.4962709
Summen
\(\sum_{m=1}^M \delta_r^{(m)} \cdot x_2^{(m)}=\) -0.0767971
\(r_2\)-vægten opdateres til
\(r_{2}^{ny}=\) 0.4923203
- Værdien af tabsfunktionen før opdatering 2.8989851
- Værdien af tabsfunktionen efter første opdatering 2.6553645
- \(w_0 =\) 0.2787458
- \(w_1 =\) 0.2942401
- \(r_0 =\) 0.4939121
- \(r_1 =\) 0.4937084
- \(r_2 =\) 0.4869186
- Værdien af tabsfunktionen efter anden opdatering 2.4674373