Eksamensspørgsmål: Sprogmodeller
A-niveau
Forventet tid ca. 2 x 60 min.
Aktivitet 1
Forbered en fremlæggelse af nedenstående eksamensspørgsmål.
Forventet tid ca. 2 x 60 min.
Forbered en fremlæggelse af nedenstående eksamensspørgsmål.
Giv en overordnet forklaring af, hvordan Softmax-funktionen
\[ z_i = \frac{\mathrm{e}^{y_i}}{\mathrm{e}^{y_1} + \dotsm + \mathrm{e}^{y_V}} \]
anvendes i Word2Vec algoritmen.
Vis, at
\[ \frac{\partial z_i}{\partial y_i} = z_i(1-z_i) \quad \quad \textrm{og} \quad\quad \frac{\partial z_i}{\partial y_j} = -z_iz_j, \quad i\neq j \]