We begin with a concrete example of backpropagation and discuss the dimensions of Jacobian matrices. We then look at various basic neural net modules and compute their gradients, followed by a brief discussion on softmax and logsoftmax. The other topic of discussion in this part is Practical Tricks for backpropagation.
Nous commençons par un exemple concret de rétropropagation et discutons des dimensions des matrices jacobiennes. Nous examinons ensuite divers modules de base des réseaux de neurones et calculons leurs gradients, puis nous discutons brièvement des fonctions softmax et logsoftmax. L’autre sujet de discussion dans cette partie est celui des astuces pratiques pour la rétropropagation.