We examine Recurrent Neural Networks, their problems, and common techniques for mitigating these issues. We then review a variety of modules developed to resolve RNN model issues including Attention, GRUs (Gated Recurrent Unit), LSTMs (Long Short-Term Memory), and Seq2Seq.
Nous examinons les réseaux neuronaux récurrents (RNNs pour Recurrent Neural Networks), leurs problèmes et les techniques courantes permettant de les atténuer. Nous examinons ensuite divers modules développés pour résoudre les problèmes liés aux modèles RNNs, notamment l’Attention, les GRUs (Gated Recurrent Unit), les LSTMs (Long Short-Term Memory) et le Seq2Seq.