Make use of learning rate schedule: in order to make the transformers work well, you have to make your learning rate decay linearly from zero to thousandth steps.
Utiliser une grille de taux d’apprentissage fonctionne bien pour que les transformers. Il faut faire décroître le taux d’apprentissage de façon linéaire de zéro à des millièmes de pas.