Since models like transformers do much better with more data, how do we use monolingual text efficiently, i.e. no input / output pairs?
Puisque des modèles comme les transformers fonctionnent beaucoup mieux avec plus de données, comment utiliser efficacement un texte monolingue, c’est-à-dire sans paires d’entrée/sortie ?