Grâce à leur exposition, avant l'entraînement, à des données à l'échelle de l'Internet sous toutes leurs formes et dans une myriade de modèles, les LLM apprennent à appliquer leurs connaissances dans un large éventail de contextes.
Un LLM comme GPT-3 peut prendre en compte des milliards de paramètres et générer du contenu à partir de très peu d'entrées. Grâce à leur exposition, avant l'entraînement, à des données à l'échelle de l'Internet sous toutes leurs formes et dans une myriade de modèles, les LLM apprennent à appliquer leurs connaissances dans un large éventail de contextes.