Der Vorteil dieser reinen Textdaten ist, dass man typischerweise hunderte von Millionen von Beispielsätzen finden kann (praktisch ohne Kosten) und man daraus ein linguistisches probabilistisches Sprachmodell trainieren kann, das Syntax, Semantik und Pragmatik der Sprachverarbeitungsaufgabe approximativ modelliert.
Das Trainingskriterium wird anhand von annotierten Daten formuliert. Im Beispiel der in Bild 1 dargestellten Aufgabenstellungen sind dies Paare von Eingangs- und Ausgangsfolgen. Der Umfang dieser Paare kann sehr groß sein: 1000 Stunden annotierte (oder transkribierte) Audio-Daten für die Spracherkennung und 100 Millionen Satzpaare von Quell- und Zielsprache für die Sprachübersetzung. Im Idealfall sind diese Trainingsdaten repräsentativ für die tatsächliche Anwendung des Sprachverarbeitungssystems. Einen Spezialfall von Trainingsdaten stellen reine Textdaten in natürlicher Sprache dar. Derartige Daten liefern Beispiele für die Ausgangsfolgen des Sprachverarbeitungssystems (ohne dass eine Eingangsfolge vorliegt). Der Vorteil dieser reinen Textdaten ist, dass man typischerweise hunderte von Millionen von Beispielsätzen finden kann (praktisch ohne Kosten) und man daraus ein linguistisches probabilistisches Sprachmodell trainieren kann, das Syntax, Semantik und Pragmatik der Sprachverarbeitungsaufgabe approximativ modelliert.