Als Beispiel seien hier neuronale Netze genannt, bei denen in der Regel cross-entropy als Trainingskriterium und verschiedene Varianten von Gradientenverfahren (backpropagation) verwendet werden.
Das Trainingskriterium definiert ein mathematisches Optimierungsproblem, für das in der Regel keine geschlossene Lösung mehr möglich ist. Deswegen braucht man Verfahren der numerischen Optimierung, um die optimalen Parameter zu finden. Die Herausforderung liegt darin, dass die heutigen Modelle eine riesige Zahl von freien Parametern haben. Als Beispiel seien hier neuronale Netze genannt, bei denen in der Regel cross-entropy als Trainingskriterium und verschiedene Varianten von Gradientenverfahren (backpropagation) verwendet werden.