Training such a network using the Lagrangian formulation is very straightforward. If we have a target, y, and want the state of the system to reach y by time T, we simply establish the cost function as the distance between zt and y. Another goal of the network could be to find a stable state of the system, i.e. one that ceases to change after a certain point. Mathematically, this is equivalent to setting dtdz​=f(y,W)=0. In general, finding a solution, y to this equation is much easier than back propagation through time, because the network need not remember the gradient with respect to the whole sequence, and only has to minimize f or ∣f∣2. For more information about training neural ODE’s to reach fixed points, see (Lecun88).
Entraîner un tel réseau en utilisant la formulation lagrangienne est très simple. Si nous voulons que l’état du système atteigne y dans le temps T, nous établissons simplement la fonction de coût comme étant la distance entre zt et y. Un autre objectif du réseau pourrait être de trouver un état stable du système, c’est-à-dire un état qui cesse de changer après un certain point. Mathématiquement, cela équivaut à fixer dzdt=f(y,W)=0. En général, trouver une solution y à cette équation est beaucoup plus facile que la propagation dans le temps car le réseau n’a pas besoin de se souvenir du gradient par rapport à l’ensemble de la séquence. Il doit seulement minimiser f ou ∣f∣2. Pour plus d’informations sur l’entraînement des ODEs neuronales pour atteindre des points fixes, voir Le Cun (1988).