In the case above, we split the original network into 4 networks. Take the first network for instance. It takes in a value from input at time 1 and sends the output to the first intermediate state in the hidden layer. The state has 3 other networks where the ∘∘s allows the gradients to pass while the −−s blocks propagation. Such a technique is called gated recurrent network.
Dans le cas ci-dessus, nous avons divisé le réseau initial en 4 réseaux. Prenons le premier réseau par exemple. Il prend une valeur de l’entrée au temps 1 et envoie la sortie au premier état intermédiaire de la couche cachée. L’état a 3 autres réseaux où le ∘∘ permet aux gradients de passer tandis que le −− bloque la propagation. Une telle technique est appelée réseau récurrent à portes.