We discuss beam search for use during inference, and how that procedure may be modeled at training time using a Graph Transformer Network. Graph transformers networks are basically weighted finite-state automata with automatic differentiation, that allows us to encode priors into a graph. There are different type of weighted finite-state and different operations including union, Kleene closure, intersection, compose, and forward score. The loss function is usually the difference between to functions. We can easily implement these networks using GTN library.
Nous discutons de l’utilisation de la recherche en faisceau pendant l’inférence ainsi que de la façon dont cette procédure peut être modélisée au moment de l’entraînement d’un Graph Transformer Network (GTN). Les GTNs sont essentiellement des « accepteur d’état fini pondéré » (WFSA pour « Weighted Finite State Acceptor ») avec différenciation automatique permettant d’encoder des a priori dans un graphe. Il existe différents types d’états finis pondérés et opérations, notamment l’union, l’étoile de Kleene, l’intersection, la composition et le score forward. La fonction de perte est généralement la différence entre deux fonctions. Nous pouvons facilement implémenter ces réseaux en utilisant la bibliothèque gtn.