In this section we introduce beam search as a middle ground between greedy decoding and exhaustive search. We consider the case of wanting to sample from the generative distribution (i.e. when generating text) and introduce “top-k” sampling. Subsequently, we introduce sequence to sequence models (with a transformer variant) and backtranslation. We then introduce unsupervised learning approaches for learning embeddings and discuss word2vec, GPT, and BERT.
Dans cette section, nous présentons la recherche en faisceau comme un consensus entre le décodage gourmand et la recherche exhaustive. Nous considérons le cas de vouloir échantillonner à partir de la distribution générative (c’est-à-dire lors de la génération de texte) et introduisons l’échantillonnage top-k. Ensuite, nous introduisons les modèles de séquence à séquence (avec une variante pour les transformers) et la rétrotraduction. Nous voyons enfin des approches d’apprentissage non supervisées pour l’apprentissage des enchâssements et discutons de word2vec, GPT et BERT.