For a memory network, there is an input to the network, x (think of it as an address of the memory), and compare this x with vectors k1​,k2​,k3​,⋯ (“keys”) through a dot product. Put them through a softmax, what you get are an array of numbers which sum to one. And there are a set of other vectors v1​,v2​,v3​,⋯ (“values”). Multiply these vectors by the scalers from softmax and sum these vectors up (note the resemblance to the attention mechanism) gives you the result.
Pour un réseau mémoire, il y a une entrée au réseau, x, qui est comparé à des vecteurs k1,k2,k3,⋯ (« clés ») via un produit scalaire. En les faisant passer par une fonction softmax, on obtient un tableau de nombres dont la somme est égale à un. Il y a un ensemble d’autres vecteurs v1​,v2​,v3​,⋯ (« valeurs »). On multiplie ces vecteurs par les scalaires provenant de la softmax et l’addition de ces vecteurs donne le résultat (mécanisme ressemblant fortement à l’attention).