Remember that in self-attention, the hidden vector h is computed by Xa, which means that the columns in x is scaled by the factors in a. In the context of GCN, this means that if we have multiple incoming edges,i.e. multiple ones in adjacency vector a, Xa gets larger. On the other hand, if we have only one incoming edge, this value gets smaller. To remedy this issue of the value being proportionate to the number of incoming edges, we divide it by the number of incoming edges dd. We then apply rotation v to Xad−1.
Dans l’auto-attention, le vecteur caché h est calculé par Xa, ce qui signifie que les colonnes dans x sont mises à l’échelle par les facteurs dans a. Dans le contexte du GCN, cela signifie que si nous avons plusieurs arêtes entrantes, c’est-à-dire plusieurs dans le vecteur d’adjacence a, Xa s’agrandit. En revanche, si nous n’avons qu’une seule arête entrante, cette valeur devient plus petite. Pour remédier à ce problème de proportionnalité de la valeur par rapport au nombre d’arêtes entrantes, nous la divisons par le nombre d’arêtes entrantes dd. Nous appliquons ensuite la rotation v à Xad−1.