A hypernetwork is a network where the weights of one network is the output of another network. Figure 6 shows the computation graph of a “hypernetwork”. Here the function H is a network with parameter vector u and input x. As a result, the weights of G(x,w) are dynamically configured by the network H(x,u). Although this is an old idea, it remains very powerful.
Un hyper-réseau est un réseau où les poids d’un réseau sont la sortie d’un autre réseau. La figure 6 montre le graphique de calcul d’un hyper-réseau. Ici, la fonction H est un réseau avec le vecteur paramètre u et l’entrée x. En conséquence, les poids de G(x,w) sont configurés dynamiquement par le réseau H(x,u). Bien que cette idée soit ancienne, elle reste très puissante.