A standard pretrain and transfer task first pretrains a network and then evaluates it in downstream tasks, as it is shown in the first row of Fig. 5. ClusterFit performs the pretraining on a dataset Dcf​ to get the pretrained network Npre​. The pretrained network Npre​ are performed on dataset Dcf to generate clusters. We then learn a new network Ncf​ from scratch on this data. Finally, use Ncf for all downstream tasks.
Une tâche standard de pré-entraînement et de transfert pré-entraîne d’abord un réseau et l’évalue ensuite sur des tâches en aval, comme le montre la première ligne de la figure 5. ClusterFit effectue le pré-entraînement sur un jeu de données Dcf pour obtenir le réseau pré-entraîné Npre​. Le pré-entraînement Npre​ est effectué sur un jeu de données Dcf​ pour générer des clusters. Nous apprenons ensuite un nouveau réseau Ncf​ à partir de zéro sur ces données. Enfin, on utilise Ncf​ pour toutes les tâches en aval.