Wouldn’t the uncertainty of the model increase when richer targets are given by softer distributions? Also, why is it called distillation?
L’incertitude du modèle n’augmenterait-elle pas lorsque des cibles plus riches sont données par des distributions plus douces ? Aussi, pourquoi l’appelle-t-on distillation ?