To some extent, the temperature is redundant with incoming weights. If you have weighted sums coming into your softmax, the β parameter is redundant with the size of weights. Temperature controls how hard the distribution of output will be. When β is very large, it becomes very close to either one or zero. When β is small, it is softer. When the limit of β equals to zero, it is like an average. When β goes infinity, it behaves like argmax. It’s no longer its soft version. Thus, if you have some sort of normalisation before the softmax then, tuning this parameter allows you to control the hardness. Sometimes, you can start with a small β so that you can have well-behaved gradient descents and then, as running proceeds, if you want a harder decision in your attention mechanism, you increase β. Thus, you can sharpen the decisions. This trick is called as annealing. It can be useful for a mixture of experts like a self attention mechanism.
Dans une certaine mesure, la température est redondante avec les poids entrants. Si vous avez des sommes pondérées qui arrivent dans votre softmax, le paramètre β est redondant avec la taille des poids. La température contrôle le degré de difficulté de la distribution des sorties. Lorsque β est très grand, il devient très proche de 1 ou de 0. Lorsque β est petit, il est plus doux. Lorsque la limite de β est égale à 0, c’est comme une moyenne. Lorsque β va à l’infini, il se comporte comme argmax. Ce n’est plus sa version douce. Ainsi, si vous avez une sorte de normalisation avant le softmax, alors, le réglage de ce paramètre vous permet de contrôler la dureté. Parfois, vous pouvez commencer avec un petit β afin d’avoir des descentes de gradient bien conduites et ensuite, au fur et à mesure que la course avance, si vous voulez une décision plus difficile dans votre mécanisme d’attention, vous augmentez β. Ainsi, vous pouvez affiner les décisions. Il peut être utile pour un mélange d’experts comme un mécanisme d’auto-attention.