Digression: A term that penalises the length of the latent variable can act as one of many loss terms in a model. The length of a vector is roughly proportional to the number of dimensions it has. So if you decrease the number of dimensions, then the length of the vector decreases and as a result it encodes less information. In an auto-encoder setting, this makes sure that the model is retaining the most important information. So, one way to bottleneck information in latent spaces is to reduce the dimensionality of the latent space.
Digression : un terme qui pénalise la longueur de la variable latente peut agir comme l’un des nombreux termes de perte dans un modèle. La longueur d’un vecteur est à peu près proportionnelle au nombre de dimensions qu’il possède. Ainsi, si nous diminuons le nombre de dimensions, la longueur du vecteur diminue et par conséquent il code moins d’informations. Dans un paramétrage d’auto-encodeur, cela permet de s’assurer que le modèle conserve les informations les plus importantes. Ainsi, une façon de bloquer l’information dans les espaces latents est de réduire la dimensionnalité de l’espace latent.