Manifold hypothesis: natural data lives in a low-dimensional manifold. Set of possible images is essentially infinite, set of “natural” images is a tiny subset. For example: for an image of a person, the set of possible images is on the order of magnitude of the number of face muscles they can move (degrees of freedom) ~ 50. An ideal (and unrealistic) feature extractor represents all the factors of variation (each of the muscles, lighting, etc.).
L’ensemble des images possibles est essentiellement infini, l’ensemble des images « naturelles » est un minuscule sous-ensemble. Par exemple : pour une image d’une personne, l’ensemble des images possibles est de l’ordre de grandeur du nombre de muscles du visage qu’elle peut bouger (degrés de liberté) soit environ 50. Un extracteur de caractéristiques idéal (et irréaliste) représente tous les facteurs de variation (chacun des muscles, éclairage, etc.). C’est l’hypothèse de la multiplicité : les données naturelles vivent dans une multiplicité à faible dimension.