Although the science and mathematics behind deep learning is fairly understood, there are still some interesting questions that require more research. These questions include: Why do architectures with multiple layers perform better, given that we can approximate any function with two layers? Why do CNNs work well with natural data such as speech, images, and text? How are we able to optimize non-convex functions so well? Why do over-parametrised architectures work?
Bien que les sciences et les mathématiques qui sous-tendent l’apprentissage profond soient assez bien comprises, il reste quelques questions intéressantes qui nécessitent davantage de recherche. Ces questions sont les suivantes : Pourquoi les architectures à plusieurs couches sont-elles plus performantes, étant donné que nous pouvons approximer n’importe quelle fonction avec deux couches ? Pourquoi les ConvNets fonctionnent-ils aussi bien avec des données naturelles telles que la parole, les images et le texte ? Comment sommes-nous capables d’optimiser aussi bien les fonctions non convexes ? Pourquoi les architectures surparamétrées fonctionnent-elles ?