Conférence de Andrew Saxe (Oxford University), invité du Séminaire Digital Humanities / Artificial Intelligence (DHAI).
Quelle est la relation entre la géométrie des tâches, l'architecture des réseaux et la dynamique d'apprentissage émergente dans les réseaux profonds non linéaires? Je décrirai la "Neural Race Reduction", qui décrit la dynamique d'apprentissage de la descente de gradient dans les réseaux ReLU dans le régime d'apprentissage des fonctionnalités pour un sous-ensemble de tâches non linéaires. La réduction révèle un biais dans la dynamique de descente de gradient vers l'exploitation de la structure et de l'abstraction partagées lorsque cela est possible. Je vais ensuite passer à une expérience IRMf testant la géométrie représentationnelle prédite dans une tâche dépendant du contexte non linéaire. Ces résultats ouvrent une nouvelle fenêtre sur la dynamique d'apprentissage dans les réseaux de neurones non linéaires.
Catégories: Séminaire Digital Humanities / Artificial Intelligence
Mot-clés : réseau neuronal, apprentissage automatique
Voir aussi
|
|
Cursus :
Andrew Saxe est chercheur au département de psychologie expérimentale à l'Université d'Oxford.
ll travaille sur la théorie de l’apprentissage profond, une classe de modèles de réseaux neuronaux artificiels qui s’inspire du cerveau. En plus de ces travaux théoriques, il tisse d’étroites collaborations avec des expérimentateurs pour mettre à l’essai de façon empirique les principes de l’apprentissage dans les organismes biologiques.
Cliquer ICI pour fermerDernière mise à jour : 18/11/2020
Tous droits réservés
@ 2011 ENS