Accueil/ expose
The Neural Race Reduction : la dynamique de l'apprentissage dans les réseaux ReLU
jeudi 08 octobre 2020

Loading the player...
Descriptif

Conférence de Andrew Saxe (Oxford University), invité du Séminaire Digital Humanities / Artificial Intelligence (DHAI).

Quelle est la relation entre la géométrie des tâches, l'architecture des réseaux et la dynamique d'apprentissage émergente dans les réseaux profonds non linéaires? Je décrirai la "Neural Race Reduction", qui décrit la dynamique d'apprentissage de la descente de gradient dans les réseaux ReLU dans le régime d'apprentissage des fonctionnalités pour un sous-ensemble de tâches non linéaires. La réduction révèle un biais dans la dynamique de descente de gradient vers l'exploitation de la structure et de l'abstraction partagées lorsque cela est possible. Je vais ensuite passer à une expérience IRMf testant la géométrie représentationnelle prédite dans une tâche dépendant du contexte non linéaire. Ces résultats ouvrent une nouvelle fenêtre sur la dynamique d'apprentissage dans les réseaux de neurones non linéaires.

Voir aussi


  • Aucun exposé du même auteur.
  • IA et Peuples autochtones au Canada
    Karine Gentelet
Auteur(s)
Andrew Saxe
Université d'Oxford
Chercheur

Plus sur cet auteur
Voir la fiche de l'auteur

Cursus :

Andrew Saxe est chercheur au département de psychologie expérimentale à l'Université d'Oxford.

ll travaille sur la théorie de l’apprentissage profond, une classe de modèles de réseaux neuronaux artificiels qui s’inspire du cerveau. En plus de ces travaux théoriques, il tisse d’étroites collaborations avec des expérimentateurs pour mettre à l’essai de façon empirique les principes de l’apprentissage dans les organismes biologiques.

Cliquer ICI pour fermer
Annexes
Téléchargements :
   - Télécharger la vidéo

Dernière mise à jour : 18/11/2020