Accueil/ expose
The Neural Race Reduction : la dynamique de l'apprentissage dans les réseaux ReLU
jeudi 08 octobre 2020

Loading the player...
Descriptif

Conférence de Andrew Saxe (Oxford University), invité du Séminaire Digital Humanities / Artificial Intelligence (DHAI).

Quelle est la relation entre la géométrie des tâches, l'architecture des réseaux et la dynamique d'apprentissage émergente dans les réseaux profonds non linéaires? Je décrirai la "Neural Race Reduction", qui décrit la dynamique d'apprentissage de la descente de gradient dans les réseaux ReLU dans le régime d'apprentissage des fonctionnalités pour un sous-ensemble de tâches non linéaires. La réduction révèle un biais dans la dynamique de descente de gradient vers l'exploitation de la structure et de l'abstraction partagées lorsque cela est possible. Je vais ensuite passer à une expérience IRMf testant la géométrie représentationnelle prédite dans une tâche dépendant du contexte non linéaire. Ces résultats ouvrent une nouvelle fenêtre sur la dynamique d'apprentissage dans les réseaux de neurones non linéaires.

Voir aussi


  • Aucun exposé du même auteur.
  • IA et Peuples autochtones au Canada
    Karine Gentelet
  • Pile et face : Quand les humanités numér...
    Ecole normale supérieure
  • Alignement et comparaison de textes pou...
    Philippe Gambette
  • Redéfinir l'histoire culturelle des jour...
    Pierre-Carl Langlais
  • Sampling and Solving Linear Inverse Prob...
    Eero Simoncelli
  • Voir, c'est savoir
    Stavros Lazaris
  • L’IA et la manufacture des planches au X...
    Alexandre Guilbaud
  • Extraction et mise en correspondances au...
    Tom Monnier, Mathieu Aubry
  • Learning Solutions to the Schrödinger eq...
    Giuseppe Carleo
  • Gallicagram, un nouvel outil de lexicogr...
    Benjamin Azoulay, Benoît De Courson
  • Outillage de présentation des travaux e...
    Hugo Du Plessix
  • Embedded stories and narrative levels : ...
    Pablo Gervas
  • The Visual Apparatus of the Sphaera Corp...
    Matteo Valleriani, Jochen Büttner, Noga Shlomi, Hassan El Hajj
  • Biased Auctioneers
    Christophe Spaenjers
  • Analysing discourse and semantics throug...
    Armin Pournaki
  • Affairs of Styles: Working with AI to So...
    Florian Cafiero, Jean-Baptiste Camps
  • Recognition and Clustering of Ancient Co...
    Katherine Gruel, Sofiane Horache
Auteur(s)
Andrew Saxe
Université d'Oxford
Chercheur

Plus sur cet auteur
Voir la fiche de l'auteur

Cursus :

Andrew Saxe est chercheur au département de psychologie expérimentale à l'Université d'Oxford.

ll travaille sur la théorie de l’apprentissage profond, une classe de modèles de réseaux neuronaux artificiels qui s’inspire du cerveau. En plus de ces travaux théoriques, il tisse d’étroites collaborations avec des expérimentateurs pour mettre à l’essai de façon empirique les principes de l’apprentissage dans les organismes biologiques.

Cliquer ICI pour fermer
Annexes
Téléchargements :
   - Télécharger la vidéo

Dernière mise à jour : 18/11/2020