Accueil/ expose
Beyond stochastic gradient descent for large-scale machine learning
mardi 07 mars 2017

Loading the player...
Descriptif

Conférence de Francis Bach lors du colloquium Data Science Colloquium of the ENS

This colloquium is organized around data sciences in a broad sense, with the goal of bringing together researchers with diverse backgrounds (including mathematics, computer science, physics, chemistry and neuroscience) but a common interest in dealing with large scale or high dimensional data.

Many machine learning and signal processing problems are traditionally cast as convex optimization problems. A common difficulty in solving these problems is the size of the data, where there are many observations ("large n") and each of these is large ("large p"). In this setting, online algorithms such as stochastic gradient descent which pass over the data only once, are usually preferred over batch algorithms, which require multiple passes over the data. Given n observations/iterations, the optimal convergence rates of these algorithms are O(1/sqrt{n}) for general convex functions and reaches O(1/n) for strongly-convex functions. In this talk, I will show how the smoothness of loss functions may be used to design novel algorithms with improved behavior, both in theory and practice: in the ideal infinite-data setting, an efficient novel Newtonbased stochastic approximation algorithm leads to a convergence rate of O(1/n) without strong convexity assumptions, while in the practical finite-data setting, an appropriate combination of batch and online algorithms leads to unexpected behaviors, such as a linear convergence rate for strongly convex problems, with an iteration cost similar to stochastic gradient descent.

Voir aussi


  • Aucun exposé du même auteur.
  • Can Big Data cure Cancer?
    Jean-Philippe Vert
  • What physics can tell us about inferenc...
    Cristopher Moore
Auteur(s)
Francis Bach
ENS / INRIA
Chercheur

Plus sur cet auteur
Voir la fiche de l'auteur

Institutions : Ecole normale supérieure

Cursus :

Francis Bach est un chercheur français spécialiste de l'apprentissage statistique. Ancien élève de l'École polytechnique, il intègre le corps des mines, puis réalise son PhD sous la direction de Michael Jordan à l'université de Californie, Berkeley). De 2007 à 2010, il fait partie de l'équipe WILLOW (ENS-Inria-CNRS). Depuis 2011, il dirige l'équipe SIERRA (ENS-Inria-CNRS), le laboratoire en apprentissage statistique de l'ENS Paris. En 2012, il reçoit le prix INRIA jeune chercheur. En 2016, il a été lauréat d’une ERC Consolidator Grant 2016.
Son domaine de recherche: le Machine Learning , ou l’apprentissage statistique. À la frontière entre les mathématiques, l’informatique et les statistiques, il permet d’optimiser le traitement de données numériques de très grande taille.

Cliquer ICI pour fermer
Annexes
Téléchargements :
   - Télécharger la vidéo
   - Télécharger l'audio (mp3)

Dernière mise à jour : 06/04/2017