École Nationale Supérieure de
Techniques Avancées

Résumé

La résolution de problèmes d'optimisation composites, fondamentaux dans les applications de machine learning, consiste en trouver un point optimal et sa structure, en général à l'aide de méthodes de premier ordre accélérées et promouvant l'identification. La majeur partie de ce travail vise à explorer numériquement l'interaction entre accélération et identification de structure pour les méthodes de premier ordre. Nous proposons un algorithme qui bénéficie d'une vitesse de convergence similaire à celle des algorithmes de premier ordre accélérés, et qui est empiriquement plus stable en termes d'identification. La seconde partie est dédiée à la programmation stochatique multi-étages. Avec des modèles d'expressivité croissante, de nouvelles méthodes sont nécessaires pour résoudre les grand problèmes stochastiques sur des infrastructures distribuées, dépassant le classique algorithme du progressive hedging. Nous proposons des versions incrémentales et randomizées du progressive hedging, et démontrons numériquement leur efficacité.