Algorithms of Robust Stochastic Optimization Based on Mirror Descent Method

Algorithmes d'optimisation stochastique robuste par descente-en-miroir

Alexander V. Nazin (1) , Arkadi S Nemirovsky (2) , Alexandre B. Tsybakov (3) , Anatoli B. Juditsky (4)

1 ICS - Institute of Control Sciences [Moscou]
2 ISyE - School of Industrial and Systems Engineering [Georgia Tech]
3 CREST - Centre de Recherche en Économie et Statistique
4 DAO - Données, Apprentissage et Optimisation

We propose an approach to construction of robust non-Euclidean iterative algorithms for convex composite stochastic optimization based on truncation of stochastic gradients. For such algorithms, we establish sub-Gaussian confidence bounds under weak assumptions about the tails of the noise distribution in convex and strongly convex settings. Robust estimates of the accuracy of general stochastic algorithms are also proposed.

Nous proposons une approche vers la construction d'algorithmes robustes d'optimisation stochastique convexe composite basée sur la seuillage des gradients stochastiques. Pour de tels algorithmes et sous des hypothèses faibles concernant les queues de la distribution du bruit, nous établissons des bornes de confiance sous-gaussiennes pour des fonctions-objectives convexes et fortement convexes. Nous proposons également des estimations robustes de la precision pour des algorithmes stochastiques généraux.

Mots clés: mirror descent method; robust iterative algorithms; stochastic optimization algorithms; convex composite stochastic optimization; robust confidence sets

Domaines: Statistiques [math.ST]; Optimisation et contrôle [math.OC]

Alexander V. Nazin, Arkadi S Nemirovsky, Alexandre B. Tsybakov, Anatoli B. Juditsky. Algorithms of Robust Stochastic Optimization Based on Mirror Descent Method. Automation and Remote Control / Avtomatika i Telemekhanika, 2019, 80 (9), pp.1607-1627. ⟨10.1134/S0005117919090042⟩. ⟨hal-02173931⟩