Analysis and acceleration of gradient descents and gossip algorithms
Analyse et accélération des descentes de gradient et des algorithmes de gossip
Résumé
Motivated by the recent interest in statistical learning and distributed computing, we study stochastic convex optimization and gossip algorithms in parallel. This joint study is enabled by rigorous relationships that are made between the structures of optimization problems and their equivalents for gossip algorithms. The strong convexity of an optimization problem corresponds to the spectral gap between the two smallest eigenvalues of the graph Laplacian for gossip algorithms. The capacity and source conditions of a least-squares problem, that describe powerlaw scalings for the eigenvalues and for the projection of the optimum against the eigenvectors, correspond to the spectral dimension of the graph for gossip algorithms.
Motivés par l’intérêt récent porté à l’apprentissage statistque et au calcul distribué, nous étudions l’optimisation convexe stochastique et les algorithmes de gossip en parallèle. Cette étude jointe est rendue possible grâce à des relations rigoureuses qui sont faites entre les structures de problèmes d’optimisation et leurs équivalents pour les algorithmes de gossip. La forte convexité d’un problème d’optimisation correspond au trou spectral entre les deux plus petites valeurs propres du Laplacien pour les algorithmes de gossip. Les conditions de capacité et de source d’un problème de moindres carrés, qui décrivent les lois de puissance des valeurs propres et de la projection de l’optimum sur les vecteurs propres, correspondent à la dimension spectrale du graphe pour les algorithmes de gossip.
Origine : Version validée par le jury (STAR)