Active set strategy for high-dimensional non-convex sparse optimization problems

Aurélie Boisbunon (1) , Rémi Flamary (2, 3) , Alain Rakotomamonjy (4)

1 AYIN - Models of spatio-temporal structure for high-resolution image processing
2 LAGRANGE - Joseph Louis LAGRANGE
3 OCA - Observatoire de la Côte d'Azur
4 LITIS - Laboratoire d'Informatique, de Traitement de l'Information et des Systèmes

The use of non-convex sparse regularization has attracted much interest when estimating a very sparse model on high dimensional data. In this work we express the optimality conditions of the optimization problem for a large class of non-convex regularizers. From those conditions, we derive an efficient active set strategy that avoids the computing of unnecessary gradients. Numerical experiments on both generated and real life datasets show a clear gain in computational cost w.r.t. the state of the art when using our method to obtain very sparse solutions.

L'utilisation de régularisations non-convexes a attiré beaucoup d'attention pour l'estimation de modèles parcimonieux en grandes dimensions. Dans ce travail, nous exprimons les conditions d'optimalité du problème d'optimisation correspondant pour une large classe de régularisations non convexes. Nous développons un stratégie de type "ensemble actif" efficace à partir de ces conditions, évitant ainsi des calculs de gradients inutiles. Une étude numérique sur données générées et sur données réelles montrent clairement l'apport en temps de calcul de notre méthode par rapport à celles de l'état de l'art pour obtenir des solutions très parcimonieuses.

Mots clés: Non-convex optimization; sparsity; very large scale

Domaines: Optimisation et contrôle [math.OC]

Aurélie Boisbunon, Rémi Flamary, Alain Rakotomamonjy. Active set strategy for high-dimensional non-convex sparse optimization problems. ICASSP - IEEE International Conference on Acoustics Speech and Signal Processing, May 2014, Florence, Italy. ⟨hal-01025585⟩