Efficient Algorithms for Non-convex Isotonic Regression through Submodular Optimization

Francis Bach 1
1 SIERRA - Statistical Machine Learning and Parsimony
DI-ENS - Département d'informatique de l'École normale supérieure, CNRS - Centre National de la Recherche Scientifique, Inria de Paris
Abstract : We consider the minimization of submodular functions subject to ordering constraints. We show that this optimization problem can be cast as a convex optimization problem on a space of uni-dimensional measures, with ordering constraints corresponding to first-order stochastic dominance. We propose new discretization schemes that lead to simple and efficient algorithms based on zero-th, first, or higher order oracles; these algorithms also lead to improvements without isotonic constraints. Finally, our experiments show that non-convex loss functions can be much more robust to outliers for isotonic regression, while still leading to an efficient optimization problem.
Type de document :
Pré-publication, Document de travail
2017
Liste complète des métadonnées

Littérature citée [28 références]  Voir  Masquer  Télécharger

https://hal.archives-ouvertes.fr/hal-01569934
Contributeur : Francis Bach <>
Soumis le : jeudi 27 juillet 2017 - 22:45:13
Dernière modification le : jeudi 26 avril 2018 - 10:29:05

Fichiers

submotonic_hal.pdf
Fichiers produits par l'(les) auteur(s)

Identifiants

  • HAL Id : hal-01569934, version 1
  • ARXIV : 1707.09157

Collections

Citation

Francis Bach. Efficient Algorithms for Non-convex Isotonic Regression through Submodular Optimization. 2017. 〈hal-01569934〉

Partager

Métriques

Consultations de la notice

223

Téléchargements de fichiers

466