Generalized Abs-Linear Learning by Mixed Binary Quadratic Optimization
Apprentissage Abs-Linéaire Généralisé par Optimisation Quadratique Binaire Mixte
Résumé
We consider predictor functions in generalized abs-linear form, which generalize neural nets with hinge activation. To train them with respect to a given data set of feature-label pairs, one has to minimize the average loss, which is a multi-piecewise linear or quadratic function of the weights, i.e. coefficients of the abs-linear form. We suggest to attack this nonsmooth, global optimization problem via successive piecewise linearization, which allows the application of mixed binary convex quadratic optimization codes amongst other methods. These solve the sequence of abs-linear model problems with a proximal term. Preliminary experiments on a simple regression problem verify the validity of the approach but require a large number of Simplex pivots by the solver Gurobi.
Nous considérons les fonctions prédictives sous une forme abs-linéaire généralisée, qui généralisent les réseaux neuronaux avec activation de la charnière. Pour les entraîner par rapport à un ensemble de données donné de paires étiquette-caractéristique, il faut minimiser la perte moyenne, qui est une fonction linéaire ou quadratique multi-morceaux des poids, c'est-à-dire des coefficients de la forme abs-linéaire. Nous suggérons d'attaquer ce problème d'optimisation globale non lisse via une linéarisation successive par morceaux, qui permet l'application de codes d'optimisation quadratiques convexes binaires mixtes entre autres méthodes. Ceux-ci résolvent la séquence de problèmes du modèle abs-linéaire avec un terme proximal. Des expériences préliminaires sur un problème de ré-gression simple vérifient la validité de l'approche mais nécessitent un grand nombre de pivots Simplex par le solveur Gurobi
Origine : Fichiers produits par l'(les) auteur(s)
Loading...