Vote de majorité a priori contraint pour la classification binaire : spécification au cas des plus proches voisins

Aurélien Bellet (1) , Amaury Habrard (2) , Emilie Morvant (3, 4, 2) , Marc Sebban (2)

1 USC - University of Southern California
2 LHC - Laboratoire Hubert Curien
3 QARMA - éQuipe AppRentissage et MultimediA [Marseille]
4 LIF - Laboratoire d'informatique Fondamentale de Marseille

Pour combiner différents classifieurs/votants, une solution naturelle vise à construire un vote de majorité. Un algorithme récemment introduit, MinCq, apprend un tel vote en optimisant les poids associés aux votants. Son principe repose sur la minimisation du risque du vote de majorité (la C-borne), dans le cadre de la théorie PAC-Bayes. Une limite de MinCq vient du fait qu'il ne peut tirer avantage d'une connaissance a priori sur la performance des votants (comme cela peut être le cas des classifieurs de type plus proches voisins (PPV)). Dans cet article, nous introduisons P-MinCq, une extension de MinCq, afin de considérer une contrainte a priori sur la distribution des poids des votants. Cette contrainte pouvant dépendre des exemples d'apprentissage, nous généralisons les preuves de convergence aux schémas de compression. Appliqué à un vote de majorité sur un ensemble de classifieurs PPV et évalué sur vingt jeux de données, nous montrons que P-MinCq est significativement plus performant qu'un PPV classique, un PPV symétrique et MinCq lui-même. Nous montrons finalement que combiné avec LMNN, un algorithme d'apprentissage de métrique, P-MinCq permet d'obtenir des résultats encore meilleurs.

Domaines: Machine Learning [stat.ML]

Aurélien Bellet, Amaury Habrard, Emilie Morvant, Marc Sebban. Vote de majorité a priori contraint pour la classification binaire : spécification au cas des plus proches voisins. Conférence sur l'Apprentissage Automatique (CAp), Jul 2013, Lille, France. ⟨hal-00850241⟩