Pyramides de noyaux

Marie Szafranski (1, 2) , Yves Grandvalet (1)

1 Heudiasyc - Heuristique et Diagnostic des Systèmes Complexes [Compiègne]
2 LIF - Laboratoire d'informatique Fondamentale de Marseille - UMR 6166

L'apprentissage statistique vise à prédire, mais aussi analyser ou interpréter un phénomène. Nous proposons de guider le processus d'apprentissage en intégrant une connaissance relative à la façon dont sont organisées les similarités entre exemples. La connaissance est représentée par une "pyramide de noyaux", une structure arborescente qui permet d'organiser des groupes et sous-groupes distincts de similarités. Si nous pouvons faire l'hypothèse que peu de (groupes de) similarités sont pertinentes pour discriminer les observations, notre approche fait émerger les groupes et sous-groupes de similarités pertinentes. Nous proposons ici la première solution complète à ce problème, permettant l'apprentissage d'un séparateur à vaste marge (SVM) sur des pyramides de noyaux de hauteur arbitraire. Les pondérations des (groupes de) similarités sont apprises conjointement avec les paramètres du SVM, par optimisation d'un critère que nous montrons être une formulation variationnelle d'un problème régularisé par une norme mixte. Nous illustrons notre approche sur un problème de reconnaissance d'expressions faciales, où les caractéristiques des images sont décrites par une pyramide représentant l'organisation spatiale et l'échelle des filtres d'ondelettes appliqués sur des patchs d'images.

Domaines: Apprentissage [cs.LG]

Marie Szafranski, Yves Grandvalet. Pyramides de noyaux. GRETSI, 2009, Dijon, France. pp.436. ⟨hal-00451398⟩