Parcimonie et corrélation pour la sélection de noyaux

Abir Zribi (1) , Maxime Berar (1) , Alain Rakotomamonjy (1)

1 LITIS - Laboratoire d'Informatique, de Traitement de l'Information et des Systèmes

Since the appearance of kernel methods, several researchers have been opted to combine multiple kernel instead of using single one. While this method performance is directly related to a suite base kernels specification. The complexity of this task puts in evidence the need to make it automatic. In this context Multiple Kernel Learning (MKL) has received significant attention from researchers. In the literature, MKL is often solved by a minimization of kernels weights problem. However in this optimization problem all kernels are often used witch leads to complex computations. Another limitation is met in the case where the total number of kernels is high, but only a relatively small number of them is need to represent the target function. It is therefore a sparse problem. In this paper we wanted to improve the efficiency of MKL with less kernels, we seek so a compromise between performance, sparsity and training time complexity. We extend a recent version of MKL witch formulated as a binary classification problem with an additional constraint. This constraint ensures that the kernels be positive semi-definite. We reformulate this optimization problem by compensating the empirical risk with a regularization term based on sparsity. Experiments on multiple data sets show the promising performance of our method compared with a competitive method.

Dès l’apparition des méthodes à noyaux, la combinaison de plusieurs noyaux a été l’objet d’expérimentations. En effet, la performance de ce type de méthode est directement liée à la spécification de noyaux appropriés. Dans ce contexte, l’apprentissage de noyaux multiples (MKL) a attiré une attention significative de la part des chercheurs. Dans la littérature le MKL est souvent résolu par un problème de minimisation de poids de noyau. Cependant dans ce problème d’optimisation, la totalité des noyaux est souvent utilisée ce qui entraîne des lourds calculs. Une autre limite de ces méthodes est rencontrée dans le cas où le nombre total des noyaux est élevé, mais seulement un nombre relativement petit de ces noyaux est nécessaire pour représenter la fonction objective. Il s’agit d’un problème parcimonieux. Dans ce papier nous avons cherché à améliorer l’efficacité du MKL en utilisant moins de noyaux, nous avons donc cherché un compromis entre la performance, la parcimonie et la rapidité du processus d’optimisation. Nous étendons une version récente du MKL qui présente un problème de classification binaire avec une contrainte supplémentaire. Cette contrainte permet d’assurer que le noyau appris soit positive semi défini. Nous avons reformulé ce problème d’optimisation en compensant le risque empirique qu’on cherche à minimiser par un terme régularisant basé sur la parcimonie. Notre méthode a montré ces performances car nous avons obtenu des résultats très proches de la littérature en utilisant moins de fonctions noyaux. Les résultats expérimentaux réalisés sur plusieurs bases de données ont montré la performance promise de la technique proposée comparée à d’autre méthodes compétitives.

Domaines: Apprentissage [cs.LG]

Abir Zribi, Maxime Berar, Alain Rakotomamonjy. Parcimonie et corrélation pour la sélection de noyaux. GRETSI, Sep 2013, Brest, France. ⟨hal-01079154⟩