Statistical properties of Kernel Prinicipal Component Analysis

Gilles Blanchard 1 Olivier Bousquet 2 Laurent Zwald 3, 4
3 LEAR - Learning and recognition in vision
Inria Grenoble - Rhône-Alpes, LJK - Laboratoire Jean Kuntzmann, INPG - Institut National Polytechnique de Grenoble
4 SMS - Statistique et Modélisation Stochatisque
LJK - Laboratoire Jean Kuntzmann
Abstract : We study the properties of the eigenvalues of Gram matrices in a non-asymptotic setting. Using local Rademacher averages, we provide data-dependent and tight bounds for their convergence towards eigenvalues of the corresponding kernel operator. We perform these computations in a functional analytic framework which allows to deal implicitly with reproducing kernel Hilbert spaces of infinite dimension. This can have applications to various kernel algorithms, such as Support Vector Machines (SVM). We focus on Kernel Principal Component Analysis (KPCA) and, using such techniques, we obtain sharp excess risk bounds for the reconstruction error. In these bounds, the dependence on the decay of the spectrum and on the closeness of successive eigenvalues is made explicit.
Type de document :
Article dans une revue
Machine Learning, Springer Verlag, 2007, 66 (2-3), pp.259-294. 〈10.1007/s10994-006-6895-9〉
Liste complète des métadonnées

https://hal.archives-ouvertes.fr/hal-00373789
Contributeur : Laurent Zwald <>
Soumis le : mardi 7 avril 2009 - 14:26:58
Dernière modification le : lundi 17 décembre 2018 - 11:22:02
Document(s) archivé(s) le : jeudi 10 juin 2010 - 19:57:52

Fichier

KPCA_versionlongue_1.pdf
Fichiers produits par l'(les) auteur(s)

Identifiants

Collections

Citation

Gilles Blanchard, Olivier Bousquet, Laurent Zwald. Statistical properties of Kernel Prinicipal Component Analysis. Machine Learning, Springer Verlag, 2007, 66 (2-3), pp.259-294. 〈10.1007/s10994-006-6895-9〉. 〈hal-00373789〉

Partager

Métriques

Consultations de la notice

485

Téléchargements de fichiers

413