Revisite des "random Fourier features" basée sur l'apprentissage PAC-Bayésien via des points d'intérêts

Léo Gautheron 1 Pascal Germain 2 Amaury Habrard 1 Gaël Letarte 3 Emilie Morvant 1 Marc Sebban 1 Valentina Zantedeschi 1
2 MODAL - MOdel for Data Analysis and Learning
Inria Lille - Nord Europe, LPP - Laboratoire Paul Painlevé - UMR 8524, CERIM - Santé publique : épidémiologie et qualité des soins-EA 2694, Polytech Lille - École polytechnique universitaire de Lille, Université de Lille, Sciences et Technologies
Abstract : Cet article résume et étend notre travail récent publié à AISTATS 2019, dans lequel nous avons revisité la méthode des Random Fourier Features (RFF) de Rahimi et al. (2007) par le biais de la théorie PAC-Bayésienne. Bien que l'objectif principal des RFF soit d'approximer une fonction noyau, nous considérons ici la transformée de Fourier comme une distribution \emph{a priori} sur un ensemble d'hypothèses trigonométriques. Cela suggère naturellement d'apprendre une distribution a posteriori sur cet ensemble d'hypothèses. Nous dérivons des bornes en généralisations qui sont optimisées en apprenant une distribution pseudo-posterior obtenue à partir d'une expression en forme close. À partir de cette études, nous proposons deux stratégies d'apprentissage basées sur des points d'intérêts : (i) la procédure en deux étapes proposée dans notre article précédent, où une représentation compacte des données est apprise, puis est utilisée pour apprendre un modèle linéaire, (ii) une nouvelle procédure, où l'on apprend en un seul temps la représentation et le modèle suivant une approche de type Boosting.
Document type :
Conference papers
Complete list of metadatas

https://hal.archives-ouvertes.fr/hal-02148600
Contributor : Emilie Morvant <>
Submitted on : Wednesday, June 5, 2019 - 4:06:42 PM
Last modification on : Friday, June 14, 2019 - 10:14:56 AM

Identifiers

  • HAL Id : hal-02148600, version 1

Citation

Léo Gautheron, Pascal Germain, Amaury Habrard, Gaël Letarte, Emilie Morvant, et al.. Revisite des "random Fourier features" basée sur l'apprentissage PAC-Bayésien via des points d'intérêts. CAp 2019 - Conférence sur l'Apprentissage automatique, Jul 2019, Toulouse, France. ⟨hal-02148600⟩

Share

Metrics

Record views

48