Optimisation de la Topologie pour les Réseaux de Neurones Profonds

Ludovic Arnold 1, 2 Hélène Paugam-Moisy 3, 2 Michèle Sebag 1, 2
2 TAO - Machine Learning and Optimisation
LRI - Laboratoire de Recherche en Informatique, UP11 - Université Paris-Sud - Paris 11, Inria Saclay - Ile de France, CNRS - Centre National de la Recherche Scientifique : UMR8623
3 DM2L - Data Mining and Machine Learning
LIRIS - Laboratoire d'InfoRmatique en Image et Systèmes d'information
Résumé : Récemment, les réseaux de neurones profonds ont démontré leur capacité à obtenir d’excellentes performances pour des tâches de classification et de réduction de dimension. Le problème du choix des hyper-paramètres est très critique pour ces réseaux car la taille de l’espace de recherche augmente exponentiellement avec le nombre de couches. En conséquence, l’approche grid-search ne convient pas et c’est à l’expérimentateur de “deviner” des valeurs judicieuses pour les hyper-paramètres. Nous proposons ici de sélectionner les hyper-paramètres couche après couche, sur la base d’un critère non-supervisé, ce qui réduit à une complexité linéaire l’optimisation des hyper-paramètres. Deux critères non-supervisés sont envisagés et nous focalisons notre étude sur la détermination d’un nombre optimal de neurones par couche. Au cours de nos expériences, nous montrons que l’erreur de reconstruction constitue un critère satisfaisant pour l’optimisation, couche par couche, du nombre de neurones. Nous observons par ailleurs que la taille optimale des couches tend à diminuer lorsque le nombre d’exemples augmente et nous discutons ce comportement contre-intuitif.
Type de document :
Communication dans un congrès
17e congrès francophone AFRIF-AFIA Reconnaissance des Formes et Intelligence Artificielle - RFIA 2010, Jan 2010, Caen, France. 2010
Liste complète des métadonnées

Littérature citée [20 références]  Voir  Masquer  Télécharger

https://hal.archives-ouvertes.fr/hal-00437538
Contributeur : Ludovic Arnold <>
Soumis le : mardi 1 décembre 2009 - 13:34:03
Dernière modification le : mercredi 31 octobre 2018 - 12:24:25
Document(s) archivé(s) le : mardi 16 octobre 2012 - 15:06:41

Fichier

otrnp2010.pdf
Fichiers produits par l'(les) auteur(s)

Identifiants

  • HAL Id : hal-00437538, version 1

Citation

Ludovic Arnold, Hélène Paugam-Moisy, Michèle Sebag. Optimisation de la Topologie pour les Réseaux de Neurones Profonds. 17e congrès francophone AFRIF-AFIA Reconnaissance des Formes et Intelligence Artificielle - RFIA 2010, Jan 2010, Caen, France. 2010. 〈hal-00437538〉

Partager

Métriques

Consultations de la notice

811

Téléchargements de fichiers

1148