De la sélection d'arbres de décision dans les forêts aléatoires

Laurent Heutte (1) , Simon Bernard (1) , Sébastien Adam (1) , Émilie Oliveira (1)

1 DocApp - LITIS - Equipe Apprentissage

Dans cet article nous présentons une étude sur une nouvelle famille de méthodes d'Ensembles de Classifieurs, appelée Forêts Aléatoires (RF pour Random Forest). Dans un processus d'induction de forêts aléatoires "traditionnel", un nombre préalablement fixé d'arbres de décision est généré, à l'aide notamment de principes d'apprentissage partiellement aléatoires. Ce type de processus présente deux principaux inconvénients : i) le nombre d'arbres doit être fixé a priori ii) l'interprétabilité et les capacités d'analyse offertes par les classifieurs de type arbres de décisions sont perdues, du fait de l'utilisation de principes de "randomisation" au cours de leur induction. Ces constatations soulèvent alors deux questions : ce type de forêts aléatoires contientelle des arbres de décision qui détériorent les performances de l'ensemble ? Si oui, ces arbres présentent-ils des propriétés particulières qui pourraient expliquer cette perte de performances ? Pour répondre à ces questions, nous abordons cette problématique comme un problème de sélection de classifieurs, et montrons que de meilleurs sous-ensembles d'arbres de décision peuvent être obtenus en utilisant des méthodes sous-optimales de sélection de classifieurs. Les résultats prouvent notamment qu'un algorithme d'induction de forêts aléatoires "classique" n'est pas la meilleure approche pour produire des classifieurs de type forêts aléatoires qui soient performants.

Mots clés: Arbres de Décision.; Ensemble de Classifieurs; Sélection de Classifieurs; Arbres de Décision; Forêts Aléatoires

Domaines: Apprentissage [cs.LG]

Laurent Heutte, Simon Bernard, Sébastien Adam, Émilie Oliveira. De la sélection d'arbres de décision dans les forêts aléatoires. 10ème Colloque International Francophone sur l'Ecrit et le Document (CIFED), Oct 2008, Rouen, France. pp.163-168. ⟨hal-00334413⟩