Construction d'une entropie décentrée pour l'apprentissage supervisé

Stéphane Lallich (1) , Philippe Lenca (2, 3) , Benoît Vaillant (4)

1 ERIC - Equipe de Recherche en Ingénierie des Connaissances
2 LUSSI - Département Logique des Usages, Sciences sociales et Sciences de l'Information
3 TAMCIC - Traitement Algorithmique et Matériel de la Communication, de l'Information et de la Connaissance
4 VALORIA - Laboratoire de recherche en informatique et ses applications [Vannes]

En apprentissage supervisé, de nombreuses mesures sont fon dées sur la notion d'entropie. Une caractéristique majeure des entr opies est qu'elles sont maximales lorsque la distribution des modalités de la variable de classe est uni- forme, ce qui peut être un inconvénient lorsque cette distribution est très éloignée de l'uniformité. Pour traiter ce cas, nous proposons une entropie décentrée qui prend sa valeur maximale pour une distribution donnée. Cette distribution peut être la distribution a priori des classes ou une distribution tenant compte des coûts de mauvaise classification ou plus généralement une distribution fixée par l'utilisateur.

Mots clés: Entropie décentrée; Apprentissage supervisé

Domaines: Ordinateur et société [cs.CY]

Stéphane Lallich, Philippe Lenca, Benoît Vaillant. Construction d'une entropie décentrée pour l'apprentissage supervisé. EGC 2007 : 7èmes journées francophones "Extraction et gestion des connaissances", Atelier Qualité des Données et des Connaissances, 23 janvier Namur, Belgique, Jan 2007, Namur, Belgique. pp.45 - 54. ⟨hal-02121562⟩