Caractérisation et mesure des discriminations algorithmiques dans la prédiction de la réussite à des cours en ligne
Résumé
Preditive models used in intelligent learning environments can suffer from biased and unfair representation. However, existing fair- ness metrics that are meant to capture these issues are only based on the models’ predictive performances. In this paper, we propose a novel fair- ness metric that measures to what extent the models behave unfairly. In addition, we provide a visualization-based analysis to qualify the types of unfair behaviors that are exhibited by the models. We apply our method on the success prediction task in online courses, with an open educational dataset. Our results highlight the need to systematically analyze unfair behaviors from the models in order to confirm or refute the sensitive nature of some attributes.
Les modèles prédictifs utilisés en EIAH peuvent produire des résultats biaisés et discriminants. Or, les mesures existantes pour les dé- tecter sont seulement fondées sur l’égalité des performances prédictives entre différents groupes d’apprenant·e·s. Dans cet article, nous proposons une mesure objective des discriminations algorithmiques d’un modèle, ainsi qu’une méthode d’analyse visuelle pour caractériser ces discrimi- nations. Nous démontrons l’application de notre méthode dans le cadre de la prédiction de la réussite à des cours en ligne, au moyen de don- nées éducatives ouvertes. Nos résultats montrent la nécessité d’analyser systématiquement les discriminations algorithmiques issues des modèles afin de confirmer ou d’infirmer le caractère sensible de certains attributs.
Origine : Fichiers produits par l'(les) auteur(s)