Inspection d'une boîte noire via une analyse de robustesse - Archive ouverte HAL Accéder directement au contenu
Pré-Publication, Document De Travail Année : 2020

Black-Box Inspection via Robustness Analysis

Inspection d'une boîte noire via une analyse de robustesse

Résumé

The rise of Machine Learning models has led insurers to create DataLabs in order to build more efficient models than the existing ones. However, for the most critical tasks, some models considered too complex and secretive are struggling to go into production. Indeed, for actuaries responsible of risk assessment, it is difficult to give the same level of confidence to these nebulous models as to more familiar models such as generalized linear models. There is therefore a real need for actuaries to reduce the gap between what is understood from the model and what the model has learnt. However, providing a general explanation of a black box predictor, i.e. an explanation of the general decision-making mechanism of the predictor, is one of the most difficult tasks. Therefore, a significant part of the efforts to increase the intelligibility of models focuses on more affordable tasks, such as providing a local explanation, or visual or textual information on the model's reactions. This article proposes to adapt the robustness approach of [Koh and Liang, 2017], to reconcile the global and local aspect of intelligibility.
L'essor des modèles de Machine Learning a poussé les assureurs à se doter de DataLabs dans le but de créer des modèles plus performants que ceux déjà existants. Cependant, pour les tâches les plus critiques, certains modèles considérés trop complexes et opaques peinent à passer en production. En effet, pour les actuaires, chargés d'évaluer le risque, il est difficile d'accorder le même niveau de confiance à ces modèles considérés comme des boîtes noires qu'à des modèles plus familiers comme les modèles linéaires généralisés. Il y a donc un réel besoin pour l'actuaire de réduire l'écart entre ce qu'il comprend du modèle et ce que le modèle a appris. Cependant, fournir une explication globale d'un prédicteur boîte noire, c'est à dire une explication de son mécanisme décisionnel général, est une des tâches les plus difficiles. C'est pourquoi une part importante des efforts pour accroître l'intelligibilité des modèles se concentre sur des tâches plus abordables, à savoir fournir une explication locale ou des informations visuelles ou textuelles sur les réactions du modèle. Cet article propose d'adapter l'approche par robustesse de [Koh and Liang, 2017], pour collecter des informations globales pertinentes et fournir une explication fidèle au voisinage d'un point dont on veut expliquer la prédiction.
Fichier principal
Vignette du fichier
MaillartArthur_2020.pdf (6.13 Mo) Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)
Loading...

Dates et versions

hal-02497380 , version 1 (03-03-2020)

Identifiants

  • HAL Id : hal-02497380 , version 1

Citer

Arthur Maillart. Inspection d'une boîte noire via une analyse de robustesse. 2020. ⟨hal-02497380⟩
98 Consultations
83 Téléchargements

Partager

Gmail Facebook X LinkedIn More