ObjectivAIze : mesurer la performance et les biais d’automation dans la décision métier augmentée

Thomas Baudel (1) , Manon Verbockhaven (1) , Victoire Cousergue (1) , Guillaume Roy (1) , Rida Laarach (1)

1 IBM France Lab [Biot]

Business process management organizes flows of information and decisions in large organizations. These systems now integrate algorithmic decision aids: each time a stakeholder needs to make a decision, such as a purchase, a quote, or hiring someone, the software can leverage the inputs and outcomes of similar past decisions to provide guidance, as a recommendation with a degree of confidence. If the confidence is high, the process may be automated. Otherwise, it may still help provide consistency in the decisions. Yet, we may question how these aids affect task performance. Can we measure an improvement? Can hidden biases influence decision makers negatively? What is the impact of various presentation options? To address those issues, we propose metrics of performance, automation bias and resistance. We validated those measures with an online study. Our aim is to provide appropriate instrumentation in those systems to secure their benefits.

Le BPM organise les flux d’information et de décisions des grandes entreprises. Ces systèmes permettent d’intégrer de l’aide algorithmique à la décision : chaque fois qu’une décision doit être prise, par exemple un achat, un recrutement, une proposition d’offre, une fonction logicielle permet d’émettre une recommandation sur la base des décisions précédentes prises dans le même contexte. Nous nous posons toutefois la question de l’efficacité et l’utilité de cette aide. Peut-on mesurer des améliorations ? Quels biais peuvent intervenir ? Quel est l’effet des modes de présentation ? Pour répondre à ces questions, nous proposons des métriques de performance, biais d’automation et résistance. Nous avons validé l’utilisation de ces mesures dans une étude en ligne. Notre objectif est de fournir une instrumentation appropriée de ces systèmes de recommandation pour assurer la supervision de ce type de système lorsqu’ils sont déployés dans l’entreprise de façon générique.

Domaines: Interface homme-machine [cs.HC]

Thomas Baudel, Manon Verbockhaven, Victoire Cousergue, Guillaume Roy, Rida Laarach. ObjectivAIze : mesurer la performance et les biais d’automation dans la décision métier augmentée. Résumés Étendus des actes de la 32e conférence francophone sur l'Interaction Humain-Machine (IHM'20.21), Apr 2021, Virtual Event, France. pp.1:1-9. ⟨hal-03544822⟩