HCI Statistics without p-values

Statistiques pour l’IHM sans valeur-p

Pierre Dragicevic (1)

1 AVIZ - Analysis and Visualization

Statistics are tools to help end users (here,researchers) accomplish their task (advance scientific knowledge). Science is a collective and cumulative enterprise, so to be qualified as usable, statistical tools should support and promote clear thinking as well as clear and truthful communication. Yet areas such as human-computer interaction (HCI) have adopted tools – i.e., p-values and statistical significance testing – that have proven to be quite poor at supporting these tasks. The use and misuse of p-values and significance testing has been severely criticized in a range of disciplines for several decades, suggesting that tools should be blamed, not end users. This article explains why it would be beneficial for HCI to switch from statistical significance testing to estimation, i.e., reporting informative charts with effect sizes and confidence intervals, and offering nuanced interpretations of our results. Advice is offered on how to communicate our empirical results in a clear, accurate, and transparent way without using any p-value.

Les statistiques sont des outils dont l'objectif est d'aider des utilisateurs (ici, des chercheurs) à accomplir leur tâche (faire avancer le savoir scientifique). La science étant un processus collectif et cumulatif, pour être qualifiés d'utilisables, les outils statistiques doivent faciliter et promouvoir une pensée cohérente ainsi qu'une communication claire et honnête. Pourtant des domaines tels que l'IHM (l'interaction homme-machine) ont adopté des outils (les valeurs-p et les tests de signification statistique) qui se sont montrés clairement insuffisants pour ces tâches. L'utilisation abusive des valeurs p et des tests statistiques a été violemment critiquée dans de nombreuses disciplines depuis plusieurs décennies, suggérant que la faute en revient aux outils, et non aux utilisateurs. Cet article explique pourquoi il serait bénéfique pour l'IHM de passer des tests statistiques à l'estimation, c'est à dire à la production de graphiques informatifs avec des tailles d'effet et des intervalles de confiance, et à des interprétations nuancées de nos résultats. Cet article explique comment communiquer nos résultats empiriques de façon claire, précise, et transparente sans utiliser aucune valeur-p.

Mots clés: Human-computer interaction; information visualization; statistics; user studies; p-value; statistical testing; confidence intervals

Mots clés: Interaction homme-machine; visualisation d’information; statistiques; études utilisateur; valeur-p; tests statistiques; intervalles de confiance; estimation

Domaines: Interface homme-machine [cs.HC]

Pierre Dragicevic. HCI Statistics without p-values. [Research Report] RR-8738, Inria. 2015, pp.32. ⟨hal-01162238⟩