Practical guide for the statistical validation of measurement methods: repeatability, reproducibility, and concordance

Guide pratique de validation statistique de méthodes de mesure : répétabilité, reproductibilité, et concordance

Loic Desquilbet (1, 2)

1 ENVA - École nationale vétérinaire d'Alfort
2 U955 Inserm - UPEC - IMRB - "Biologie du système neuromusculaire" [Créteil]

A method of measuring a characteristic, whether objective or subjective, should first prove its validity before being used. This validation step is essential when this measurement method is used to collect data for scientific research; it is also essential when this method is used in the medical follow-up of a patient. The repeatability and reproducibility of a characteristic measurement method are part of the validation criteria of this measurement method. In addition, if this measurement method is intended to replace another method considered as a reference method, an additional validation criterion is the concordance of the values provided by the two methods. This document is a practical guide to quantify the repeatability and reproducibility of a measurement method and the concordance between two measurement methods, y using simple statistical indicators published in the scientific literature. Examples from veterinary medicine illustrate the quantification of repeatability, reproducibility, and concordance, whether the characteristic measured is binary, qualitative, or quantitative. Finally, the document presents the protocol to be implemented as well as the number of individuals required to be measured in order to estimate the statistical indicators of repeatability, reproducibility, and concordance with sufficient accuracy to guarantee the validation of the measurement method.

Une méthode de mesure d’un caractère, qu’elle soit objective ou subjective, devrait au préalable avoir prouvé sa validité avant d’être utilisée. Cette étape de validation est indispensable lorsque cette méthode de mesure est utilisée pour collecter des données qui serviront à la recherche scientifique ; elle l’est tout autant si cette méthode est utilisée dans le cadre du suivi médical d’un patient. La répétabilité et la reproductibilité d’une méthode de mesure d’un caractère font partie des critères de validation de cette méthode de mesure. De plus, si cette méthode de mesure vise à remplacer une autre considérée comme une méthode de référence, un critère de validation supplémentaire est celui de la concordance des valeurs du caractère fournies par les deux méthodes. Ce document est un guide pratique pour quantifier, à l’aide d’indicateurs statistiques simples et publiés dans la littérature scientifique, la répétabilité et la reproductibilité d’une méthode de mesure, et la concordance entre deux méthodes de mesure. Des exemples issus de la médecine vétérinaire permettent d’illustrer la quantification de la répétabilité, reproductibilité, et concordance, que le caractère mesuré soit binaire, qualitatif, ou bien quantitatif. Le document présente enfin le protocole à mettre en place ainsi que le nombre d’individus à mesurer afin d’estimer les indicateurs statistiques de répétabilité, reproductibilité, et de concordance avec suffisamment de précision pour garantir la validation de la méthode de mesure.

Mots clés: coefficient de concordance; Bland et Altman; coefficient Kappa; concordance; reproductibilité; répétabilité

Domaines: Santé publique et épidémiologie; Méthodologie [stat.ME]; Applications [stat.AP]

Loic Desquilbet. Guide pratique de validation statistique de méthodes de mesure : répétabilité, reproductibilité, et concordance. 2012. ⟨hal-02103716v6⟩