Prediction of soil attributes by NIR spectroscopy. A critical review of chemometric indicators commonly used for assessing the quality of the prediction

Prédiction des attributs des sols par spectrométrie NIR- Une revue critique des indicateurs chimiométriques classiquement utilisés pour évaluer la qualité de la prédiction

Véronique Bellon Maurel (1, 2) , E. Fernandez-Ahumada (2) , B. Palagos (2) , J.M. Roger (2) , A. Mcbratney (3)

1 UMR ITAP - Information – Technologies – Analyse Environnementale – Procédés Agricoles
2 UMR ITAP - Information – Technologies – Analyse Environnementale – Procédés Agricoles
3 ACPA UNIVERSITY OF SYDNEY AUS

NIR and MIR spectroscopy applied to soil compositional analysis started to develop markedly in the 90's, taking advantage of various earlier advances in instrumentation and chemometrics for agricultural products. Today, NIR spectroscopy is envisioned as replacing laboratory analysis in certain applications such as soil carbon credit assessment at farm level. However, today's accuracy is still not satisfactory, compared with standard laboratory procedures, leading some authors to think that such a challenge will never be met. This paper investigates the critical points to be aware of when accuracy of NIR-based measurements is assessed. First, is the decomposition of the standard error of prediction (SEP) into a bias and a variance component, the latter being reducible by averaging, while the bias cannot. This decomposition is not used routinely in the soil science literature. Contrarily, a lognormal distribution of reference values is very often encountered with soil samples, such as elemental concentrations, e.g., carbon, with numerous small or zero values. These very skewed distributions make one take precautions when using inverse regression methods (such as PCR or PLS), which force the predictions towards the centre of the calibration set, leading to negative effects on the SEP - and therefore on prediction accuracy -, especially when lognormal distributions are encountered. Such distributions, which are very common for soil components, also make the RPD (Ratio to Performance Deviation) a useless and even a hazardous tool leading to erroneous conclusions. A new index based on the quartiles of the empirical distribution, RPIQ (Ratio of performance to inter-quartile), is proposed for overcoming this problem.

La spectrométrie NIR et MIR pour l'analyse de la composition du sol s'est beaucoup développée depuis les années 90. Aujourd'hui on envisage d'utiliser la Spectrométrie NIR dans certaines applications comme la détermination des crédits carbone. Cependant, aujourd'hui, cette mesure n'est pas suffisamment exacte en comparaison des standards de laboratoire. Cet article étudie les différents points critiques de l'exactitude d'une mesure basée sur la spectrométrie NIR. D'abord, il faut décomposer l'erreur standard de prédiction en une composante de biais et de dispersion, cette dernière étant réductible par moyennage, ce qui n'est pas le cas du biais. Cette décomposition est assez rare en NIR appliqué à la science du sol. Une distribution lognormale des valeurs de référence est souvent rencontrée en science du sol. Ces distributions très dissymétriques nous obligent à prendre des précautions particulières si on utilise des méthodes de régression inverse (PCR ou PLS) qui forcent le modèle à passer par le centre du lot d'étalonnage, se traduisant par des effets négatifs sur le SEP et en conséquences, sur l'exactitude de la prédiction, surtout dans le cas de populations lognormales. De telles distributions rendent aussi dangereuse l'utilisation du RPD (Ratio to Performance Deviation). Un nouvel index, basé sur les quartiles de la distribution et appelé RPIQ (Ratio of Performance to Inter-Quartile)

Domaines: Ingénierie de l'environnement; Sciences de l'environnement

Véronique Bellon Maurel, E. Fernandez-Ahumada, B. Palagos, J.M. Roger, A. Mcbratney. Prediction of soil attributes by NIR spectroscopy. A critical review of chemometric indicators commonly used for assessing the quality of the prediction. Trends in Analytical Chemistry, 2010, 29 (9), pp.1073-1081. ⟨10.1016/j.trac.2010.05.006⟩. ⟨hal-02593648⟩