Comparison of MTF measurements using edge method: towards reference data set
Comparaison de mesures de FTM par bord de plage : vers un jeu de données de référence
Résumé
A sensor's spatial resolution has traditionally been a difficult concept to define, but all would agree that it is inextricably linked to the Ground Sampling Distance (GSD) and Instantaneous Field of View (IFOV) of an imaging sensor system. As a measure of the geospatial quality of imagery, the Modulation Transfer Function (MTF) of the system is often used along with the signal-to-noise ratio (SNR). However, their calculation is not fully standardized. Further, consistent measurements and comparisons are often hard to obtain. Therefore, in the Infrared and Visible Optical Sensors (IVOS) subgroup of the Working Group on Calibration Validation (WGCV) of the Committee for Earth Observation Satellites (CEOS), a team from various countries and professional entities who are involved in MTF measurement was established to address the issue of on-orbit MTF measurements and comparisons. As a first step, a blind comparison of MTF measurements based on the slanted edge approach has been undertaken. A set of both artificial and actual satellite edge images was developed and a first comparison of processing results was generated. In all, seven organizations contributed to the experiment and several significant results were generated in 2016. No single participant produced the best results for all test images as measured by either the closest to the mean result, or closest to the truth for the synthetic test images. In addition, close estimates of the MTF value at Nyquist did not ensure the accuracy of other MTF values at other spatial frequencies. Some algorithm results showed that the accuracy of their estimates depended upon the type of MTF curve that was being analyzed. After the initial analysis, participants were allowed to modify their methodology and reprocess the test images since, in several cases, the results contained errors. Results from the second iteration, in 2017, verified that the anomalies in the experiment's first iteration were due to errors in either coding or methodology, or both. One organization implemented a third trial to fix software errors. This emphasizes the importance of fully understanding both methodology and implementation, in order to ensure accurate and repeatable results. To extend this comparison study, a reference data set, which is composed of edge images and corresponding MTF curves, will be built. A broader audience will be able to access the edge images through the CEOS CalVal Portal (http://calvalportal.ceos.org/. This paper, which is associated with the reference data set, can serve as a new tool to either implement or check, or both, the MTF measurement that relies on the slanted edge method.
La résolution spatiale d’un capteur a toujours été un concept difficile à définir, mais il est acquis qu’elle est intimement liée à au pas d’échantillonnage au sol et au champ de vue instantanné d’un système imageur. En tant que mesure de la mesure de la qualité image géospatiale, la Fonction de Transfert de Modulation (FTM) du système est souvent utilisée avec le Rapport Signal à Bruit (RSB). Cependant, le calcul de ces grandeurs n’est pas totalement standardisé et des mesures et de comparaisons cohérentes sont souvent difficiles à obtenir. De ce fait, dans le cadre du sous groupe Capteurs Optiques Visibles du groupe de travail sur l’étalonnage et la validation du Comité pour les satellites d’observation de la terre, un groupe de personnes issues de différents pays et de différentes entités professionnelles impliquées dans la mesure de FTM a été formé pour travailler sur la problématique de la mesure de FTM et des comparaison de mesures. Pour la première étape du travail, une comparaison en aveugle, concernant la méthode du bord de plage, a été organisée. Un jeu d’images satellitaires, à la fois artificielles et réelles, a été créé et une première comparaison des résultats de calcul de FTM a été faite. En tout, sept organisations différentes ont participé à l’expérience et ont conduit à des résultats intéressants en 2016. Aucun participant n’a obtenu le meilleur résultat, au sens le plus proche de la moyenne ou bien le plus proche de la FTM attendue, dans tous les cas. Il est également apparu qu’une bonne estimation de la valeur de la FTM à la fréquence de Nyquist ne garantissait pas une bonne estimation pour les autres fréquences spatiales. Certains algorithmes ont des résultats dont la précision dépend de la forme de la FTM. Après cette première analyse des résultats, les participants ont pu modifier leur méthodologie et retraiter les données car il y avait clairement des erreurs dans les premiers résultats. Les second résultats, en 2017, ont permis de vérifier cela. Une organisation a fait un troisième retraitement des données pour corriger un bug et valider son résultat. Tout ceci souligne l’importance de bien comprendre non seulement la méthodologie mais également son implémentation, de manière à obtenir des résultats reproductibles et fiables. A la suite de ce travail, un jeu de données de référence composé d’images et des courbes de FTM correspondantes va être construit. Il est prévu de donner accès aux images à travers le CalVal Portal et de les rendre disponibles à un large ensemble d’utilisateurs.
Domaines
Optique / photonique
Origine : Fichiers produits par l'(les) auteur(s)
Loading...