Subjective quality assessment : a study on the grading scales : illustrations for stereoscopic and 2D video content
Investigation sur les échelles de l'évaluation subjective de la qualité visuelle : illustrations pour des vidéos stéréoscopiques et 2D
Résumé
Quality evaluation is an ever-fascinating field, covering at least a century of research works emerging from psychology, psychophysics, sociology, marketing, medicine… While for visual quality evaluation the IUT recommendations pave the way towards well-configured, consensual evaluation conditions granting reproducibility and comparability of the experimental results, an in-depth analysis of the state-of-the-art studies shows at least three open challenges related to the: (1) the continuous vs. discrete evaluation scales, (2) the statistical distribution of the scores assigned by the observers and (3) the usage of semantic labels on the grading scales. Thus, the present thesis turns these challenges into three research objectives: 1. bridging at the theoretical level the continuous and the discrete scale evaluation procedures and investigating whether the number of the classes on the discrete scales is a criterion meaningful in the results interpretations or just a parameter; studying the theoretical influence of the statistical model of evolution results and of the size of the panel (number of observers) in the accuracy of the results are also targeted; 2. quantifying the bias induced in subjective video quality experiments by the semantic labels (e.g. Excellent, Good, Fair, Poor and Bad) generally associated to the discrete grading scales; 3. designing and deploying an experimental test-bed able to support their precision and statistical relevance. With respect to these objectives, the main contributions are at theoretical, methodological and experimental levels
Les recommandations (normes) élaborées par l'UIT (l'Union Internationale de Télécommunications) précisent avec rigueur les conditions dans lesquelles les tests subjectifs de qualité visuelle doivent avoir lieu: la salle de test, les conditions de visualisation, le protocole d'évaluation, les méthodes de post-traitement des scores accordées par les évaluateurs, etc... Pourtant, les études de l'état de l'art mettent en évidence que des nombreuses inadvertances perdurent au niveau théorique et expérimental: (1) la modélisation statistique précise des scores attribués par les observateurs humains à un certain type de contenu reste encore inconnue, (2) la différence théorique et applicative entre les évaluations sur des échelles discrètes et continues ne fait pas encore l'objet d'une étude dédiée et (3) l'impact sémantique (psycho-cognitif) des étiquettes associées à l'échelle d'évaluation est toujours invoqué mais jamais évalué. Notre thèse offre un cadre méthodologique et expérimental permettant de: 1. Modéliser avec précision statistique la distribution des scores attribués par les observateurs et évaluer l'impact pratique d'une telle modélisation, 2. Établir la relation théorique entre les scores attribués par les observateurs sur une échelle continue et une échelle discrète, 3. Établir le cadre statistique permettant de quantifier l'impact sémantique induit par les étiquettes sémantiques associées à l'échelle d'évaluation, 4. Spécifier et réaliser un cadre expérimental de référence, à vocation d'utilisation ultérieure par les instances de l'UIT
Origine : Version validée par le jury (STAR)
Loading...