1512 articles – 1650 references  [version française]
HAL: hal-00704448, version 1

Detailed view  Export this paper
15èmes journées COmpression et REprésentation des Signaux Audiovisuels (CORESA'12), Lille : France (2012)
Exploration libre de vidéos : influence du son sur les mouvements oculaires consécutifs à un événement sonore saillant
Antoine Coutrot ( ) 1, Gelu Ionescu 1, Nathalie Guyader 1, Alice Caplier 1
(2012-05-24)

Dans cette étude, nous utilisons un modèle de saillance sonore (le Discrete Energy Separation Algorithm), capable de détecter automatiquement les événements sonores saillants des bande-son accompagnant des vidéos, pour analyser l'effet du son sur les mouvements oculaires de participants explorant des vidéos. Ce modèle est basé sur une analyse multifréquentielle d'attributs élémentaires, tels l'amplitude et la fréquence moyennes instantanées ainsi que l'énergie de Teager-Kaiser. Les modulations de ces attributs sont combinées linéairement afin de donner une courbe de saillance sonore en fonction du temps. Son seuillage permet de repérer les événements sonores les plus susceptibles d'attirer l'attention. Nous comparons les paramètres des mouvements oculaires (dispersion, amplitude, durée, fréquence) de participants ayant vu les vidéos avec et sans leur bande sonore associée. sur les vidéos étudiées la présence du son modifie certains paramètres étudiés. Cependant cette différence n'est pas plus marquée sur les quelques trames suivant les événements sonores saillants repérés par le modèle qu'en moyenne sur l'ensemble des trames de la vidéo. Ceci laisse à penser que le regard n'est que peu influencé par les attributs élémentaires sonores considérés, du moins sur la base de vidéos étudiées et lorsque l'on s'intéresse à des extraits de courte durée.
1:  Grenoble Images Parole Signal Automatique (GIPSA-lab)
CNRS : UMR5216 – Université Joseph Fourier - Grenoble I – Université Pierre-Mendès-France - Grenoble II – Université Stendhal - Grenoble III – Institut Polytechnique de Grenoble - Grenoble Institute of Technology
VIBS
AGPIG
Cognitive science/Neuroscience

Engineering Sciences/Signal and Image processing

Computer Science/Signal and Image Processing
saillance – audio-visuelle – attention – vidéos – mouvements oculaires.
Attached file list to this document: 
PDF
coresa2012.pdf(1.8 MB)