Classification et extension automatique d'annotations d'images en utilisant un réseau Bayésien

Sabine Barrat (1) , Salvatore Tabbone (1)

1 QGAR - Querying Graphics through Analysis and Recognition

Dans nombre de problèmes de vision, au lieu d'avoir des données d'apprentissage entièrement annotées, il est plus facile d'obtenir seulement un sous ensemble de données dotées d'annotations, car ceci est moins restrictif pour l'utilisateur. Pour ces raisons, dans ce papier, nous considérons le problème de classification d'images faiblement annotées, où seulement un petit sous-ensemble de la base de données est annoté par des mots-clés. Nous présentons et évaluons une nouvelle méthode qui amèliore l'efficacité de la classification d'images par le contenu, en intégrant des concepts sémantiques extraits du texte, et en étendant automatiquement les annotations existantes à des images non annotées ou faiblement annotées. Notre modèle s'inspire de la théorie des modèles graphiques probabilistes, permettant de traiter les données manquantes. Les résultats de la classification visuo-textuelle, obtenus grâce à une base d'images provenant d'Internet, partiellement et manuellement annotées, montrent une amélioration de 32.3% en terme de taux de reconnaissance, par rapport à la classification visuelle. De plus, l'extension automatique d'annotations, avec notre modèle, à des images faiblement annotées, augmente encore le taux reconnaissance de 6.8%.

Mots clés: modèles graphiques probabilistes; réseaux Bayésiens; sélection de variables; classification; annotation automatique

Domaines: Traitement du texte et du document; Vision par ordinateur et reconnaissance de formes [cs.CV]; Traitement du signal et de l'image [eess.SP]; Traitement du signal et de l'image [eess.SP]

Sabine Barrat, Salvatore Tabbone. Classification et extension automatique d'annotations d'images en utilisant un réseau Bayésien. Colloque International Francophone sur l'Ecrit et le Document - CIFED 08, Oct 2008, Rouen, France. pp.169-174. ⟨hal-00334414⟩