Un jeu, des images, des clics et du texte : collecte implicite de données visuelles et sémantiques

Axel Carlier (1, 2) , Vincent Charvillat (1, 2)

1 IRIT-REVA - Real Expression Artificial Life
2 Toulouse INP - Institut National Polytechnique (Toulouse)

Nous décrivons un corpus de données visuelles et sémantiques collectées à partir d'un jeu. Nous avons conçu ce jeu pour deux joueurs qui coopèrent à distance sur le Web. Les données collectées sont directement utilisables pour résoudre des problèmes de vision (par exemple des problèmes de détection, de segmentation, d'étiquetage sémantique). La collecte est toutefois implicite au sens où le jeu n'a pas pour but explicite de détecter ou segmenter des objets présents dans une image. Le corpus inclut plus de 3,250 jeux basés sur 104 images et comporte des annotations textuelles et des données spatiales (clics, relations spatiales). Dans cet article, nous expliquons pourquoi et comment utiliser ces données pour différentes applications visant la compréhension des images. Nous montrons surtout qu'elles sont suffisamment riches pour superviser, dans un sens à définir, une analyse sémantique globale du contenu visuel. Le corpus est rendu accessible aux chercheurs

Mots clés: Segmentation; Détection; Jeu GWAP; Corpus de données; Sémantique

Domaines: Synthèse d'image et réalité virtuelle [cs.GR]; Traitement du signal et de l'image [eess.SP]; Traitement des images [eess.IV]; Vision par ordinateur et reconnaissance de formes [cs.CV]; Intelligence artificielle [cs.AI]

Axel Carlier, Vincent Charvillat. Un jeu, des images, des clics et du texte : collecte implicite de données visuelles et sémantiques. COmpression et REprésentation des Signaux Audiovisuels (CORESA), Nov 2014, Reims, France. pp.17-24. ⟨hal-01996198⟩