Apprentissage multimodal de représentation de mots à l'aide de contexte visuel

Eloi Zablocki (1) , Benjamin Piwowarski (2) , Laure Soulier (1) , Patrick Gallinari (1)

1 MLIA - Machine Learning and Information Access
2 BD - Bases de Données

Représenter la sémantique d'un mot est un défi ma-jeur pour pouvoir traiter automatiquement le langage. Jusqu'à présent, une grande partie des méthodes déter-minent le sens d'un mot via ses contextes dans un corpus de texte. Plus récemment, certains auteurs se sont intéressés à l'apparence visuelle d'un objet pour amé-liorer la représentation sémantique du mot correspon-dant. Cependant, ces travaux ignorent l'environnement et le contexte visuel dans lequel l'objet apparaît. Dans cet article, nous proposons d'apprendre la représenta-tion des mots en bénéficiant de la complémentarité des modalités texte et image par la prise en compte simul-tanée des contextes textuels et visuels des mots. Nous explorons plusieurs choix de modélisation de contexte visuel, et présentons une méthode jointe qui intègre le contexte visuel dans un modèle skip-gram multimodal. Enfin, l'apport de ces représentations dans des tâches d'analyse sémantiques est évaluée sur plusieurs jeux de données. Cet article est une traduction de [ZPSG18].

Domaines: Informatique [cs]; Intelligence artificielle [cs.AI]; Réseau de neurones [cs.NE]; Traitement du texte et du document; Apprentissage [cs.LG]

Eloi Zablocki, Benjamin Piwowarski, Laure Soulier, Patrick Gallinari. Apprentissage multimodal de représentation de mots à l'aide de contexte visuel. Conférence sur l'Apprentissage Automatique, Jun 2018, Rouen, France. ⟨hal-01842358⟩