Apprentissage multimodal de représentation de mots à l'aide de contexte visuel

Eloi Zablocki 1 Benjamin Piwowarski 2 Laure Soulier 1 Patrick Gallinari 1
1 MLIA - Machine Learning and Information Access
LIP6 - Laboratoire d'Informatique de Paris 6
2 BD - Bases de Données
LIP6 - Laboratoire d'Informatique de Paris 6
Résumé : Représenter la sémantique d'un mot est un défi ma-jeur pour pouvoir traiter automatiquement le langage. Jusqu'à présent, une grande partie des méthodes déter-minent le sens d'un mot via ses contextes dans un corpus de texte. Plus récemment, certains auteurs se sont intéressés à l'apparence visuelle d'un objet pour amé-liorer la représentation sémantique du mot correspon-dant. Cependant, ces travaux ignorent l'environnement et le contexte visuel dans lequel l'objet apparaît. Dans cet article, nous proposons d'apprendre la représenta-tion des mots en bénéficiant de la complémentarité des modalités texte et image par la prise en compte simul-tanée des contextes textuels et visuels des mots. Nous explorons plusieurs choix de modélisation de contexte visuel, et présentons une méthode jointe qui intègre le contexte visuel dans un modèle skip-gram multimodal. Enfin, l'apport de ces représentations dans des tâches d'analyse sémantiques est évaluée sur plusieurs jeux de données. Cet article est une traduction de [ZPSG18].
Complete list of metadatas

https://hal.archives-ouvertes.fr/hal-01842358
Contributor : Eloi Zablocki <>
Submitted on : Wednesday, July 18, 2018 - 11:02:03 AM
Last modification on : Wednesday, March 27, 2019 - 1:34:04 AM
Long-term archiving on : Friday, October 19, 2018 - 8:25:14 PM

File

Apprentissage_multimodal_de_re...
Files produced by the author(s)

Identifiers

  • HAL Id : hal-01842358, version 1

Citation

Eloi Zablocki, Benjamin Piwowarski, Laure Soulier, Patrick Gallinari. Apprentissage multimodal de représentation de mots à l'aide de contexte visuel. Conférence sur l'Apprentissage Automatique, Jun 2018, Rouen, France. ⟨hal-01842358⟩

Share

Metrics

Record views

128

Files downloads

95