Skip to Main content Skip to Navigation
Conference papers

Apprentissage multimodal de représentation de mots à l'aide de contexte visuel

Résumé : Représenter la sémantique d'un mot est un défi ma-jeur pour pouvoir traiter automatiquement le langage. Jusqu'à présent, une grande partie des méthodes déter-minent le sens d'un mot via ses contextes dans un corpus de texte. Plus récemment, certains auteurs se sont intéressés à l'apparence visuelle d'un objet pour amé-liorer la représentation sémantique du mot correspon-dant. Cependant, ces travaux ignorent l'environnement et le contexte visuel dans lequel l'objet apparaît. Dans cet article, nous proposons d'apprendre la représenta-tion des mots en bénéficiant de la complémentarité des modalités texte et image par la prise en compte simul-tanée des contextes textuels et visuels des mots. Nous explorons plusieurs choix de modélisation de contexte visuel, et présentons une méthode jointe qui intègre le contexte visuel dans un modèle skip-gram multimodal. Enfin, l'apport de ces représentations dans des tâches d'analyse sémantiques est évaluée sur plusieurs jeux de données. Cet article est une traduction de [ZPSG18].
Complete list of metadatas

Cited literature [21 references]  Display  Hide  Download

https://hal.archives-ouvertes.fr/hal-01842358
Contributor : Eloi Zablocki <>
Submitted on : Wednesday, July 18, 2018 - 11:02:03 AM
Last modification on : Saturday, June 6, 2020 - 6:16:04 PM
Document(s) archivé(s) le : Friday, October 19, 2018 - 8:25:14 PM

File

Apprentissage_multimodal_de_re...
Files produced by the author(s)

Identifiers

  • HAL Id : hal-01842358, version 1

Citation

Eloi Zablocki, Benjamin Piwowarski, Laure Soulier, Patrick Gallinari. Apprentissage multimodal de représentation de mots à l'aide de contexte visuel. Conférence sur l'Apprentissage Automatique, Jun 2018, Rouen, France. ⟨hal-01842358⟩

Share

Metrics

Record views

183

Files downloads

130