Reproducibility of word embeddings : identifying stable and unstable zones in the semantic space

Étude de la reproductibilité des word embeddings : repérage des zones stables et instables dans le lexique

Bénédicte Pierrejean (1) , Ludovic Tanguy (1)

1 CLLE-ERSS - Cognition, Langues, Langage, Ergonomie

Distributional semantic models trained using neural networks techniques yield different models even when using the same parameters. We describe a series of experiments where we examine the instability of word embeddings both from a global and local perspective for several models trained with the same parameters. We measured the global variation for models trained on three different corpora. This variation is estimated to about 17% for the 25 nearest neighbours of a target word. We also identified and described local zones of stability and instability in the semantic space.

Les modèles vectoriels de sémantique distributionnelle (ou word embeddings), notamment ceux produits par les méthodes neuronales, posent des questions de reproductibilité et donnent des repré-sentations différentes à chaque utilisation, même sans modifier leurs paramètres. Nous présentons ici un ensemble d'expérimentations permettant de mesurer cette instabilité, à la fois globalement et localement. Globalement, nous avons mesuré le taux de variation du voisinage des mots sur trois corpus différents, qui est estimé autour de 17% pour les 25 plus proches voisins d'un mot. Localement, nous avons identifié et caractérisé certaines zones de l'espace sémantique qui montrent une relative stabilité, ainsi que des cas de grande instabilité

Mots clés: word embeddings; stability; reproducibility

Mots clés: plongements lexicaux; évaluation; stabilité; reproductibilité.

Domaines: Linguistique; Informatique et langage [cs.CL]

Bénédicte Pierrejean, Ludovic Tanguy. Étude de la reproductibilité des word embeddings : repérage des zones stables et instables dans le lexique. TALN, May 2018, Rennes, France. ⟨hal-01793370⟩