Skip to Main content Skip to Navigation
Journal articles

Modélisation de dépendances entre étiquettes dans les réseaux neuronaux récurrents

Résumé : Les réseaux neuronaux récurrents (RNN) se sont montrés très efficaces dans plusieurs tâches de traitement automatique des langues. Cependant, leur capacité à modéliser l'étiquetage de séquences reste limitée. Cette limitation a conduit la recherche vers la combinaison des RNN avec des modèles déjà utilisés avec succès dans ce contexte, comme les CRF. Dans cet article, nous étudions une solution plus simple mais tout aussi efficace : une évolution du RNN de Jordan dans lequel les étiquettes prédites sont réinjectées comme entrées dans le réseau et converties en plongements, de la même façon que les mots. Nous comparons cette variante de RNN avec tous les autres modèles existants : Elman, Jordan, LSTM et GRU, sur deux tâches de compréhension de la parole. Les résultats montrent que la nouvelle variante, plus complexe que les modèles d'Elman et Jordan, mais bien moins que LSTM et GRU, est non seulement plus efficace qu'eux, mais qu'elle fait aussi jeu égal avec des modèles CRF plus sophistiqués. ABSTRACT. Recurrent Neural Networks have proved effective on several NLP tasks. Despite such great success, their ability to model sequence labeling is still limited. This lead research toward solutions where RNNs are combined with models successfully employed in this context, like CRFs. In this work we propose a simpler solution: an evolution of the Jordan RNN, where labels are reinjected as input into the network and converted into embeddings, the same way as words. We compare this variant to all the other RNN models, Elman, Jordan, LSTM and GRU, on two tasks of Spoken Language Understanding. Results show that the new variant, which is more complex than Elman and Jordan RNNs, but far less than LSTM and GRU, is more effective than other RNNs and outperforms sophisticated CRF models.
Complete list of metadata

Cited literature [26 references]  Display  Hide  Download

https://hal.archives-ouvertes.fr/hal-01579114
Contributor : Marco Dinarelli <>
Submitted on : Wednesday, August 30, 2017 - 2:34:20 PM
Last modification on : Tuesday, January 5, 2021 - 5:28:07 PM

File

2017_TAL_NewRNN.pdf
Publisher files allowed on an open archive

Identifiers

  • HAL Id : hal-01579114, version 1

Collections

Citation

Marco Dinarelli, Yoann Dupont. Modélisation de dépendances entre étiquettes dans les réseaux neuronaux récurrents. Traitement Automatique des Langues, ATALA, 2017, 58 (1). ⟨hal-01579114⟩

Share

Metrics

Record views

296

Files downloads

1156