Hybrid Neural Models For Sequence Modelling: The Best Of Three Worlds
Modèles neuronaux hybrides pour la modélisation de séquences : le mieux de trois mondes
Résumé
We propose a neural architecture with the main characteristics of the most successful neural models of the last years : bidirectional RNNs, encoder-decoder, and the Transformer model. Evaluation on three sequence labelling tasks yields results that are close to the state-of-the-art for all tasks and better than it for some of them, showing the pertinence of this hybrid architecture for this kind of tasks.
Nous proposons une architecture neuronale avec les caractéristiques principales des modèles neuronaux de ces dernières années : les réseaux neuronaux récurrents bidirectionnels, les modèles encodeurdecodeur, et le modèle Trasformer. Nous évaluons nos modèles sur trois tâches d’étiquettage de séquence. Les résultats sont souvent meilleurs que l’état-de-l’art, et dans tous les cas nous permettent de conclure que cette architecture hybride a tout son interêt parmi les modèles neuronaux.
Origine : Fichiers produits par l'(les) auteur(s)
Loading...