Curriculum d'apprentissage : reconnaissance d'entités nommées pour l'extraction de concepts sémantiques

Antoine Caubrière (1) , Natalia Tomashenko (2) , Yannick Estève (2) , Antoine Laurent (1) , Emmanuel Morin (3, 4)

1 LIUM - Laboratoire d'Informatique de l'Université du Mans
2 LIA - Laboratoire Informatique d'Avignon
3 LS2N - Laboratoire des Sciences du Numérique de Nantes
4 LS2N - équipe TALN - Traitement Automatique du Langage Naturel

Dans cet article, nous présentons une approche de bout en bout d'extraction de concepts sémantiques de la parole. En particulier, nous mettons en avant l'apport d'une chaîne d'apprentissage successif pilotée par une stratégie de curriculum d'apprentissage. Dans la chaîne d'apprentissage mise en place, nous exploitons des données françaises annotées en entités nommées que nous supposons être des concepts plus génériques que les concepts sémantiques liés à une application informatique spécifique. Dans cette étude, il s'agit d'extraire des concepts sémantiques dans le cadre de la tâche MEDIA. Pour renforcer le système proposé, nous exploitons aussi des stratégies d'augmentation de données, un modèle de langage 5-gramme, ainsi qu'un mode étoile aidant le système à se concentrer sur les concepts et leurs valeurs lors de l'apprentissage. Les résultats montrent un intérêt à l'utilisation des données d'entités nommées, permettant un gain relatif allant jusqu'à 6,5 %. ABSTRACT Curriculum learning : named entity recognition for semantic concept extraction In this paper, we present an end-to-end approach for semantic concept extraction from speech. In particular, we highlight the contribution of a successive learning chain driven by a curriculum learning strategy. In the learning chain, we use French data with named entity annotations that we assume are more generic concepts than semantic concept related to a specific computer application. In this study, the aim is to extract semantic concept as part of the MEDIA task. To improve the proposed system, we also use data augmentation, 5-gram langage model and a star mode to help the system focus on concepts and their values during the training. Results show an interest in using named entity data, allowing a relative gain up to 6.5%. MOTS-CLÉS : Curriculum d'apprentissage, transfert d'apprentissage, bout en bout, extraction de concepts sémantiques, entités nommées.

Mots clés: transfer learning; Curriculum learning; end-to-end; semantic concept extraction; named entity

Domaines: Intelligence artificielle [cs.AI]; Réseau de neurones [cs.NE]; Apprentissage [cs.LG]; Autre [cs.OH]

Antoine Caubrière, Natalia Tomashenko, Yannick Estève, Antoine Laurent, Emmanuel Morin. Curriculum d'apprentissage : reconnaissance d'entités nommées pour l'extraction de concepts sémantiques. 26e conférence sur le Traitement Automatique des Langues Naturelles (TALN), Jul 2019, Toulouse, France. ⟨hal-02304614⟩