Évaluation de l'adaptation par renforcement d'un générateur en langage naturel neuronal pour le dialogue homme-machine
Résumé
Evaluation of the reinforcement adaptation of a neural natural language generation system for human-machine dialogue. Traditional systems for natural language generation in spoken dialogue systems use patterns and rules to generate system answers. Recently, systems based on recurrent neural network models have been proposed (Wen et al., 2016a). Those systems require a large amount of data to be learned, which can be difficult to collect and annotate. Therefore we proposed a framework to adapt the NLG module online through direct interactions with the users (Riou et al., 2017). In this paper, we study the practical interest of the approach with real data collected as automatic speech recognition of users' suggestions and having humans assessing the system's outputs.
Jusqu'à récemment, la génération en langage naturel dans les systèmes de dialogue utilisait des systèmes à base de règles et de patrons, mais de nouveaux modèles à base de réseaux de neurones récurrents ont été proposés (Wen et al., 2016a). Cependant ces modèles nécessitent une grande quantité de données d'apprentissage qui peuvent être compliquées à collecter et à annoter. Pour répondre à cette problématique, nous avons proposé un protocole d'apprentissage en ligne utilisant un algorithme de bandit contre un adversaire, permettant d'améliorer l'utilisation d'un modèle initial appris sur un corpus plus restreint généré par patrons (Riou et al., 2017). Dans cet article, nous étudions l'intérêt pratique de notre approche en utilisant des données réelles obtenues par reconnaissance automatique de la parole des propositions des utilisateurs et en faisant évaluer les sorties du système par des humains.
Origine : Fichiers produits par l'(les) auteur(s)
Loading...