Defining And Detecting Inconsistent System Behavior in Task-oriented Dialogues

Définition et détection des incohérences du système dans les dialogues orientés tâche.

Léon-Paul Schaub (1) , Vojtech Hudecek (2) , Daniel Stancl (3) , Ondrej Dusek (4) , Patrick Paroubek (1)

1 LISN - Laboratoire Interdisciplinaire des Sciences du Numérique
2 UFAL-CUNI
3 CUNI
4 UFAL - CUNI

Définition et détection des incohérences du système dans les dialogues orientés tâche. Nous présentons des expériences sur la détection automatique des comportements incohérents des systèmes de dialogues orientés tâche à partir du contexte. Nous enrichissons les données bAbI/DSTC2 (Bordes et al., 2017) avec une annotation automatique des incohérences de dialogue, et nous démontrons que les incohérences sont en corrélation avec les dialogues ratés. Nous supposons que l’utilisation d’un historique de dialogue limité et la prédiction du prochain tour de l’utilisateur peuvent améliorer la classification des incohérences. Si les deux hypothèses sont confirmées pour un modèle de dialogue basé sur les réseaux de mémoire, elles ne le sont pas pour un entraînement basé sur le modèle de langage GPT-2, qui bénéficie le plus de l’utilisation de l’historique complet du dialogue et obtient un score de précision de 0,99.

Keywords: modèle utilisateur; incohérences; système de dialogue orienté-tâche; apprentissage automatique.

Domains: Computation and Language [cs.CL]

Léon-Paul Schaub, Vojtech Hudecek, Daniel Stancl, Ondrej Dusek, Patrick Paroubek. Defining And Detecting Inconsistent System Behavior in Task-oriented Dialogues. Traitement Automatique des Langues Naturelles, 2021, Lille, France. pp.142-152. ⟨hal-03265892⟩