Skip to Main content Skip to Navigation
New interface
Conference papers

Defining And Detecting Inconsistent System Behavior in Task-oriented Dialogues

Résumé : Définition et détection des incohérences du système dans les dialogues orientés tâche. Nous présentons des expériences sur la détection automatique des comportements incohérents des systèmes de dialogues orientés tâche à partir du contexte. Nous enrichissons les données bAbI/DSTC2 (Bordes et al., 2017) avec une annotation automatique des incohérences de dialogue, et nous démontrons que les incohérences sont en corrélation avec les dialogues ratés. Nous supposons que l’utilisation d’un historique de dialogue limité et la prédiction du prochain tour de l’utilisateur peuvent améliorer la classification des incohérences. Si les deux hypothèses sont confirmées pour un modèle de dialogue basé sur les réseaux de mémoire, elles ne le sont pas pour un entraînement basé sur le modèle de langage GPT-2, qui bénéficie le plus de l’utilisation de l’historique complet du dialogue et obtient un score de précision de 0,99.
Document type :
Conference papers
Complete list of metadata

https://hal.archives-ouvertes.fr/hal-03265892
Contributor : Yannick Parmentier Connect in order to contact the contributor
Submitted on : Wednesday, June 23, 2021 - 11:43:58 PM
Last modification on : Friday, August 5, 2022 - 9:27:27 AM
Long-term archiving on: : Friday, September 24, 2021 - 7:12:10 PM

File

32.pdf
Publisher files allowed on an open archive

Identifiers

  • HAL Id : hal-03265892, version 1

Citation

Léon-Paul Schaub, Vojtech Hudecek, Daniel Stancl, Ondrej Dusek, Patrick Paroubek. Defining And Detecting Inconsistent System Behavior in Task-oriented Dialogues. Traitement Automatique des Langues Naturelles, 2021, Lille, France. pp.142-152. ⟨hal-03265892⟩

Share

Metrics

Record views

83

Files downloads

261