Abstraction ou hallucination ? État des lieux et évaluation du risque pour les modèles de génération de résumés automatiques de type séquence-à-séquence - Archive ouverte HAL Accéder directement au contenu
Communication Dans Un Congrès Année : 2022

Abstraction ou hallucination ? État des lieux et évaluation du risque pour les modèles de génération de résumés automatiques de type séquence-à-séquence

Résumé

La génération de texte a récemment connu un très fort intérêt au vu des avancées notables dans le domaine des modèles de langage neuronaux. Malgré ces avancées, cette tâche reste difficile quand il s’agit d’un résumé automatique de texte par abstraction. Certains systèmes de résumés génèrent des textes qui ne sont pas forcément fidèles au document source. C’est sur cette thématique que porte notre étude. Nous présentons une typologie d’erreurs pour les résumés automatique et ainsi qu’une caractérisation du phénomène de l’abstraction pour les résumés de référence afin de mieux comprendre l’ampleur de ces différents phénomènes sur les entités nommées. Nous proposons également une mesure d’évaluation du risque d’erreur lorsqu’un système tente de faire des abstractions sur les entités nommées d’un document.
Fichier principal
Vignette du fichier
6760.pdf (135.58 Ko) Télécharger le fichier
Origine : Fichiers éditeurs autorisés sur une archive ouverte

Dates et versions

hal-03701510 , version 1 (24-06-2022)
hal-03701510 , version 2 (14-11-2022)

Identifiants

  • HAL Id : hal-03701510 , version 1

Citer

Eunice Akani, Benoit Favre, Frederic Bechet. Abstraction ou hallucination ? État des lieux et évaluation du risque pour les modèles de génération de résumés automatiques de type séquence-à-séquence. Traitement Automatique des Langues Naturelles (TALN 2022), Jun 2022, Avignon, France. pp.2-11. ⟨hal-03701510v1⟩
252 Consultations
55 Téléchargements

Partager

Gmail Facebook X LinkedIn More