Présentation de la campagne d'évaluation DEFT 2020 : similarité textuelle en domaine ouvert et extraction d'information précise dans des cas cliniques

Rémi Cardon (1) , Natalia Grabar (1) , Cyril Grouin (2) , Thierry Hamon (2, 3)

1 STL - Savoirs, Textes, Langage (STL) - UMR 8163
2 LIMSI - Laboratoire d'Informatique pour la Mécanique et les Sciences de l'Ingénieur
3 Université Sorbonne Paris Nord

L'édition 2020 du défi fouille de texte (DEFT) a proposé deux tâches autour de la similarité textuelle et une tâche d'extraction d'information. La première tâche vise à identifier le degré de similarité entre paires de phrases sur une échelle de 0 (le moins similaire) à 5 (le plus similaire). Les résultats varient de 0,65 à 0,82 d'EDRM. La deuxième tâche consiste à déterminer la phrase la plus proche d'une phrase source parmi trois phrases cibles fournies, avec des résultats très élevés, variant de 0,94 à 0,99 de précision. Ces deux tâches reposent sur un corpus du domaine général et de santé. La troisième tâche propose d'extraire dix catégories d'informations du domaine médical depuis le corpus de cas cliniques de DEFT 2019. Les résultats varient de 0,07 à 0,66 de F-mesure globale pour la sous-tâche des pathologies et signes ou symptômes, et de 0,14 à 0,76 pour la sous-tâche sur huit catégories médicales. Les méthodes utilisées reposent sur des CRF et des réseaux de neurones.

Mots clés: Information Extraction; Textual Similarity Atelier DÉfi Fouille de Textes; Cas cliniques; extraction d'information; similarité textuelle Clinical Cases

Domaines: Informatique [cs]; Sciences de l'Homme et Société

Rémi Cardon, Natalia Grabar, Cyril Grouin, Thierry Hamon. Présentation de la campagne d'évaluation DEFT 2020 : similarité textuelle en domaine ouvert et extraction d'information précise dans des cas cliniques. DEFT 2020, Jun 2020, Nancy, France. ⟨hal-03095262⟩