Dernières évolutions de SQuaLIA, le système de Questions/Réponses du LIA

Laurent Gillard (1) , Laurianne Sitbon (1) , Patrice Bellot (1) , Marc El Bèze (1)

1 LIA - Laboratoire Informatique d'Avignon

RÉSUMÉ. Cet article présente le système de Questions/Réponses (sQR) du LIA, ses composants internes (catégorisation des questions, recherche de passages, extraction des réponses) ainsi que les points d'appui en amont des traitements, comme les bases de connaissances ou la prédiction de la capacité à répondre. Tous ces aspects sont observés au travers des performances obtenues lors des campagnes d'évaluation qui permettent d'établir un diagnostic des besoins d'amélioration et d'adaptation des systèmes. L'analyse des résultats intermédiaires des modules de notre sQR, depuis les données de la campagne EQueR, permet d'étudier l'influence de l'utilisation de scores de densité pour la recherche de passage ou de scores de compacité pour l'extraction des réponses. Les bases de connaissances prennent en charge des questions fréquentes et permettent d'apporter une crédibilité supplémentaire à certaines réponses. Enfin, un apprentissage automatique des caractéristiques des questions auxquelles le système a pu répondre lors de la campagne EQueR permet de prédire dans plus de 70% des cas si le système est capable de répondre à une question donnée. ABSTRACT. This paper introduces our Question Answering System. Evaluation campaigns such as TREC or EQueR helped us to better analyse the effects of various features on the main components, and lead us to propose new ones, as density for passages detection or compacity for answer extraction. The framework of the evaluation campaigns gives us some restrictions concerning the questions forms and focus. Some frequent questions may be answered with knowledge bases. In the particular context of evaluation campaigns, it can only validate candidate answers. From our participation at EQueR, we also studies if our system can predict its ability to answer to questions. With a machine learning algorithm using questions features, we show that we can predict with 70% of certainty if the system will be able to answer. MOTS-CLÉS : système de Questions Réponses, Questions Réponses, EQueR, évaluation d'un système de Questions Réponses, densité, compacité, bases de connaissances, prédiction, prédiction de la difficulté d'une question.

Mots clés: question answering system; question answering; EQueR; question answering evaluation; density measures; knowledge bases; query difficulty prediction

Domaines: Informatique [cs]

Laurent Gillard, Laurianne Sitbon, Patrice Bellot, Marc El Bèze. Dernières évolutions de SQuaLIA, le système de Questions/Réponses du LIA. TALN 2006, Jun 2006, Louvain, Belgique. ⟨hal-01317220⟩