Evaluation modulaire d'un système de questions-réponses sur un corpus de questions semi-spontanées
Résumé
RÉSUMÉ. Cet article présente une évaluation séquentielle du système de questions-réponses modulaire et stochastique SQuALIA. L'évaluation se fonde sur un corpus de question semi-spontanées obtenu en faisant poser 20 questions de référence à des adultes francophones, non francophones ou dyslexiques. Les expériences montrent que ce sont les fautes d'orthographe qui ont le plus d'impact sur les modules d'analyse. En moyenne le système parvient à ne trouver des réponses qu'à 60% des questions posées, ce qui conduit à imaginer l'intégration d'un correc-teur orthographique en amont des systèmes, plus de souplesse dans l'analyse, et la conservation de l'incertitude tout au long du processus en le formalisant à l'aide d'un modèle probabiliste. ABSTRACT. This paper introduces the sequential evaluation of SQuALIA question answering system , a stochastic and modular question answering system. The evaluation is based on a half-spontaneously asked questions corpus. This corpus has been constructed by making french native, non native or dyslexic spellers type 20 reference questions. The results show that ortho-graphic mistakes are the most harmful. The average good answering rate is 60% over all users. This low performance leads to new proposal such as integrating a spell checker before processing questions, propose several answer types to questions with an uncertainty degree, and keeping this uncertainty during the process, which can be defined in a probabilistic framework.