Amélioration continue d'une chaîne de traitement de documents avec l'apprentissage par renforcement
Résumé
Nous modélisons une chaîne de traitement de documents comme un processus de déci-sion markovien, et nous utilisons l'apprentissage par renforcement afin de permettre à l'agent d'apprendre à construire des chaînes adaptées à la volée, et de les améliorer en continu. Nous construisons une plateforme qui nous permet de mesurer l'impact sur l'apprentissage de divers modèles, services web, algorithmes, paramètres, etc. Nous l'appliquons dans un contexte indus-triel, spécifiquement à une chaîne visant à extraire des événements dans des volumes massifs de documents provenant de pages web et d'autres sources ouvertes. Nous visons à réduire la charge des analystes humains, l'agent apprenant à améliorer la chaîne, guidé par leurs retours (feedback) sur les événements extraits. Pour ceci, nous explorons des types de retours différents, d'un feedback numérique requérant un important calibrage, à un feedback qualitatif, beaucoup plus intuitif et demandant peu, voire pas du tout, de calibrage. Nous menons des expériences, d'abord avec un feedback numérique, puis nous montrons qu'un feedback qualitatif permet tou-jours à l'agent d'apprendre efficacement. ABSTRACT. We model a document treatment chain as a Markov Decision Process, and use reinforcement learning to allow the agent to learn to construct and continuously improve custom-made chains " on the fly ". We build a platform which enables us to measure the impact on the. Cet article est une version étendue d'un article présenté aux 26es Journées francophones d'Ingénierie des Connaissances Nicart et al. (2015).