Multimodal approach for mathematical expressions recognition. Audio and online handwriting modalities collaboration
Approches multimodales pour la reconnaissance d’expressions mathématiques
Résumé
In this paper, we report some results related to mathematical expression recognition. We tackle this problem, known to be very difficult, using multimodal information –handwriting and speech–. This bimodality aspect of the information provides greater reliability since the modalities in concern are very complementary. We present a complete operating system in which the fusion process is done in every step of the mathematical expression recognition process (symbol identification, relation identification and interpretation). The bimodal system is evaluated on real bimodal data from the HAMEX dataset and the obtained results are compared to a single modality (handwriting) based system.
Dans cet article, nous présentons un système original de reconnaissance d’expressions mathématiques dans un cadre bimodal. En disposant à la fois du signal de la parole, correspondant à la dictée de l’expression, et du signal manuscrit, correspondant à son écriture manuscrite en-ligne, nous proposons une architecture permettant de combiner ces deux modalités. Nous avons pu mesurer sur la base bimodale HAMEX, les performances respectives des systèmes mono ou multimodalités, et quantifier la désambiguïsation atteinte grâce à la complémentarité des deux sources d’information.