New Architectures for Handwritten Mathematical Expressions Recognition

Ting Zhang 1, 2
Résumé : Véritable challenge scientifique, la reconnaissance d’expressions mathématiques manuscrites est un champ très attractif de la reconnaissance des formes débouchant sur des applications pratiques innovantes. En effet, le grand nombre de symboles (plus de 100) utilisés ainsi que la structure en 2 dimensions des expressions augmentent la difficulté de leur reconnaissance. Dans cette thèse, nous nous intéressons à la reconnaissance des expressions mathématiques manuscrites en-ligne en utilisant de façon innovante les réseaux de neurones récurrents profonds BLSTM avec CTC pour construire un système d’analyse basé sur la construction de graphes. Nous avons donc étendu la structure linéaire des BLSTM à des structures d’arbres (Tree-Based BLSTM) permettant de couvrir les 2 dimensions du langage. Nous avons aussi proposé d’ajouter des contraintes de localisation dans la couche CTC pour adapter les décisions du réseau à l’échelle des traits de l’écriture, permettant une modélisation et une évaluation robustes. Le système proposé construit un graphe à partir des traits du tracé à reconnaître et de leurs relations spatiales. Plusieurs arbres sont dérivés de ce graphe puis étiquetés par notre Tree-Based BLSTM. Les arbres obtenus sont ensuite fusionnés pour construire un SLG (graphe étiqueté de traits) modélisant une expression 2D. Une différence majeure par rapport aux systèmes traditionnels est l’absence des étapes explicites de segmentation et reconnaissance des symboles isolés puis d’analyse de leurs relations spatiales, notre approche produit directement un graphe SLG. Notre système sans grammaire obtient des résultats comparables aux systèmes spécialisés de l’état de l’art.
Liste complète des métadonnées

Littérature citée [89 références]  Voir  Masquer  Télécharger

https://hal.archives-ouvertes.fr/tel-01754478
Contributeur : Harold Mouchère <>
Soumis le : vendredi 30 mars 2018 - 09:50:38
Dernière modification le : jeudi 19 avril 2018 - 11:46:05

Fichier

New Architectures for Handwrit...
Fichiers produits par l'(les) auteur(s)

Identifiants

  • HAL Id : tel-01754478, version 1

Collections

Citation

Ting Zhang. New Architectures for Handwritten Mathematical Expressions Recognition. Image Processing. Université de nantes, 2017. English. 〈tel-01754478〉

Partager

Métriques

Consultations de la notice

339

Téléchargements de fichiers

294