Industrial image processing and deep neural networks

Vision industrielle et réseaux de neurones profonds: Application au dévracage de pièces plastiques industrielles

Julien Langlois (1, 2)

1 LS2N - Laboratoire des Sciences du Numérique de Nantes
2 LS2N - équipe IPI - Image Perception Interaction

This work presents a pose estimation method from a RGB image of industrial parts placed in a bin. In a first time, neural networks are used to segment a certain number of parts in the scene. After applying an object mask to the original image, a second network is inferring the local depth of the part. Both the local pixel coordinates of the part and the local depth are used in two networks estimating the orientation of the object as a quaternion and its translation on the Z axis. Finally, a registration module working on the back-projected local depth and the 3D model of the part is refining the pose inferred from the previous networks. To deal with the lack of annotated real images in an industrial context, an data generation process is proposed. By using various light parameters, the dataset versatility allows to anticipate multiple challenging exploitation scenarios within an industrial environment.

Ces travaux de thèse présentent une méthode d’estimation de pose de pièces industrielles en vue de leur dévracage à partir d’un système mono-caméra 2D en utilisant une approche par apprentissage avec des réseaux profonds. Dans un premier temps, des réseaux de neurones assurent la segmentation d’un nombre prédéterminé de pièces dans la scène. En appliquant le masque binaire d’une pièce à l’image originale, un second réseau infère la profondeur locale de cet objet. En parallèle des coordonnées de la pièce dans l’image, cette profondeur est employée dans deux réseaux estimant à la fois l’orientation de l’objet sous la forme d’un quaternion et sa translation sur l’axe Z. Enfin, un module de recalage travaillant sur la rétro-projection de la profondeur et le modèle 3D de l’objet, permet d’affiner la pose prédite par les réseaux. Afin de pallier le manque de données réelles annotées dans un contexte industriel, un processus de création de données synthétiques est proposé. En effectuant des rendus aux multiples luminosités, la versatilité du jeu de données permet d’anticiper les différentes conditions hostiles d’exploitation du réseau dans un environnement de production.

Mots clés: Machine learning; pose estimation; rendered data

Mots clés: Apprentissage automatique; estimation de pose; données synthétiques

Domaines: Traitement des images [eess.IV]; Réseau de neurones [cs.NE]; Apprentissage [cs.LG]

Julien Langlois. Vision industrielle et réseaux de neurones profonds: Application au dévracage de pièces plastiques industrielles. Traitement des images [eess.IV]. Université de Nantes, 2019. Français. ⟨NNT : ⟩. ⟨tel-02925143⟩