On the Production of Semantic and Textured 3D Meshes of Large scale Urban Environments from Mobile Mapping Images and LiDAR scans

Mohamed Boussaha (1) , Eduardo Fernandez-Moral (2) , Bruno Vallet (1) , Patrick Rives (2)

1 LaSTIG - Laboratoire des Sciences et Technologies de l'Information Géographique
2 Lagadic - Visual servoing in robotics, computer vision, and augmented reality

Dans cet article nous présentons un cadre entièrement au-tomatique pour la reconstruction d'un maillage, sa textu-ration et sa sémantisation à large échelle à partir de scans LiDAR et d'images orientées de scènes urbaines collectés par une plateforme de cartographie mobile terrestre. Tout d'abord, les points et les images georéferencés sont dé-coupés temporellement pour assurer une cohèrence entre la geométrie (les points) et la photométrie (les images). Ensuite, une reconstruction de surface 3D simple et ra-pide basée sur la topologie d'acquisition du capteur est effectuée sur chaque segment après un rééchantillonnage du nuage de points obtenu à partir des balayages LiDAR. L'algorithme de [31] est par la suite adapté pour texturer la surface reconstruite avec les images acquises simultané-ment assurant une texture de haute qualité et un ajustement photométrique global. Enfin, en se basant sur le schéma de texturation, une sémantisation par texel est appliquée sur le modèle final. Mots Clef scène urbaine, cartographie mobile, LiDAR, reconstruction de surface, texturation, sémantisation, apprentissage pro-fond. Abstract In this paper we present a fully automatic framework for the reconstruction of a 3D mesh, its texture mapping and its semantization using oriented images and LiDAR scans acquired in a large urban area by a terrestrial Mobile Mapping System (MMS). First, the acquired points and images are sliced into temporal chunks ensuring a reasonable size and time consistency between geometry (points) and pho-tometry (images). Then, a simple and fast 3D surface reconstruction relying on the sensor space topology is performed on each chunk after an isotropic sampling of the point cloud obtained from the raw LiDAR scans. The method of [31] is subsequently adapted to texture the reconstructed surface with the images acquired simultaneously, ensuring a high quality texture and global color adjustment. Finally, based on the texturing scheme a per-texel semantization is conducted on the final model.

Mots clés: urban scene; mobile mapping; LiDAR; surface reconstruc- tion; texturing; semantization; deep learning

Domaines: Vision par ordinateur et reconnaissance de formes [cs.CV]

Mohamed Boussaha, Eduardo Fernandez-Moral, Bruno Vallet, Patrick Rives. On the Production of Semantic and Textured 3D Meshes of Large scale Urban Environments from Mobile Mapping Images and LiDAR scans. RFIAP 2018, Reconnaissance des Formes, Image, Apprentissage et Perception, Jun 2018, Marne la Vallée, France. ⟨hal-02552591⟩