Apprentissage de modalités auxiliaires pour la localisation basée vision
Résumé
In this paper we present a new training with side modality framework to enhance image-based localization. In order to learn side modality information, we train a fully convo-lutional decoder network that transfers meaningful information from one modality to another. We validate our approach on a challenging urban dataset. Experiments show that our system is able to enhance a purely image-based system by properly learning appearance of a side modality. Compared to state-of-the-art methods, the proposed network is lighter and faster to train, while producing comparable results.
Dans cet article nous présentons une nouvelle méthode d'apprentissage à partir de modalités auxiliaires pour améliorer un système de localisation basée vision. Afin de bénéficier des informations de modalités auxiliaires disponibles pendant l'apprentissage, nous entraînons un réseau convolutif à recréer l'apparence de ces modalités annexes. Nous validons notre approche en l'appliquant à un problème de description d'images pour la localisation. Les résultats obtenus montrent que notre système est capable d'améliorer un descripteur d'images en apprenant correctement l'apparence d'une modalité annexe. Comparé à l'état de l'art, le réseau présenté permet d'obtenir des résultats de localisation comparables, tout en étant plus compacte et plus simple à entraîner.
Origine : Fichiers produits par l'(les) auteur(s)