An end-to-end domain adapter learning with cycle-consistent generative adversarial networks
Un apprentissage de bout-en-bout d'adaptateur de domaine avec des réseaux antagonistes génératifs de cycles consistants
Résumé
Modern computer vision systems are dominated by deep learning models. These models demonstrate good performance and robustness under training conditions(often in overcast daytime conditions), but performance degrades rapidly and often catastrophically when the input domain changes (night, snow, etc.). Porav et al proposes a domain adaptation technique using U-Net network. This adapters network that take the input image of a sub-optimal condition and generate a representation optimized for image segmentation. Training such adapters requires first training a GAN model to to translate an image from daytime condition to another condition (snow, night...) the result of this translation will be used as a ground truth of the adapter. However, this translation is not perfect, leading the adapter to train with false labels. In order to cope with the training with false labels, This work proposes to train the adapter jointly with GAN inend-to-end. The adapter training will provide an additional constraint to preserve semantic information during translation. An improvement is reported on semantic segmentation for the RobotCar dataset.
Les systèmes modernes de vision par ordinateur sont dominés par des modèles d’apprentissage profond. Ces modèles démontrent de bonnes performances et une bonne robustesse dans les conditions d’entraînement (souvent par temps couvert le jour). Mais les performances se dégradent rapidement et souvent de façon catastrophique lorsque le domaine d’entrée change (nuit, neige, etc.). Porav et al propose une technique d’adaptation de domaine utilisant un réseau U-Net. Ce réseau adaptateur prend l’image d’entrée d’une condition sous-optimale et génère une représentation optimisée pour la segmentation. L’entraînement d’un tel adaptateur nécessite d’abord d’entraîner un GAN pour faire le transfert de condition d’une image de jour à une autre condition( neige, nuit ..). Le résultat de cette translation servira comme vérité-terrain pour l’adaptateur. Cependent, cette translation n’est pas parfaite, conduisant l’adaptateur à s’entraîner avec de fausses étiquettes. Afin de faire face à l’entraînement avec fausses étiquettes, ce travail propose de faire un entraînement de bout-en-bout de l’adaptateur conjointement avec le modèle GAN. L’entraînement de l’adaptateur apportera une contrainte supplémentaire pour conserver les informations sémantiques pendant la translation. Une amélioration de la segmentation sémantique est rapportée pour les données RobotCar.
Origine : Fichiers produits par l'(les) auteur(s)