Self-supervised training for blind multi-frame video denoising

Entraînement auto-supervisé pour débruitage aveuble de video

Valéry Dewil (1) , Jérémy Anger (1) , Axel Davy (1) , Thibaud Ehret (1) , Gabriele Facciolo (2, 1) , Pablo Arias (1)

1 CB - CB - Centre Borelli - UMR 9010
2 Departament de Tecnologies de la Informació i les Comunicacions

We propose a self-supervised approach for training multi-frame video denoising networks. These networks predict each frame from a stack of frames around it. Our selfsupervised approach benefits from the temporal consistency in the video by minimizing a loss that penalizes the difference between the predicted frame and a neighboring one, after aligning them using an optical flow. We use the proposed strategy to denoise a video contaminated with an unknown noise type, by fine-tuning a pre-trained denoising network on the noisy video. The proposed fine-tuning reaches and sometimes surpasses the performance of stateof-the-art networks trained with supervision. We demonstrate this by showing extensive results on video blind denoising of different synthetic and real noises. In addition, the proposed fine-tuning can be applied to any parameter that controls the denoising performance of the network. We show how this can be expoited to perform joint denoising and noise level estimation for heteroscedastic noise.

Nous proposons une approche auto-supervisée pour l'entraînement fin de réseaux de neurones de débruitages de vidéo. Ces réseaux de neurones prédisent chaque image à partir d'un ensemble d'images proches temporellement. Notre approche auto-supervisée bénéficie de la consistance temporelle au sein d'une vidéo en minimisant une fonction de perte qui pénalise la différence entre l'estimation débruitée de l'image au temps t et une image voisine (temporellement), après les avoir alignés en utilisant un flot optique. Nous utilisons cette stratégie pour débruiter une vidéo bruitée avec un bruit inconnu, en appliquant un entraînement fin aux poids d'un réseau préalablement entraîné de manière supervisée. Nous le montrons par plusieurs résultats de débruitages vidéo à l'aveugle avec différentes réalisations de bruit synthétique et de bruit réel. En outre, l'entraînement fin ici proposé peut être appliqué à n'importe quel paramètre contrôlant les perfomances de débruitage du réseau. Nous montrons comment ceci peut-être exploité pour réaliser conjointement le débruitage et l'estimation du niveau de bruit dans le cas de bruit hétéroscédastique.

Domaines: Traitement du signal et de l'image [eess.SP]; Réseau de neurones [cs.NE]; Vision par ordinateur et reconnaissance de formes [cs.CV]; Mathématique discrète [cs.DM]

Valéry Dewil, Jérémy Anger, Axel Davy, Thibaud Ehret, Gabriele Facciolo, et al.. Self-supervised training for blind multi-frame video denoising. WACV 2021 - Winter Conference on Applications of Computer Vision, Jan 2021, Waikoloa (Hawaï) (virtual), United States. ⟨10.1109/WACV48630.2021.00277⟩. ⟨hal-03189158⟩