On Video Completion: Line Scratch Detection in Films and Video Inpainting of Complex Scenes
Sur la Restauration et l'Edition de Vidéo : Détection de Rayures et Inpainting de Scènes Complexes
Résumé
The inevitable degradation of visual content such as images and films leads to the goal of
image and video restoration. In this thesis, we look at two specific restoration problems : the detection of
line scratches in old films and the automatic completion of videos, or video inpainting as it is also known.
Line scratches are caused when the film physically rubs against a mechanical part. This origin results
in the specific characteristics of the defect, such as verticality and temporal persistence. We propose a
detection algorithm based on the statistical approach known as a contrario methods. We also propose
a temporal filtering step to remove false alarms present in the first detection step. Comparisons with
previous work show improved recall and precision, and robustness with respect to the presence of noise
and clutter in the film.
The second part of the thesis concerns video inpainting. We propose an algorithm based on the
minimisation of a patch-based functional of the video content. In this framework, we address the following
problems : extremely high execution times, the correct handling of textures in the video and inpainting
with moving cameras. We also address some convergence issues in a very simplified inpainting context.
La degradation inévitable des contenus visuels (images, films) conduit nécessairement
à la tâche de la restauration des images et des vidéos. Dans cetre thèse, nous nous intéresserons à
deux sous-problèmes de restauration : la détection des rayures dans les vieux films, et le remplissage
automatique des vidéos (“inpainting vidéo en anglais).
En général, les rayures sont dues aux frottements de la pellicule du film avec un objet lors de la
projection du film. Les origines physiques de ce défaut lui donnent des caractéristiques très particuliers.
Les rayures sont des lignes plus ou moins verticales qui peuvent être blanches ou noires (ou parfois en
couleur) et qui sont temporellement persistantes, c’est-à-dire qu’elles ont une position qui est continue
dans le temps. Afin de détecter ces défauts, nous proposons d’abord un algorithme de détection basé
sur un ensemble d’approches statistiques appelées les méthodes a contrario. Cet algorithme fournit
une détection précise et robuste aux bruits et aux textures présentes dans l’image. Nous proposons
également une étape de filtrage temporel afin d’écarter les fausses alarmes de la première étape de
détection. Celle-ci améliore la précision de l’algorithme en analysant le mouvement des détections spatiales.
L’ensemble de l’algorithme (détection spatiale et filtrage temporel) est comparé à des approches
de la littérature et montre un rappel et une précision grandement améliorés.
La deuxième partie de cette thèse est consacrée à l’inpainting vidéo. Le but ici est de remplir
une région d’une vidéo avec un contenu qui semble visuellement cohérent et convaincant. Il existe
une pléthore de méthodes qui traite ce problème dans le cas des images. La littérature dans le cas
des vidéos est plus restreinte, notamment car le temps d’exécution représente un véritable obstacle.
Nous proposons un algorithme d’inpainting vidéo qui vise l’optimisation d’une fonctionnelle d’énergie
qui intègre la notion de patchs, c’est-à-dire des petits cubes de contenu vidéo. Nous traitons d’abord le
probl’‘eme du temps d’exécution avant d’attaquer celui de l’inpainting satisfaisant des textures dans les
vidéos. Nous traitons également le cas des vidéos dont le fond est en mouvement ou qui ont été prises
avec des caméras en mouvement. Enfin, nous nous intéressons à certaines questions de convergence
de l’algorithme dans des cas très simplifiés.
Loading...