Towards model-based flexible and adaptive image forensics
Vers une approche basée modèle-image flexible et adaptative en criminalistique des images
Résumé
Images are nowadays a standard and mature medium of communication. They appear in our day to day life and therefore they are subject to concerns
about security. In this work, we study different methods to assess the integrity of images. Because of a context of high volume and versatility of tampering techniques and image sources, our work is driven by the necessity to develop flexible methods to adapt the diversity of images.
We first focus on manipulations detection through statistical modeling of the images. Manipulations are elementary operations such as blurring,
noise addition, or compression. In this context, we are more precisely interested in the effects of pre-processing. Because of storage
limitation or other reasons, images can be resized or compressed just after their capture. Addition of a manipulation would then be applied on an
already pre-processed image. We show that a pre-resizing of test data induces a drop of performance for detectors trained on full-sized images.
Based on these observations, we introduce two methods to counterbalance this performance loss for a pipeline of classification based on
Gaussian Mixture Models. This pipeline models the local statistics, on patches, of natural images. It allows us to propose adaptation of the
models driven by the changes in local statistics. Our first method of adaptation is fully unsupervised while the second one, only requiring a few
labels, is weakly supervised. Thus, our methods are flexible to adapt versatility of source of images.
Then we move to falsification detection and more precisely to copy-move identification. Copy-move is one of the most common image tampering technique. A source area is copied into a target area within the same image. The vast majority of existing detectors identify indifferently the two zones
(source and target). In an operational scenario, only the target area represents a tampering area and is thus an area of interest. Accordingly, we
propose a method to disentangle the two zones. Our method takes advantage of local modeling of statistics in natural images with
Gaussian Mixture Model. The procedure is specific for each image to avoid the necessity of using a large training dataset and to increase flexibility.
Results for all the techniques described above are illustrated on public benchmarks and compared to state of the art methods. We show that the
classical pipeline for manipulations detection with Gaussian Mixture Model and adaptation procedure can surpass results of fine-tuned and
recent deep-learning methods. Our method for source/target disentangling in copy-move also matches or even surpasses performances of the latest
deep-learning methods. We explain the good results of these classical methods against deep-learning by their additional flexibility and
adaptation abilities.
Finally, this thesis has occurred in the special context of a contest jointly organized by the French National Research Agency and the
General Directorate of Armament. We describe in the Appendix the different stages of the contest and the methods we have developed, as well as
the lessons we have learned from this experience to move the image forensics domain into the wild.
Les images numériques sont devenues un moyen de communication standard et universel. Elles prennent place dans notre vie de tous les jours, ce qui entraîne directement des inquiétudes quant à leur intégrité. Nos travaux de recherche étudient différentes méthodes pour examiner l’authenticité d’une image numérique. Nous nous plaçons dans un contexte réaliste où les images sont en grandes quantités et avec une large diversité de manipulations et falsifications ainsi que de sources. Cela nous a poussé à développer des méthodes flexibles et adaptative face à cette diversité.
Nous nous sommes en premier lieu intéressés à la détection de manipulations à l’aide de la modélisation statistiques des images. Les manipulations sont des opérations élémentaires telles qu’un flou, l’ajout de bruit ou une compression. Dans ce cadre, nous nous sommes plus particulièrement focalisés sur les effets d’un pré-traitement. A cause de limitations de stockage et autres, une image peut être re-dimensionnée ou re-compressée juste après sa capture. L’ajout d’une manipulation se fait donc ensuite sur une image déjà pré-traitée. Nous montrons qu’un pré-redimensionnement pour les images de test induit une chute de performance pour des détecteurs entraînés avec des images en pleine taille. Partant de ce constat, nous introduisons deux nouvelles méthodes pour mitiger cette chute de performance pour des détecteurs basés sur l’utilisation de mixtures de gaussiennes. Ces détecteurs modélisent les statistiques locales, sur des tuiles (patches), d’images naturelles. Cela nous permet de proposer une adaptation de modèle guidée par les changements dans les statistiques locales de l’image. Notre première méthode est une adaptation entièrement non-supervisée, alors que la seconde requière l’accès à quelques labels, faiblement supervisé, pour les images pré-resizées.
Ensuite, nous nous sommes tournés vers la détection de falsifications et plus spécifiquement l’identification de copier-coller. Le copier-coller est l’une des falsification les plus populaires. Une zone source est copiée vers une zone cible de la même image. La grande majorité des détecteurs existants identifient indifféremment les deux zones (source et cible). Dans un scénario opérationnel, seulement la zone cible est intéressante car uniquement elle représente une zone de falsification. Ainsi, nous proposons une méthode pour discerner les deux zones. Notre méthode utilise également la modélisation locale des statistiques de l’image à l’aide de mixtures de gaussiennes. La procédure est spécifique à chaque image et ainsi évite la nécessité d’avoir recours à de larges bases d’entraînement et permet une plus grande flexibilité.
Des résultats expérimentaux pour toutes les méthodes précédemment décrites sont présentés sur des benchmarks classiques de la littérature et comparés aux méthodes de l’état de l’art. Nous montrons que le détecteur classique de détection de manipulations basé sur les mixtures de gaussiennes, associé à nos nouvelles méthodes d’adaptation de modèle peut surpasser les résultats de récentes méthodes deep-learning. Notre méthode de discernement entre source/cible pour copier-coller égale ou même surpasse les performances des dernières méthodes d’apprentissage profond. Nous expliquons ces bons résultats des méthodes classiques face aux méthodes d’apprentissage profond par la flexibilité et l’adaptabilité supplémentaire dont elles font preuve.
Pour finir, cette thèse s’est déroulée dans le contexte très spécial d’un concours organisé conjointement par l’Agence National de la Recherche et la Direction Général de l’Armement. Nous décrivons dans un appendice, les différents tours de ce concours et les méthodes que nous avons développé. Nous dressons également un bilan des enseignements de cette expérience qui avait pour but de passer de benchmarks publics à une détection de falsifications d’images très réalistes.
Origine : Fichiers produits par l'(les) auteur(s)