Development of face analysis approximation methods by machine learning
Développement de méthodes de rapprochement physionomique par apprentissage machine
Résumé
The work presented in this PhD thesis takes place in the general context of face matching. More precisely, our goal is to design and develop novel algorithms to learn compact, discriminative, domain invariant or de-identifying representations of faces.
Searching and indexing faces open the door to many interesting applications. However, this is made day after day more challenging due to the rapid growth of the volume of faces to analyse. Representing faces by compact and discriminative features is consequently essential to deal with such very large datasets. Moreover, this volume is increasing without any apparent limits; this is why it is also relevant to propose solutions to organise faces in meaningful ways, in order to reduce the search space and improve efficiency of the retrieval.
Although the volume of faces available on the internet is increasing, it is still difficult to find annotated examples to train models for each possible use cases e.g. for different races, sexes, etc. for every specific task. Learning a model with training examples from a group of people can fail to predict well in another group due to the uneven rate of changes of biometric dimensions e.g., ageing, among them. Similarly, a model learned from a type of feature can fail to make good predictions when tested with another type of feature. It would be ideal to have models producing face representations that would be invariant to these discrepancies. Learning common representations ultimately helps to reduce the domain specific parameters and, more importantly, allows to use training examples from domains well represented to other domains. Hence, there is a need for designing algorithms to map the features from different domains to a common subspace – bringing faces bearing same properties closer.
On the other hand, as automatic face matching tools are getting smarter and smarter, there is an increasing threat on privacy. The popularity in photo sharing on the social networks has exacerbated this risk. In such a context, altering the representations of faces so that the faces cannot be identified by automatic face matchers -- while the faces look as similar as before -- has become an interesting perspective toward privacy protection. It allows users to limit the risk of sharing their photos in social networks.
In all these scenarios, we explored how the use of Metric Learning methods as well as those of Deep Learning can help us to learn compact and discriminative representations of faces. We build on these tools, proposing compact, discriminative, domain invariant representations and de-identifying representations of faces.
We applied the proposed methods on a wide range of facial analysing applications. These applications include: large-scale face retrieval, age estimation, attribute predictions and identity de-identification. We have evaluated our algorithms on standard and challenging public datasets such as: LFW, CelebA, MORPH II etc. Moreover, we appended 1M faces crawled from Flicker.com to LFW and generated a novel and more challenging dataset to evaluate our algorithms in large-scale. Our experiments show that the proposed methods are more accurate and more efficient than compared competitive baselines and existing state-of-art methods, and attain new state-of-art performance.
Ce travail présenté dans cette thèse se déroule dans le contexte général de l'appariement de visage. Plus précisément, notre but est de concevoir
et de développer de nouveaux algorithmes pour apprendre des représentations compactes, discriminatives, invariantes au domaine ou de prévenir
l'identification de visages.
La recherche et d'indexation de visages ouvre la porte à des nombreuses applications intéressantes. Cependant, cela est devenu, jour après jour,
plus difficile en raison de la croissance rapide du nombre de visages à analyser. La représentation des visages par des caractéristiques compactes
et discriminatives est, par conséquent, essentielle pour en traiter cette ensemble de données très volumineux. De plus, ce volume augmente sans
limites apparentes; C'est pourquoi il est également pertinent de proposer des solutions pour organiser les visages de façon sémantique, afin de
réduire l'espace de recherche et d'améliorer l'efficacité de la recherche.
Bien que le volume de visages disponibles sur Internet augmente, il est encore difficile de trouver des exemples annotés pour former des modèles
pour chaque cas d'utilisation possible, par exemple, pour la classification de différentes races, sexes, etc. L'apprentissage d'un modèle avec
des exemples construites à partir d'un groupe de personnes peut ne nécessairement pas prédire correctement les exemples d'un autre groupe en
raison, par exemple, du taux inégal entre exu de changements de dimensions biométriques produites par le vieillissement. De même, un modèle
obtenu d'un type de caractéristique peut échouer à faire de bonnes prédictions lorsqu'il est testé avec un autre type de fonctionnalité. Il
serait idéal d'avoir des modèles produisant des représentations de visage qui seraient invariables à ces écarts. Apprendre des représentations
communes aide finalement à réduire les paramètres spécifiques au domaine et, encore plus important, permet d'utiliser des exemples construites
par un domaine et utilisés dans d'autres. Par conséquent, il est nécessaire de concevoir des algorithmes pour cartographier les caractéristiques
de différents domaines à un sous-espace commun, qui amène des visages portant les mêmes propriétés à être représentes plus prochement.
D'autre part, comme les outils automatiques de mise en correspondance de visage sont de plus en plus intelligents, il y a une menace
croissante sur la vie privée. La popularité du partage de photos sur les réseaux sociaux a exacerbé ce risque. Dans un tel contexte, modifier les
représentations des visages de façon à ce que les visages ne puissent pas être identifiés par des correspondants automatiques - alors que les
visages semblent ne pas être modifiés -est devenu une perspective intéressante en matière de protection de la vie privée. Il permet aux
utilisateurs de limiter le risque de partager leurs photos dans les réseaux sociaux.
Dans tous ces scénarios, nous avons exploré comment l'utilisation des méthodes d'apprentissage métrique (Metric Learning) ainsi que celles
d'apprentissage profond (Deep Learning) peuvent nous aider à apprendre les représentations compactes et discriminantes des visages. Nous
construisons ces outils en proposant des représentations compactes, discriminatives, invariantes au domaine et capables de prévenir
l'identification de visages.
Nous avons appliqué les méthodes proposées sur une large gamme d'applications d'analyse faciale. Ces applications comprennent: recherche de
visages à grande échelle, estimation de l'âge, prédictions d'attribut et identification de l'identité. Nous avons évalué nos algorithmes sur des
ensembles de données publics standard et stimulants tels que: LFW, CelebA, MORPH II etc. De plus, nous avons ajouté des visages 1M de Flicker.com à LFW et généré un jeu de données nouveau et plus difficile à évaluer nos algorithmes en grande-échelle. Nos expériences montrent que les méthodes proposées sont plus précises et plus efficaces que les méthodes de références comparées et les méthodes de l'état de l'art et
atteignent de nouvelles performances de pointe.
Loading...