Fonction d'adaptation pour similarité visuelle
Résumé
La perception humaine évalue régulièrement la similarité entre les images pour la prise de décision ainsi que la pensée créative. Mais le fonctionnement du système cognitif sous-jacent n’est pas encore réellement compris, il reste donc difficile à imiter. Les approches de l’état de l’art utilisant des architectures profondes sont souvent basées sur la comparaison des images décrites comme des vecteurs de caractéristiques appris pour la reconnaissance d’image.
Ces caractéristiques sont importantes dans la comparaison sémantique des images mais ne sont pas réellement efficaces pour la comparaison des images visuellement similaires sans aucun lien sémantique. Inspiré par les précédentes recherches sur l’adaptation des caractéristiques neuronales aux représentations psycho-cognitives, nous nous focalisons ici sur l’apprentissage des similarités visuelles des images lorsque l’analogie joue un rôle considérable. Nous proposons d’utiliser différentes couches d’un CNN basé sur la classification (pré-entraîné sur ImageNet) ainsi que de comparer différents réseaux supervisés, semi-supervisés et self-supervisés pré-entraînés sur des bases de données différentes par leur quantité et contenu des données) (ImageNet-21k, ImageNet-1K ou VGGFace2) pour arriver à une meilleure approximation du cortex visuel et apprendre uniquement une fonction d’adaptation correspondante au cortex inférieur temporel primate à traversl’apprentissage de métriques. Les expériences menées sur le jeu de données Totally Looks Like mettent en évidence l’intérêt de notre méthode, en augmentant de 2,25× les scores de récupération du meilleur modèle @1. Ce travail de recherche a récemment été accepté pour publication à la conférence internationale ICIP 2021 [1]. Dans ce nouvel article, nous développons ce travail précédent en utilisant et en comparant de nouveaux extracteurs de caractéristiques pré-entraînés sur d’autres ensembles de données.
Origine : Fichiers produits par l'(les) auteur(s)