Bag-of-Bags of Words : Irregular graph pyramids vs spatial pyramid matching for image retrieval

Résumé : [Résumé en français] Cet article présente une nouvelle approche appelée bag-of-bags of words (BBoW) pour la recherche d'images par le contenu (CBIR). Il s'agit d'une extension du modèle classique dit sac-de-mots (bag of words - BoW). Dans notre approche, une image est représentée par un graphe placé sur une grille régulière de pixels de l'image. Les poids sur les arêtes dépendent de caractéristiques locales de couleur. Le graphe est découpé en un nombre fixe de régions qui constituent une partition irrégulière de l'image par la méthode Normalized Cuts. Enfin, chaque partition est représentée par sa propre signature suivant le même schéma que le BoW. Une image est donc décrite par un ensemble de signatures qui sont ensuite combinées pour la recherche d'images similaires dans une base de données. Contrairement aux méthodes existantes telle que Spatial Pyramid Matching (SPM), le modèle BBoW proposé ne repose pas sur l'hypothèse que des parties similaires d'une scène apparaissent toujours au même endroit dans des images d'une même catégorie. L'extension de cette méthode à une approche multi-échelle, appelée Irregular Pyramid Matching (IPM), est également décrite. Les résultats démontrent la qualité de notre approche lorsque les partitions obtenues sont stables au sein d'une même catégorie d'images. Une analyse statistique est menée pour définir concrètement la notion de partition stable. Mots Clef : Recherche d'images par le contenu, coupe de graphes, Normalized Cuts, Sac de mots. [Abstract in English] This paper presents a novel approach, named bag-of-bags of words (BBoW), to address the problem of Content-Based Image Retrieval (CBIR) from image databases. The proposed bag-of-bags of words model extends the classical bag-of-words (BoW) model. An image is represented as a connected full graph of local features on a regular grid. Then irregular partitions (subgraphs) of images are further built via Normalized Cuts. Each subgraph in the partition is then represented by its own signature. Compared to existing methods for image retrieval, such as Spatial Pyramid Matching (SPM), the BBoW model does not assume that similar parts of a scene always appear at the same location in images of the same category. The extension of the proposed model to pyramid gives rise to a method we name irregular pyramid matching (IPM). The experiments demonstrate the strength of our method for image retrieval when the partitions are stable across an image category. The statistical analysis of subgraphs is discussed in the paper. Keywords : Content-based image retrieval, graph partitioning, Normalized Cuts, Bag of words.
Liste complète des métadonnées


https://hal.archives-ouvertes.fr/hal-00992088
Contributeur : Yi Ren <>
Soumis le : vendredi 16 mai 2014 - 16:50:53
Dernière modification le : samedi 17 septembre 2016 - 01:23:35
Document(s) archivé(s) le : samedi 16 août 2014 - 12:01:15

Fichier

rfia2014_submission_16.pdf
Fichiers produits par l'(les) auteur(s)

Identifiants

  • HAL Id : hal-00992088, version 1

Collections

Citation

Yi Ren, Aurélie Bugeau, Jenny Benois-Pineau. Bag-of-Bags of Words : Irregular graph pyramids vs spatial pyramid matching for image retrieval. 2014. <hal-00992088>

Partager

Métriques

Consultations de
la notice

298

Téléchargements du document

324