Bag-of-Bags of Words : Irregular graph pyramids vs spatial pyramid matching for image retrieval

Yi Ren (1) , Aurélie Bugeau (2) , Jenny Benois-Pineau (2)

1 UB - Université de Bordeaux
2 LaBRI - Laboratoire Bordelais de Recherche en Informatique

[Résumé en français] Cet article présente une nouvelle approche appelée bag-of-bags of words (BBoW) pour la recherche d'images par le contenu (CBIR). Il s'agit d'une extension du modèle classique dit sac-de-mots (bag of words - BoW). Dans notre approche, une image est représentée par un graphe placé sur une grille régulière de pixels de l'image. Les poids sur les arêtes dépendent de caractéristiques locales de couleur. Le graphe est découpé en un nombre fixe de régions qui constituent une partition irrégulière de l'image par la méthode Normalized Cuts. Enfin, chaque partition est représentée par sa propre signature suivant le même schéma que le BoW. Une image est donc décrite par un ensemble de signatures qui sont ensuite combinées pour la recherche d'images similaires dans une base de données. Contrairement aux méthodes existantes telle que Spatial Pyramid Matching (SPM), le modèle BBoW proposé ne repose pas sur l'hypothèse que des parties similaires d'une scène apparaissent toujours au même endroit dans des images d'une même catégorie. L'extension de cette méthode à une approche multi-échelle, appelée Irregular Pyramid Matching (IPM), est également décrite. Les résultats démontrent la qualité de notre approche lorsque les partitions obtenues sont stables au sein d'une même catégorie d'images. Une analyse statistique est menée pour définir concrètement la notion de partition stable. Mots Clef : Recherche d'images par le contenu, coupe de graphes, Normalized Cuts, Sac de mots. [Abstract in English] This paper presents a novel approach, named bag-of-bags of words (BBoW), to address the problem of Content-Based Image Retrieval (CBIR) from image databases. The proposed bag-of-bags of words model extends the classical bag-of-words (BoW) model. An image is represented as a connected full graph of local features on a regular grid. Then irregular partitions (subgraphs) of images are further built via Normalized Cuts. Each subgraph in the partition is then represented by its own signature. Compared to existing methods for image retrieval, such as Spatial Pyramid Matching (SPM), the BBoW model does not assume that similar parts of a scene always appear at the same location in images of the same category. The extension of the proposed model to pyramid gives rise to a method we name irregular pyramid matching (IPM). The experiments demonstrate the strength of our method for image retrieval when the partitions are stable across an image category. The statistical analysis of subgraphs is discussed in the paper. Keywords : Content-based image retrieval, graph partitioning, Normalized Cuts, Bag of words.

Mots clés: Content-based image retrieval; graph partitioning; Normalized Cuts; Bag of words

Domaines: Vision par ordinateur et reconnaissance de formes [cs.CV]; Traitement des images [eess.IV]; Recherche d'information [cs.IR]

Yi Ren, Aurélie Bugeau, Jenny Benois-Pineau. Bag-of-Bags of Words : Irregular graph pyramids vs spatial pyramid matching for image retrieval. 2014. ⟨hal-00992088⟩