IRIM at TRECVID 2012: Semantic Indexing and Instance Search

Nicolas Ballas; Benjamin Labbé; Aymen Shabou; Hervé Le Borgne; Philippe-Henri Gosselin; Miriam Redi; Bernard Merialdo; Hervé Jégou; Jonathan Delhumeau; Rémi Vieux; Boris Mansencal; Jenny Benois-Pineau; Stéphane Ayache; Abdelkader Hamadi; Bahjat Safadi; Franck Thollard; Nadia Derbas; Georges Quénot; Hervé Bredin; Matthieu Cord; Boyang Gao; Chao Zhu; Yuxing Tang; Emmanuel Dellandrea; Charles-Edmond Bichot; Liming Chen; Alexandre Benoit; Patrick Lambert; Tiberius Strat; Joseph Razik; Sébastien Paris; Hervé Glotin; Tran Ngoc Trung; Dijana Petrovska-Delacrétaz; Gérard Chollet; Andrei Stoian; Michel Crucianu

IRIM at TRECVID 2012: Semantic Indexing and Instance Search

Nicolas Ballas ¹ Benjamin Labbé ¹ Aymen Shabou ¹ Hervé Le Borgne ¹ Philippe-Henri Gosselin ² Miriam Redi ³ Bernard Merialdo ³ Hervé Jégou ⁴ Jonathan Delhumeau ⁴ Rémi Vieux ⁵ Boris Mansencal ⁵ Jenny Benois-Pineau ⁵ Stéphane Ayache ⁶ Abdelkader Hamadi ⁷ Bahjat Safadi ⁷ Franck Thollard ⁸ Nadia Derbas ⁷ Georges Quénot ^{8, *} Hervé Bredin ⁹ Matthieu Cord ¹⁰ Boyang Gao ¹¹ Chao Zhu ¹² Yuxing Tang ¹² Emmanuel Dellandrea ¹¹ Charles-Edmond Bichot ¹¹ Liming Chen ¹¹ Alexandre Benoit ¹³ Patrick Lambert ¹³ Tiberius Strat ¹³ Joseph Razik ¹⁴ Sébastien Paris ¹⁴ Hervé Glotin ^{14, 15} Tran Ngoc Trung ^{16, 17} Dijana Petrovska-Delacrétaz ^{16, 17} Gérard Chollet ¹⁸ Andrei Stoian ¹⁹ Michel Crucianu ¹⁹

* Auteur correspondant

1 LIST - Laboratoire d'Intégration des Systèmes et des Technologies

2 MIDI

ETIS - Equipes Traitement de l'Information et Systèmes

3 Eurecom [Sophia Antipolis]

4 TEXMEX - Multimedia content-based indexing

IRISA - Institut de Recherche en Informatique et Systèmes Aléatoires, Inria Rennes – Bretagne Atlantique

5 LaBRI - Laboratoire Bordelais de Recherche en Informatique

6 LIF - Laboratoire d'informatique Fondamentale de Marseille - UMR 6166

7 LIG - Laboratoire d'Informatique de Grenoble

8 MRIM - Modélisation et Recherche d’Information Multimédia [Grenoble]

LIG - Laboratoire d'Informatique de Grenoble, Inria - Institut National de Recherche en Informatique et en Automatique

9 LIMSI - Laboratoire d'Informatique pour la Mécanique et les Sciences de l'Ingénieur

10 MALIRE - Machine Learning and Information Retrieval

LIP6 - Laboratoire d'Informatique de Paris 6

11 imagine - Extraction de Caractéristiques et Identification

LIRIS - Laboratoire d'InfoRmatique en Image et Systèmes d'information

12 LIRIS - Laboratoire d'InfoRmatique en Image et Systèmes d'information

13 LISTIC - Laboratoire d'Informatique, Systèmes, Traitement de l'Information et de la Connaissance

14 LSIS - Laboratoire des Sciences de l'Information et des Systèmes

15 IUF - Institut Universitaire de France

16 EPH - Département Electronique et Physique

17 SAMOVAR - Services répartis, Architectures, MOdélisation, Validation, Administration des Réseaux

18 LTCI - Laboratoire Traitement et Communication de l'Information

19 CEDRIC - Centre d'Etude et De Recherche en Informatique du Cnam

Abstract : The IRIM group is a consortium of French teams work- ing on Multimedia Indexing and Retrieval. This paper describes its participation to the TRECVID 2012 se- mantic indexing and instance search tasks. For the semantic indexing task, our approach uses a six-stages processing pipelines for computing scores for the likeli- hood of a video shot to contain a target concept. These scores are then used for producing a ranked list of im- ages or shots that are the most likely to contain the tar- get concept. The pipeline is composed of the following steps: descriptor extraction, descriptor optimization, classi cation, fusion of descriptor variants, higher-level fusion, and re-ranking. We evaluated a number of dif- ferent descriptors and tried di erent fusion strategies. The best IRIM run has a Mean Inferred Average Pre- cision of 0.2378, which ranked us 4th out of 16 partici- pants. For the instance search task, our approach uses two steps. First individual methods of participants are used to compute similrity between an example image of in- stance and keyframes of a video clip. Then a two-step fusion method is used to combine these individual re- sults and obtain a score for the likelihood of an instance to appear in a video clip. These scores are used to ob- tain a ranked list of clips the most likely to contain the queried instance. The best IRIM run has a MAP of 0.1192, which ranked us 29th on 79 fully automatic runs.

Type de document :

Communication dans un congrès

TRECVID - TREC Video Retrieval Evaluation workshop, Nov 2012, Gaithersburg, MD, United States. 12p., 2012

Domaine :

Informatique [cs] / Recherche d'information [cs.IR]

Liste complète des métadonnées

Littérature citée [36 références] Voir Masquer Télécharger

https://hal.archives-ouvertes.fr/hal-00770258
Contributeur : Georges Quénot <>
Soumis le : vendredi 4 janvier 2013 - 19:15:03
Dernière modification le : jeudi 24 mai 2018 - 15:58:07
Document(s) archivé(s) le : vendredi 5 avril 2013 - 05:59:16

Ballas-al_TRECVID2012.pdf

Fichiers produits par l'(les) auteur(s)

IRIM at TRECVID 2012: Semantic Indexing and Instance Search

Fichier

Identifiants

Collections

Citation

Exporter

Métriques

2069

472

Contact

IRIM at TRECVID 2012: Semantic Indexing and Instance Search

Fichier

Identifiants

Collections

Citation

Exporter

Partager

Métriques

2069

472

Contact