ACTIVITIES

M^elle LE Thi Lan, doctorante en co-tutelle entre le Centre MICA et le projet ORION/PULSAR de l'INRIA Sophia Antipolis a soutenu très brillamment sa thèse à Sophia Antipolis dans les locaux de PULSAR, le 3 février 2009.

Titre : Indexation et recherche de vidéos pour la vidéosurveillance.

Doctorante : M^elle LE Thi LAn
Co-directeur de thèse PULSAR : M^me Monique Thonnat
Co-directeur de thèse : M. Alain Boucher
Co-encadrant MICA : Eric Castelli

Résumé : L'objectif de cette thèse est de proposer une approche générale pour l'indexation et la recherche de vidéos pour la vidéosurveillance. En se basant sur l'hypothèse que les vidéos sont prétraitées par un module d'analyse vidéo, l'approche proposée comprend deux phases : la phase d'indexation et celle de recherche.
Afi n d'utiliser les résultats de différents modules d'analyse vidéo, un modèle de données comprenant deux concepts, objets et événements, est proposé. La phase d'indexation visant à préparer des données déterminées dans ce modèle de données effectue trois tâches. Premièrement, deux nouvelles méthodes de détection des blobs représentatifs de la tâche représentation d'objets déterminent un ensemble de blobs associés à leurs poids pour chaque objet. Deuxièmement, la tâche extraction de descripteurs consiste à analyser des descripteurs d'apparence et aussi temporels sur les objets indexés. Finalement, la tâche indexation calcule les attributs des deux concepts et les stocke dans une base de données.
La phase de recherche commence avec une requête de l'utilisateur et comprend quatre tâches. Dans la tâche formulation de requêtes, a n de permettre à l'utilisateur d'exprimer ses requêtes, un nouveau langage est proposé. La requête est traitée par la tâche analyse syntaxique. Une nouvelle méthode dans la tâche mise en correspondance permet de retrouver e cacement les résultats pertinents. Deux méthodes dans la tâche retour de pertinence permettent d'interagir avec l'utilisateur afi n d'améliorer les résultats de recherche.
Dans le but d'évaluer la performance de l'approche proposée, nous utilisons deux bases de vidéos dont l'une provenant du projet CARETAKER et l'autre provenant du projet CAVIAR. Les vidéos du projet CARETAKER sont analysées en utilisant la plate-forme VSIP de l'équipe PULSAR alors que les vidéos du projet CAVIAR sont manuellement annotées. La méthode de détection des blobs représentatifs améliore la performance d'une méthode dans l'état de l'art. L'utilisation du langage de requêtes montre qu'il permet d'exprimer de nombreuses requêtes à différents niveaux. La méthode de mise en correspondance obtient de meilleurs résultats en comparaison avec deux méthodes de l'état de l'art. Les résultats expérimentaux montrent que l'approche proposée retrouve e cacement les objets d'intérêt et les événements complexes.
Mots clefs : indexation de vidéos, recherche de vidéos, langage de requêtes, mise en correspondance, vidéosurveillance

Abstract: The goal of this work is to propose a general approach for surveillance video indexing and retrieval. Based on the hypothesis that videos are preprocessed by an external video analysis module, this approach is composed of two phases : indexing phase and retrieval phase.
In order to pro t from the output of various video analysis modules, a general data model consisting of two main concepts, objects and events, is proposed. The indexing phase that aims at preparing data de ned in the data model performs three tasks. Firstly, two new key blob detection methods in the object representation task choose for each detected object a set of key blobs associated with a weight. Secondly, the feature extraction task analyzes a number of visual and temporal features on detected objects. Finally, the indexing task computes attributes of the two concepts and stores them in the database.
The retrieval phase starts with a user query and is composed of 4 tasks. In the formulation task, user expresses his query in a new rich query language. This query is then analyzed by the syntax parsing task. A new matching method in the matching task aims at retrieving effectively relevant results. Two proposed methods in the relevance feedback task allow to interact with the user in order to improve retrieved results.
The key blob detection method has improved results of one method in the state of the art. The analysis of query language usage shows that many queries at different abstraction levels can be expressed. The matching method has proved its performance in comparison with two other methods in the state of the art. The complete approach has been validated on two video databases coming from two projects : CARETAKER and CAVIAR. Videos of the CARETAKER project are analyzed by the VSIP platform of the Pulsar team while videos coming from CAVIAR project are manually annotated. Experiments have shown how the proposed approach is e fficient and robust to retrieve the objects of interest and the complex events from surveillance videos.
Keywords : video indexing, video retrieval, query language, matching, videosurveillance