Event and action recognition from thermal and 3D depth Sensing
Reconnaissance d'événements et d'actions à partir de la profondeur thermique 3D
Résumé
In this thesis, we deal with the problem of detection of flows events from thermal cameras and Kinect depth cameras.
The first part concerns the development of a thermal event recognition platform. We are particularly interested in the detection of pain in preterm babies and we have introduced a new database (Pretherm) carried out within the framework of the ANR project of the same name, with videos of premature babies from CHU hospital of Caen. To characterize the pattern of interest, we exploited the non-redundant (or residual) local binary patterns. As well as the topological persistence of the monodimensional signal. Validation was performed using Extreme Learning Machines and Support Vector Machines.
In the second part, we studied the problem of recognition with Kinect. We were particularly interested in spatio-temporal descriptors and studied the classification methods dedicated to action recognition. Initially, we focused on the analysis of the angles of the joints and their trajectories using the HMMs. Then we proposed a compact representation using spherical harmonics to learn and recognize the poses.
These proposed techniques have been validated on a wide variety of RGBD corpus.
Dans cette thèse, nous traitons la problématique de la détection d'événements à partir de flux issus de caméras thermique et de caméras de profondeur Kinect.
La première partie concerne le développement d’une plateforme de reconnaissance d’événement thermique. Nous nous sommes intéressés particulièrement à la détection de la douleur chez les bébés prématurés et nous avons introduit une nouvelle base de données (Pretherm) réalisée dans le cadre du projet ANR du même nom, avec des vidéos de bébés prématurés de l’hôpital CHU de Caen. Pour caractériser le motif d’intérêt, nous avons exploité les motifs binaires locaux non redondants (ou résiduels). ainsi que la persistance topologique du signal monodimensionnel. Une validation a été réalisée en utilisant Extreme Learning Machines et les Support Vector Machines.
En seconde partie, nous avons étudié le problème de la reconnaissance avec Kinect. Nous nous sommes intéressés particulièrement aux descripteurs spatio-temporels et étudié les méthodes de classification dédiées à la reconnaissance d’action. Dans un premier temps, nous nous sommes orientés vers l’analyse des angles des articulations et de leurs trajectoires en utilisant les HMMs. Ensuite, nous avons proposé une représentation compacte en utilisant les harmoniques sphériques pour apprendre et reconnaître les poses.
Ces techniques proposées ont été validés sur une grande variété de corpus RGBD.
Loading...