Dynamic hand gesture recognition - From traditional handcrafted to recent deep learning approaches
Reconnaisance de gestes dynamiques de la main - De la création de descripteurs aux récentes méthodes d’apprentissage profond
Résumé
Hand gestures are the most natural and intuitive non-verbal communica- tion medium while using a computer, and related research efforts have recently boosted interest. Additionally, data provided by current com- mercial inexpensive depth cameras can be exploited in various gesture recognition based systems. The area of hand gesture analysis covers hand pose estimation and gesture recognition. Hand pose estimation is con- sidered to be more challenging than other human part estimation due to the small size of the hand, its greater complexity and its important self occlusions. Beside, the development of a precise hand gesture recognition system is also challenging due to high dissimilarities between gestures derived from ad-hoc, cultural and/or individual factors of users. First, we propose an original framework to represent hand gestures by using hand shape and motion descriptors computed on 3D hand skeletal fea- tures. We use a temporal pyramid to model the dynamic of gestures and a linear SVM to perform the classification. Additionally, we create the Dynamic Hand Gesture dataset containing 2800 sequences of 14 gesture types. Evaluation results show the promising way of using hand skele- tal data to perform hand gesture recognition. Experiments are carried out on three hand gesture datasets, containing a set of fine and coarse heterogeneous gestures. Furthermore, results of our approach in terms of latency demonstrated improvements for a low-latency hand gesture recog- nition systems, where an early classification is needed. Then, we extend the study of hand gesture analysis to online recognition. Using a deep learning approach, we employ a transfer learning strategy to learn hand posture and shape features from depth image dataset originally created for hand pose estimation. Second, we model the temporal variations of the hand poses and its shapes using a recurrent deep learning technology. Finally, both information are merged to perform accurate prior detection and recognition of hand gestures. Experiments on two datasets demon- strate that the proposed approach is capable to detect an occurring gesture and to recognize its type far before its end.
Les gestes de la main sont le moyen de communication non verbal le plus naturel et le plus intuitif lorsqu’il est question d’interaction avec un ordinateur. Les efforts de recherche qui y sont liés ont récemment relancé son intérêt. De plus, les données fournies par des caméras de pro- fondeur actuellement commercialisées à des prix abordables peuvent être exploitées dans une large variété de systèmes de reconnaissance de gestes. L’analyse des gestes de la main s’appuie sur l’estimation de la pose de la main et la reconnaissance de gestes. L’estimation de la pose de la main est considérée comme étant un défi plus important que l’estimation de la pose de n’importe quelle autre partie du corps du fait de la petite taille d’une main, de sa plus grande complexité et de ses nombreuses occultations. Par ailleurs, le développement d’un système précis de reconnaissance des gestes de la main est également difficile du fait des grandes dissimilarités entre les gestes dérivant de facteurs ad-hoc, culturels et/ou individuels in- hérents aux acteurs. Dans un premier temps, nous proposons un système original pour représenter les gestes de la main en utilisant des descrip- teurs de forme de main et de mouvement calculés sur des caractéristiques de squelette de main 3D. Nous utilisons une pyramide temporelle pour modéliser la dynamique des gestes et une machine à vecteurs de support (SVM) pour effectuer la classification. De plus, nous proposons une base de données de gestes de mains dynamiques contenant 2800 séquences de 14 types de gestes. Les résultats montrent une utilisation prometteuse des données de squelette pour reconnaître des gestes de la main. Des ex- périmentations sont menées sur trois ensembles de données, contenant un ensemble de gestes hétérogènes fins et grossiers. En outre, les résultats de notre approche en termes de latence ont démontré que notre système peut reconnaître un geste avant sa fin. Dans un second temps, nous étendons l’étude de l’analyse des gestes de main à une reconnaissance en ligne. En utilisant une approche d’apprentissage profond, nous employons une stratégie de transfert d’apprentissage afin d’entrainer des caractéristiques de pose et de forme de la main à partir d’images de profondeur d’une base de données crée à l’origine pour un problème d’estimation de la pose de la main. Nous modélisons ensuite les variations temporelles des poses de la main et de ses formes grâce à une methode d’apprentissage profond récurrente. Enfin, les deux informations sont fusionnées pour effectuer une détection préalable et une reconnaissance précise des gestes de main. Des expériences menées sur deux ensembles de données ont démontré que l’approche proposée est capable de détecter un geste qui se produit et de reconnaître son type bien avant sa fin.
Origine : Fichiers produits par l'(les) auteur(s)
Loading...