Contributions to ultrasound visual servoing
Contributions à l'asservissement visuel échographique
Résumé
The objective of our research work is to control in a visual closed-loop manner the full motion of a 2D (US) ultrasound probe actuated by a medical robot in order to reach and track a desired cross-section image. Considering the ultrasound modality in visual servoing is not an easy task since an US probe differs strongly from a camera. In fact, an US probe provides only information in its observation plane whereas a camera gives a 2D projection of the complete 3D world. Moreover, US images exhibit very low SNR that increases the difficulty to extract in real-time robust visual information. The aim of our research activity is therefore to propose generic solutions for ultrasound visual seroing. We focus more particularly on the modeling of visual features that can be robustly extracted from US image and that are pertinent to visually control the full motion of a robotized probe. We propose two categories of approaches. The first considers geometrical features as input of the control scheme that are computed from image moments extracted after a segmentation step of the peroperative US image. This approach has been used to automatically position the probe on a desired organ cross-section or to perform registration of 3D preoperative data on 2D US peroperative images. The second approach uses directly ultrasound dense information as input of the robot controller. It eliminates the image segmentation step and allows the consideration of weakly structured images where organ contours are hard to detect. This approach has been applied to automatically compensate physiological motion in order to stabilize the observed peroperative US image.
Ces travaux portent sur l'étude et l'élaboration de méthodes d'asservissement visuel utilisant les images échographiques. L'asservissement visuel consiste à commander les mouvements d'un système dynamique, généralement un robot, à partir d'informations visuelles extraites de l'image fournie par un capteur embarqué ou observant le système. Dans ce contexte, très peu de travaux avaient été menés sur l'utilisation de l'image fournie par un capteur échographique et les méthodes existantes permettaient uniquement de contrôler les mouvements dans le plan de coupe du capteur. En effet, il est important de noter qu'une sonde échographique 2D a la particularité de fournir une information complète dans son plan d'observation mais de ne fournir aucune information en dehors de ce plan. A la différence, une caméra fournit une projection de la scène 3D vers une image 2D. De ce fait, les méthodes d'asservissement visuel basées sur la modélisation de l'interaction entre une caméra et son environnement ne peuvent être appliquées directement à la modalité échographique. Il faut également noter qu'une problématique importante est l'extraction en temps réel des informations visuelles, nécessaires à la commande d'un système robotique, à partir des images échographiques qui sont par nature très fortement bruitées. Nous avons par conséquent apporté des solutions génériques pour permettre le contrôle complet des déplacements d'une sonde embarquée sur un robot à 6 degrés de liberté en utilisant directement les images échographiques. Deux démarches principales ont été menées pour atteindre cet objectif. La première a porté sur le choix et la modélisation exacte des informations visuelles géométriques qu'il est possible d'extraire en temps réel à partir des images échographiques 2D et qui sont pertinentes pour la réalisation d'une tâche de positionnement d'une sonde robotisée. Nous avons plus particulièrement considéré des informations géométriques de type points, contours et moments de la section d'un organe d'intérêt. Des modèles simplifiés ou estimés en ligne de la forme des objets observés ont été considérés pour déterminer la variation des informations géométriques introduite par les mouvements effectués en dehors du plan de coupe de la sonde. Cette modélisation a permis de déterminer la loi de commande à appliquer au robot porteur de sonde pour atteindre automatiquement la coupe échographique présentant l'information visuelle désirée. La seconde démarche a porté sur l'exploitation de l'information dense de l'image échographique en vue de s'affranchir de l'étape de segmentation. Dans une première approche, l'information de corrélation de la texture de type " speckle " présente dans l'image échographique a été considérée pour réaliser la poursuite de tissus en mouvement par la sonde échographique. Une approche alternative a également été proposée où les informations visuelles choisies en entrée de la commande du système correspondent directement à la valeur d'intensité d'un ensemble de pixels de l'image. La variation de ces informations en fonction du mouvement de la sonde a été modélisée afin de mettre en œuvre des asservissements visuels capables de réaliser des tâches de positionnement ou de suivi de coupes anatomiques. Cette méthode a en outre été étendue pour différents types de capteurs ultrasonores (2D, 3D, bi-plans). Les applications qui découlent de ces travaux se situent principalement dans le domaine de l'assistance à l'examen échographique. Elles concernent d'une part le positionnement automatique de la sonde sur une section anatomique désirée. D'autre part, les applications traitées portent également sur la stabilisation active de l'image échographique. A cette fin, différentes approches ont été mises en œuvre pour compenser le mouvement de tissus mous en synchronisant les déplacements de la sonde par asservissement visuel échographique.
Loading...