Image registration and mosaicing for dynamic In vivo fibered confocal microscopy
Recalage et mosaïques d'images pour la microscopie confocale fibrée dynamique in vivo
Résumé
Classical confocal microscopy can be used to obtain high-resolution images of cells in tissue samples or cell cultures. Translation of this technology for in vivo applications can be achieved by using optical fibers and miniature optics. Ultimately, fibered confocal microscopy should enable clinicians and biologists to perform what can be referred to as an optical biopsy: a real-time histological examination of biological tissues in the living organism directly onto the region of interest.
The main goal of this thesis is to move beyond current hardware limitations of these imaging devices by developing specific innovative image registration schemes. In particular, this manuscript is framed by the goal of providing, through video sequence mosaicing tools, wide field-of-view optical biopsies to the clinicians. This targeted application is seen as a pipeline that takes raw data as input and provides wide field-of-view image mosaics as output. We detail the critical building blocks of this pipeline, namely real-time image reconstruction, linear image registration and non-rigid registration, before presenting our mosaicing framework.
The raw data that fibered confocal microscopy produces is difficult to use as it is modulated by a fiber optics bundle pattern and distorted by geometric artifacts. In this context, we show that real-time image reconstruction can be used as a preprocessing step to get readily interpretable video sequences. Since fibered confocal microscopy is a contact imaging modality, the combined movement of the imaged tissues and the flexible optical microprobe makes it sometimes difficult to get robust and accurate measurements of parameters of interest. To address this problem, we investigated efficient and robust registration of pairs of images. We show that registration tools recently developed in the field of vision-based robot control can outperform classical image registration solutions used in biomedical image analysis. The adequacy of these tools for linear image registration led us to revisit non-rigid registration. By casting the non-rigid registration problem as an optimization problem on a Lie group, we develop a fast non-parametric diffeomorphic image registration scheme. In addition to being diffeomorphic, our algorithm provides results that are similar to the ones from Thirion's demons algorithm but with transformations that are smoother and closer to the true ones.
Finally, we use these image reconstruction and registration building blocks to propose a robust mosaicing algorithm that is able to recover a globally consistent alignment of the input frames, to compensate for the motion distortions and to capture the non-rigid deformations. Moreover, our mosaicing algorithm has recently been incorporated within a multicenter clinical trial. This trial illustrates the clinical value of our tools in the particular application of Barrett's esophagus surveillance.
The main goal of this thesis is to move beyond current hardware limitations of these imaging devices by developing specific innovative image registration schemes. In particular, this manuscript is framed by the goal of providing, through video sequence mosaicing tools, wide field-of-view optical biopsies to the clinicians. This targeted application is seen as a pipeline that takes raw data as input and provides wide field-of-view image mosaics as output. We detail the critical building blocks of this pipeline, namely real-time image reconstruction, linear image registration and non-rigid registration, before presenting our mosaicing framework.
The raw data that fibered confocal microscopy produces is difficult to use as it is modulated by a fiber optics bundle pattern and distorted by geometric artifacts. In this context, we show that real-time image reconstruction can be used as a preprocessing step to get readily interpretable video sequences. Since fibered confocal microscopy is a contact imaging modality, the combined movement of the imaged tissues and the flexible optical microprobe makes it sometimes difficult to get robust and accurate measurements of parameters of interest. To address this problem, we investigated efficient and robust registration of pairs of images. We show that registration tools recently developed in the field of vision-based robot control can outperform classical image registration solutions used in biomedical image analysis. The adequacy of these tools for linear image registration led us to revisit non-rigid registration. By casting the non-rigid registration problem as an optimization problem on a Lie group, we develop a fast non-parametric diffeomorphic image registration scheme. In addition to being diffeomorphic, our algorithm provides results that are similar to the ones from Thirion's demons algorithm but with transformations that are smoother and closer to the true ones.
Finally, we use these image reconstruction and registration building blocks to propose a robust mosaicing algorithm that is able to recover a globally consistent alignment of the input frames, to compensate for the motion distortions and to capture the non-rigid deformations. Moreover, our mosaicing algorithm has recently been incorporated within a multicenter clinical trial. This trial illustrates the clinical value of our tools in the particular application of Barrett's esophagus surveillance.
La microscopie confocale classique permet d'obtenir des images à haute résolution de cellules en culture ou dans un tissu biologique excisé. Cette technologie peut être adaptée aux applications in vivo grâce à l'utilisation de fibres optiques et d'optiques miniaturisées. A terme, la microscopie confocale fibrée devrait permettre aux médecins et biologistes de réaliser des biopsies optiques; c'est à dire un examen histologique, en temps réel, des tissus biologiques à l'intérieur d'un organisme vivant et directement au contact de la zone d'intérêt.
Le but premier de cette thèse est de dépasser les limites matérielles de ces instruments d'imagerie en développant des outils de recalage d'images spécifiques et innovants. En particulier, le propos de ce manuscrit est cadré par l'objectif de proposer, au travers d'outils de création de mosaïques d'images, des biopsies optiques à grand champ aux médecins. Cette application est considérée, dans cette thèse, comme un système, ou un circuit, qui prendrait en entrée un flot de données brutes et délivrerait en sortie des mosaïques d'images à grand champ. Nous détaillons les éléments critiques de ce système, en particulier la reconstruction d'images en temps réel, le recalage linéaire d'images et le recalage non linéaire, avant de présenter la structure du système complet.
Les données brutes produites par la microscopie confocale fibrée sont difficiles à interpréter parce qu'elle sont modulées par la structure en nid d'abeille du réseau de fibres optiques et parce qu'elle sont entachées d'artefacts géométriques. Dans ce contexte, nous montrons qu'une reconstruction en temps réel des images peut être utilisée en pré-traitement afin de produire des séquences vidéos directement interprétables. Comme la microscopie confocale fibrée est une imagerie qui se fait au contact des tissus, le mouvement relatif du tissu par rapport à la sonde optique implique qu'il est parfois difficile d'obtenir de manière robuste certaines mesures quantitatives d'intérêt. Nous avons donc attaqué le problème du recalage linéaire, efficace et robuste de paires d'images. Nous montrons que des outils récents provenant du domaine du contrôle robotique par la vision peuvent surpasser les solutions standards utilisées en analyse d'images biomédicales. L'adéquation de ces outils au problème du recalage linéaire d'images nous a amenés à revisiter le problème du recalage non-linéaire. En interprétant le recalage non-linéaire comme un problème d'optimisation sur un groupe de Lie, nous développons un algorithme rapide de recalage difféomorphe non-paramétrique d'images. En plus d'être difféomorphe, notre algorithme produit des résultats qui sont similaires à ceux de l'algorithme des démons de Thirion mais qui sont plus lisses et plus proche de la vérité.
Finalement, nous obtenons une boîte à outils de reconstruction et de recalage d'images que nous utilisons pour proposer un algorithme robuste de création de mosaïques d'images qui permette de calculer un alignement globalement cohérent à partir de résultats locaux, de compenser les distorsions liées au mouvement et de retrouver les déformations non-rigides. Par ailleurs, notre algorithme de mosaïques d'images a récemment été incorporé dans un essai clinique multicentrique. Cet essai illustre l'intérêt clinique de nos outils dans le cadre spécifique de la surveillance de l'œsophage de Barrett.
Le but premier de cette thèse est de dépasser les limites matérielles de ces instruments d'imagerie en développant des outils de recalage d'images spécifiques et innovants. En particulier, le propos de ce manuscrit est cadré par l'objectif de proposer, au travers d'outils de création de mosaïques d'images, des biopsies optiques à grand champ aux médecins. Cette application est considérée, dans cette thèse, comme un système, ou un circuit, qui prendrait en entrée un flot de données brutes et délivrerait en sortie des mosaïques d'images à grand champ. Nous détaillons les éléments critiques de ce système, en particulier la reconstruction d'images en temps réel, le recalage linéaire d'images et le recalage non linéaire, avant de présenter la structure du système complet.
Les données brutes produites par la microscopie confocale fibrée sont difficiles à interpréter parce qu'elle sont modulées par la structure en nid d'abeille du réseau de fibres optiques et parce qu'elle sont entachées d'artefacts géométriques. Dans ce contexte, nous montrons qu'une reconstruction en temps réel des images peut être utilisée en pré-traitement afin de produire des séquences vidéos directement interprétables. Comme la microscopie confocale fibrée est une imagerie qui se fait au contact des tissus, le mouvement relatif du tissu par rapport à la sonde optique implique qu'il est parfois difficile d'obtenir de manière robuste certaines mesures quantitatives d'intérêt. Nous avons donc attaqué le problème du recalage linéaire, efficace et robuste de paires d'images. Nous montrons que des outils récents provenant du domaine du contrôle robotique par la vision peuvent surpasser les solutions standards utilisées en analyse d'images biomédicales. L'adéquation de ces outils au problème du recalage linéaire d'images nous a amenés à revisiter le problème du recalage non-linéaire. En interprétant le recalage non-linéaire comme un problème d'optimisation sur un groupe de Lie, nous développons un algorithme rapide de recalage difféomorphe non-paramétrique d'images. En plus d'être difféomorphe, notre algorithme produit des résultats qui sont similaires à ceux de l'algorithme des démons de Thirion mais qui sont plus lisses et plus proche de la vérité.
Finalement, nous obtenons une boîte à outils de reconstruction et de recalage d'images que nous utilisons pour proposer un algorithme robuste de création de mosaïques d'images qui permette de calculer un alignement globalement cohérent à partir de résultats locaux, de compenser les distorsions liées au mouvement et de retrouver les déformations non-rigides. Par ailleurs, notre algorithme de mosaïques d'images a récemment été incorporé dans un essai clinique multicentrique. Cet essai illustre l'intérêt clinique de nos outils dans le cadre spécifique de la surveillance de l'œsophage de Barrett.
Domaines
Interface homme-machine [cs.HC]
Loading...