Cue Integration and Front Evolution in Image Segmentation
Intégration d'attributs et évolutions de fronts en segmentation d'images
Résumé
Automatic detection and selection of regions of interest inside an image is a key step in image understanding. Many studies have been dedicated to this issue during the past decades. Efficient and robust algorithms have been developed for many applications.
However, most of them make use of heuristics inherent to a particular class of images.
The limiting factor to obtain a general algorithm is the large variety of cues available to characterize a region of interest. Examples include gray-level, color, texture and shape.
In this thesis, we propose a general formulation able to deal with each one of these characteristics. Image intensity, color, texture, motion and prior shape knowledge are considered. For this purpose, a probabilistic inference is obtained from a Bayesian formulation of the segmentation problem. Then, reformulated as an energy minimization problem, the most probable image partition is obtained using front evolution techniques. Level-set functions are introduced to represent the evolving fronts while region statistics are optimized in parallel. This framework can naturally handle scalar and vector-valued smooth images but more complex cues are also integrated.
Texture and motion features, as well as prior shape knowledge are successively introduced.
Complex medical images are considered in the last part of the thesis, with a focus on diffusion magnetic resonance images and their associated 3D probability density fields.
However, most of them make use of heuristics inherent to a particular class of images.
The limiting factor to obtain a general algorithm is the large variety of cues available to characterize a region of interest. Examples include gray-level, color, texture and shape.
In this thesis, we propose a general formulation able to deal with each one of these characteristics. Image intensity, color, texture, motion and prior shape knowledge are considered. For this purpose, a probabilistic inference is obtained from a Bayesian formulation of the segmentation problem. Then, reformulated as an energy minimization problem, the most probable image partition is obtained using front evolution techniques. Level-set functions are introduced to represent the evolving fronts while region statistics are optimized in parallel. This framework can naturally handle scalar and vector-valued smooth images but more complex cues are also integrated.
Texture and motion features, as well as prior shape knowledge are successively introduced.
Complex medical images are considered in the last part of the thesis, with a focus on diffusion magnetic resonance images and their associated 3D probability density fields.
La détection et l'extraction automatique de régions d'intérêt à l'intérieur d'une image est une étape primordiale pour la compréhension des images. Une multitude d'études dédiées à ce problème ont été proposées durant les dix dernières années. Des algorithmes efficaces et robustes ont été développés pour diverses applications. Cependant, la plupart d'entre eux introduisent des heuristiques propres au type d'image considéré.
La variété des caractéristiques possibles définissant une région d'intérêt est le principal facteur limitant leur généralisation. Ces critères région peuvent être le niveau de gris, la couleur, la texture, la forme des objets, etc...
Dans cette thèse, nous proposons une formulation générale qui permet d'introduire chacune de ces caractéristiques. Plus précisément, nous considérons l'intensité de l'image, la couleur, la texture, le mouvement et enfin, la connaissance a priori sur la forme des objets à extraire. Dans cette optique, nous obtenons un critère probabiliste à partir d'une formulation Bayésienne du problème de la segmentation d'images. Ensuite, une formulation variationnelle équivalente est introduite et la segmentation la plus probable est finalement obtenue par des techniques d'évolutions de fronts. La représentation par ensembles de niveaux est naturellement introduite pour décrire ces évolutions, tandis que les statistiques régions sont estimées en parallèle. Ce cadre de travail permet de traiter naturellement des images scalaires et vectorielles mais des caractéristiques plus complexes sont considérées par la suite. La texture, le mouvement ainsi que l'a priori sur la forme sont traités successivement. Finalement, nous présentons une extention de notre approche aux images de diffusion à résonance magnétique où des champs de densité de probabilité 3D doivent être considérés.
La variété des caractéristiques possibles définissant une région d'intérêt est le principal facteur limitant leur généralisation. Ces critères région peuvent être le niveau de gris, la couleur, la texture, la forme des objets, etc...
Dans cette thèse, nous proposons une formulation générale qui permet d'introduire chacune de ces caractéristiques. Plus précisément, nous considérons l'intensité de l'image, la couleur, la texture, le mouvement et enfin, la connaissance a priori sur la forme des objets à extraire. Dans cette optique, nous obtenons un critère probabiliste à partir d'une formulation Bayésienne du problème de la segmentation d'images. Ensuite, une formulation variationnelle équivalente est introduite et la segmentation la plus probable est finalement obtenue par des techniques d'évolutions de fronts. La représentation par ensembles de niveaux est naturellement introduite pour décrire ces évolutions, tandis que les statistiques régions sont estimées en parallèle. Ce cadre de travail permet de traiter naturellement des images scalaires et vectorielles mais des caractéristiques plus complexes sont considérées par la suite. La texture, le mouvement ainsi que l'a priori sur la forme sont traités successivement. Finalement, nous présentons une extention de notre approche aux images de diffusion à résonance magnétique où des champs de densité de probabilité 3D doivent être considérés.
Domaines
Interface homme-machine [cs.HC]
Loading...