Image Analysis Based on Tensor Representations

Analyse d'image basée sur les représentations de tensors

Mohamad Jouni (1)

1 GIPSA-SIGMAPHY - GIPSA - Signal Images Physique

We consider an image in which every pixel n is defined by a vector y(n) of dimension m, containing m observations of a varying quantity. This variable is measured sequentially and could be the spectrum of light (e.g., hyperspectral images), time (i.e., a video), different angles of acquisition etc. For example, a RGB image is composed of three (i.e., m = 3) channels adjacent in the spectral domain ranging from approximatively red to blue wavelengths. It is often meaningful to express this vector as a linear combination of the compact form as: Y = X*A where Y, X and A are of dimension m×n, m×p and p×n. It is clear that with this writing, the exact position of pixels is not taken into account, nor is the order of the measured values. Even the size of the image is not explicit; if the image is n1×n2, only the product n=n1*n2 indeed appears. More importantly, if pixels and measured variables are permuted, rows of X and columns of A are permuted accordingly. One of the goals of this research topic is to fix these indeterminacies, because permutations are relevant (i.e., the position of pixels and sequential order of values are meaningful features). At least two attempts can be found in the literature. This idea has started to be investigated in the framework of the internship of M. Jouni (supervised by M. Dalla Mura and P. Comon) during the summer 2017 at Gipsa-Lab. Extensions: - For the sake of simplicity, this description has been made for images in 2D, that is, for data depending on two variables, but this extends to a larger number of variables; - Optimization criteria can include penalties aiming at imposing a desired structure on factor matrices (sparsity, spatial regularization, . . . ); - When several data arrays are given and are related in some partially known way, we are facing a particular fusion problem that can also be addressed via tensor tools.

Nous considérons une image dans laquelle chaque pixel n est défini par un vecteur y(n) de dimension m, contenant m observations d'une quantité variable. Cette variable est mesurée séquentiellement et pourrait être le spectre de la lumière (par exemple, les images hyperspectrales), le temps (c'est-à-dire une vidéo), différents angles d'acquisition, etc. Par exemple, une image RVB est composée de trois (c'est-à-dire m = 3) des canaux adjacents dans le domaine spectral s'étendant approximativement à des longueurs d'onde rouges à bleues. Il est souvent significatif d'exprimer ce vecteur comme une combinaison linéaire de la forme compacte comme: Y = X*A où Y, X et A sont de dimension m×n, m×p et p×n. Il est clair qu'avec cette écriture, la position exacte des pixels n'est pas prise en compte, ni l'ordre des valeurs mesurées. Même la taille de l'image n'est pas explicite; Si l'image est n1×n2, seul le produit n = n1*n2 apparaît effectivement. Plus important encore, si les pixels et les variables mesurées sont permutés, les rangées de X et les colonnes de A sont permutées en conséquence. L'un des objectifs de ce sujet de recherche est de corriger ces indéterminations, car les permutations sont pertinentes (c'est-à-dire que la position des pixels et l'ordre séquentiel des valeurs sont des caractéristiques significatives). Au moins deux tentatives peuvent être trouvées dans la littérature. Cette idée a commencé à être étudiée dans le cadre du stage de M. Jouni (supervisé par M. Dalla Mura et P. Comon) au cours de l'été 2017 à Gipsa-Lab. Extensions: pour la simplicité, cette description a été faite pour les images en 2D, c'est-à-dire pour les données en fonction de deux variables, mais cela s'étend à un plus grand nombre de variables; - Les critères d'optimisation peuvent inclure des pénalités visant à imposer une structure souhaitée sur les matrices factorielles (parcimonie, régularisation spatiale, ...); - Lorsque plusieurs tableaux de données sont donnés et sont liés d'une manière partiellement connue, nous sommes confrontés à un problème de fusion particulier qui peut également être abordé via des outils de tenseur.

Mots clés: Decomposition; Tensor; Matrix Factorization; Hyperspectral Image; Mathematical Morphology; Multimodal Data

Mots clés: Décomposition; Tensor; Factorisation Matricielle; Image Hyperspectrale; Morphologie Mathématique; Données Multimodales

Domaines: Traitement du signal et de l'image [eess.SP]

Mohamad Jouni. Image Analysis Based on Tensor Representations. Signal and Image processing. Université Grenoble Alpes, 2021. English. ⟨NNT : ⟩. ⟨tel-03223274v1⟩