Algorithms for Super-resolution of Images based on Sparse Representation and Manifolds
Algorithmes de super-résolution d'ilmages basés sur représentations parcimonieuses et variétés
Résumé
resolution of images. Super-resolution methods can be subdivided in single and multi
image methods. This thesis focuses on developing algorithms based on mathematical
theories for single image super-resolution problems. Indeed, in order to estimate an
output image, we adopt a mixed approach: i.e., we use both a dictionary of patches
with sparsity constraints (typical of learning-based methods) and regularization terms
(typical of reconstruction-based methods). Although the existing methods already perform
well, they do not take into account the geometry of the data to: regularize the
solution, cluster data samples (samples are often clustered using algorithms with the
Euclidean distance as a dissimilarity metric), learn dictionaries (they are often learned
using PCA or K-SVD). Thus, state-of-the-art methods still suffer from shortcomings.
In this work, we proposed three new methods to overcome these deficiencies. First, we
developed SE-ASDS (a structure tensor based regularization term) in order to improve
the sharpness of edges. SE-ASDS achieves much better results than many state-of-theart
algorithms. Then, we proposed AGNN and GOC algorithms for determining a local
subset of training samples from which a good local model can be computed for reconstructing
a given input test sample, where we take into account the underlying geometry
of the data. AGNN and GOC methods outperform spectral clustering, soft clustering,
and geodesic distance based subset selection in most settings. Next, we proposed aSOB
strategy which takes into account the geometry of the data and the dictionary size. The
aSOB strategy outperforms both PCA and PGA methods. Finally, we combine all our
methods in a unique algorithm, named G2SR. Our proposed G2SR algorithm shows
better visual and quantitative results when compared to the results of state-of-the-art
methods.
La « super-résolution » est définie comme une classe de techniques qui améliorent
la résolution spatiale d’images. Les méthodes de super-résolution peuvent être subdivisés
en méthodes à partir d’une seule image et à partir de multiple images. Cette thèse
porte sur le développement d’algorithmes basés sur des théories mathématiques pour
résoudre des problèmes de super-résolution à partir d’une seule image. En effet, pour
estimer un’image de sortie, nous adoptons une approche mixte : nous utilisons soit un
dictionnaire de « patches » avec des contraintes de parcimonie (typique des méthodes
basées sur l’apprentissage) soit des termes régularisation (typiques des méthodes par
reconstruction). Bien que les méthodes existantes donnent déjà de bons résultats, ils
ne prennent pas en compte la géométrie des données dans les différentes tâches. Par
exemple, pour régulariser la solution, pour partitionner les données (les données sont
souvent partitionnées avec des algorithmes qui utilisent la distance euclidienne comme
mesure de dissimilitude), ou pour apprendre des dictionnaires (ils sont souvent appris
en utilisant PCA ou K-SVD). Ainsi, les méthodes de l’état de l’art présentent encore
certaines limites. Dans ce travail, nous avons proposé trois nouvelles méthodes pour
dépasser ces limites. Tout d’abord, nous avons développé SE-ASDS (un terme de régularisation
basé sur le tenseur de structure) afin d’améliorer la netteté des bords. SEASDS
obtient des résultats bien meilleurs que ceux de nombreux algorithmes de l’état
de l’art. Ensuite, nous avons proposé les algorithmes AGNN et GOC pour déterminer
un sous-ensemble local de données d’apprentissage pour la reconstruction d’un certain
échantillon d’entrée, où l’on prend en compte la géométrie sous-jacente des données. Les
méthodes AGNN et GOC surclassent dans la majorité des cas la classification spectrale,
le partitionnement de données de type « soft », et la sélection de sous-ensembles basée
sur la distance géodésique. Ensuite, nous avons proposé aSOB, une stratégie qui prend
en compte la géométrie des données et la taille du dictionnaire. La stratégie aSOB surpasse
les méthodes PCA et PGA. Enfin, nous avons combiné tous nos méthodes dans
un algorithme unique, appelé G2SR. Notre algorithme montre de meilleurs résultats
visuels et quantitatifs par rapport aux autres méthodes de l’état de l’art.