Learning methods for digital imaging.
Méthodes d’apprentissage pour l’imagerie numérique.
Résumé
In this work we discuss about shift-invariant problems in digital imaging which could be solved by learning linear least square solution over exemplars. We focus our research on color demosacing which is one of the famous shift-invariant problem in digital imaging; the ability to estimate a full resolution color image from a subsampling one, acquired through a matrice of different color filters. To produce color images we need information of three primary colors (notably Red, Green and Blue) at each pixel point. To capture this information most digital cameras utilize a Color Filter Array (CFA); a mosaic arrangement of these primary colors is overlaid on the sensor such that only a single color is sampled at one pixel. Here we ask whether the most commonly used CFA called Bayer is the best compromise between space and color or if we should used larger shift-invariant pattern or different color filters. Furthermore, we ask what could be the ideal spectral transmittance of the filters for a given application. This way of acquiring images is similar to the Human Visual System (HVS) wherein a mosaic of LMS cones (for sensitivity to Long, Medium and Short wavelength) forms the surface of the retina. For HVS, the arrangement is random and differs between individuals, whereas for cameras we use a regular arrangement of color filters. We show by simulation that there is an advantage of having a random sampling of colors instead of a regular. The operation for a digital camera to interpolate the missing colors to recover the full color image is known as demosaicing. Demosaicing could be simulated on a subsampled image having a single color per pixel correspondingly to the CFA. Due to regular or periodic arrangement of color filters the output demosaiced image is susceptible to false colors and artifacts. In literature, the demosaicing algorithms proposed so far cater mainly to regular CFAs. We propose an algorithm for demosaicing which can be used to demosaic any random as well as regular CFA by learning statistics on an image database. We show that the solution obtained is unique because it correspond to the linear least square estimate of a shift-invariant inverse problem. Managing the neighborhood into the vectors improves redundancy of the estimate and provides a stable solution. Surprisingly, this solution is close to the state of the art demosaicing. Based on our method, we optimize and propose new CFAs such that they outperform even the state of art algorithms on regular (Bayer) CFAs. At the same time the demosaiced images from proposed CFAs are free from false colors and artifacts. We extend our algorithm such that it is not limited to only three colors but can be used for any number of spectral filters. Having more than three colors allows us to not only record an image but to record a spectral signature of the scene. We called Spectral Filter Arrays (SFAs) a mosaic for which we know the transmittance of the filter and not only their "color" (part of the spectrum with maximum transmittance). Recent technological advances give us greater flexibility in designing the spectral filters and open the door to new applications. Because silicon is inherently sensitive to Near-Infrared (NIR) radiation, both Visible and NIR filters can be combined on the same mosaic. We show that our method applies very well on RGB-NIR mosaic as far as we have an accurate database to learn from. Beyond simulation, we apply our algorithm on several real cameras having SFAs by using the RAW image extracted. We demonstrate that our method outperforms the state of art algorithms in image quality and computational efficiency. We propose a method to optimize filters transmittance and their arrangement such that it gives best results depending on evaluation metrics and application chosen. Our method is linear and therefore very fast and suitable for real time applications. Finally, to challenge the linear nature of LMMSE we propose a demosaicing algorithm using Neural Networks trained on a small database of images which provides slightly better reconstruction than the linear demosaicing, however, it is computationally more expensive.
Dans ce travail, nous discutons des problèmes invariants par translation en imagerie numérique qui peuvent-être résolus par apprentissage sur des exemples de la solution linéaire aux moindres carrés. Nous concentrons notre recherche sur le démosaïçage couleur qui est le problème invariant par translation le plus fameux en imagerie numérique; la possibilité d’estimer une image couleur résolue à partir d’une image sous-échantillonnée, acquise à travers une matrice de filtres de différentes couleurs. Pour produire des images couleurs nous devons obtenir l’information relative aux trois couleurs primaires (généralement Rouge, Vert et Bleu) à chaque pixels de l’image. Pour capturer cette information la plupart des caméras numériques utilisent une matrice de filtres couleurs (CFA – Color Filter Array en anglais), c’est-à-dire qu’une mosaïque de couleurs recouvre le capteur de manière à ce qu’une seule couleur soit mesurée à chaque position dans l’image. On peut se demander si le plus utilisé des CFA, dit de Bayer, est le meilleur compromis entre espace et couleur ou s’il faut utiliser un motif invariant par translation plus grand ou différents filtres de couleur. De plus, on peut demander quels seraient les transmittances idéales des filtres pour une application donnée. Cette méthode de mesure à travers une mosaïque est similaire à celle du système visuel humain (HVS – Human Visual System en anglais) pour lequel les cônes LMS (sensibles aux longues L, moyenne M et courte S (short en anglais)) forment également une mosaïque à la surface de la rétine. Pour le système visuel, l’arrangement est aléatoire et change entre les individus alors que pour les caméras nous utilisons des arrangements réguliers. Nous montrons par simulation qu’il y a un avantage d’avoir un échantillonnage aléatoire plutôt que régulier. L’opération qui consiste à interpoler les couleurs manquantes dans une caméra est appelé démosaïçage. Le démosaïçage peut-être simulé sur une image sous-échantillonnée ayant une seule couleur par pixel correspondante à la matrice de filtres (CFA). A cause de l’arrangement régulier ou périodique des filtres couleurs l’image reconstruite est susceptible de contenir des fausses couleurs et des artefacts. Dans la littérature, les algorithmes de démosaïçage proposés s’appliquent principalement aux CFA réguliers. Nous proposons un algorithme de démosaïçage par apprentissage statistique, qui peut être utilisé avec n’importe quelle mosaïque régulière ou aléatoire. Nous montrons que la solution obtenue est unique parce qu’elle correspond à l’estimée au moindre carré de la solution d’un problème inverse invariant par translation. L’utilisation d’un voisinage dans le modèle vectoriel améliore la redondance et l’estimation est plus robuste. De manière surprenante la solution obtenue est proche de l’état de l’art en performance. Grâce à cette méthode nous optimisons et proposons de nouvelles matrices de filtres de couleur (CFA) qui dépasse les meilleurs algorithmes sur le CFA de Bayer. En même temps, les images démosaïçées avec ces nouveaux arrangements sont sans fausses couleurs et artefacts. Nous avons étendu l’algorithme pour qu’il ne soit pas limité à trois couleurs mais puisse être utilisé pour un arrangement aléatoire d’un nombre quelconque de filtres spectraux. Avoir plus de trois couleurs permet non seulement de mieux représenter les images mais aussi de mesurer des signatures spectrales de la scène. Nous appellerons une mosaïque, matrice de filtres spectraux (SFA – Spectral Filter Array en anglais) en opposition à matrice de filtres couleurs (CFA) lorsque nous connaissons les transmittance des filtres et pas seulement leur ”couleur” (partie du spectre de transmittance maximale). Les technologies récentes nous offrent une grande flexibilité pour définir les filtres spectraux et ouvrent la porte à de nouvelles applications. Le substrat silicium dans lequel les photodiodes du capteur sont réalisées est sensible aux radiations proche infra-rouge et donc des filtres visibles et proche infra-rouge peuvent-être combinés dans la même mosaïque. Nous montrons que notre méthode s’applique très bien sur les mosaïques RGB-NIR à condition que nous ayons une base de donnée appropriée pour apprendre. Plus loin que la simulation nous appliquons notre algorithme sur plusieurs cameras réelles équipées de SFA en extrayant l’image RAW. Nous démontrons la supériorité de notre méthode sur les algorithmes de l’état de l’art en terme de qualité d’image et de vitesse de calcul. Nous proposons une méthode pour optimiser les transmittances des filtres et leur arrangement de manière à ce qu’ils délivrent les meilleurs résultats en fonction des métriques d’évaluation et de l’application choisie. La méthode est linéaire et par conséquent rapide et applicable en temps réel. Finalement, pour défier la nature linéaire de notre algorithme, nous proposons un deuxième algorithme de démosaïçage par réseaux de neurones qui à des performances légèrement meilleures mais pour un coût de calcul supérieur.
Origine : Fichiers produits par l'(les) auteur(s)