Cosparse regularization of physics-driven inverse problems
Régularisation co-parcimonieuse de problèmes inverse guidée par la physique
Résumé
Inverse problems related to physical processes are of great importance in practically every field related to signal processing, such as tomography, acoustics, wireless communications, medical and radar imaging, to name only a few. At the same time, many of these problems are quite challenging due to their ill-posed nature.
On the other hand, signals originating from physical phenomena are often governed by laws expressible through linear Partial Differential Equations (PDE), or equivalently, integral equations and the associated Green’s functions. In addition, these phenomena are usually induced by sparse singularities, appearing as sources or sinks of a vector field. In this thesis we primarily investigate the coupling of such physical laws with a prior assumption on the sparse origin of a physical process. This gives rise to a “dual” regularization concept, formulated either as sparse analysis (cosparse), yielded by a PDE representation, or equivalent sparse synthesis regularization, if the Green’s functions are used instead. We devote a significant part of the thesis to the comparison of these two approaches. We argue that, despite nominal equivalence, their computational properties are very different. Indeed, due to the inherited sparsity of the discretized PDE (embodied in the analysis operator), the analysis approach scales much more favorably than the equivalent problem regularized by the synthesis approach.
Our findings are demonstrated on two applications: acoustic source localization and epileptic source localization in electroencephalography. In both cases, we verify that cosparse approach exhibits superior scalability, even allowing for full (time domain) wavefield extrapolation in three spatial dimensions. Moreover, in the acoustic setting, the analysis-based optimization benefits from the increased amount of observation data, resulting in a speedup in processing time that is orders of magnitude faster than the synthesis approach. Numerical simulations show that the developed methods in both applications are competitive to state-of-the-art localization algorithms in their corresponding areas. Finally, we present two sparse analysis
methods for blind estimation of the speed of sound and acoustic impedance, simultaneously with wavefield extrapolation. This is an important step toward practical implementation, where most physical parameters are unknown beforehand. The versatility of the approach is demonstrated on the “hearing behind walls” scenario, in which the traditional localization methods necessarily fail.
Additionally, by means of a novel algorithmic framework, we challenge the audio declipping problem regularized by sparsity or cosparsity. Our method is highly competitive against state-of-the-art, and, in the cosparse setting, allows for an efficient (even real-time) implementation.
Le résumé suivant propose un survol intuitif du contenu de cette thèse, en langue française. Un panorama de l’état de l’art, le détail des méthodes proposées et les perspectives futures ouvertes par notre travail sont disponibles (en anglais) dans le reste du manuscrit. Introduction Si l’on devait décrire de la manière la plus concise possible le traitement du signal en tant que discipline, on pourrait probablement dire qu’il s’agit de la discipline s’attachant
à résoudre des problèmes inverses. En effet, pratiquement toutes les tâches de traitement de signal, aussi naïves fussent-elles, peuvent être formulées comme des problèmes inverses. Malheureusement, beaucoup de problèmes inverses sont mal posés ; ils sont généralement
abordés par le biais de techniques de régularisation appropriées.
La régularisation au moyen d’un modèle parcimonieux des données (également appelé modèle de parcimonie à la synthèse, ou tout simplement parcimonie) est une tendance désormais bien installée (elle dure depuis plus de vingt ans !) et qui a été appliquée avec succès à de nombreux
cas. Son succès est attribué à une explication intuitive, selon laquelle les signaux de la Nature admettent des descriptions « simples » – dans le cas de la parcimonie à la synthèse, une combinaison linéaire de quelques atomes choisis dans un dictionnaire. Plus récemment, une régularisation alternative (ou complémentaire) a émergé : le modèle de parcimonie à l’analyse (ou co-parcimonie), dans lequel on suppose que le signal peut être rendu parcimonieux par
l’application d’une transformation linéaire bien choisie, désignée sous le nom d’opérateur d’analyse. Ces deux modèles sont fondamentalement différents, en dehors du cas particulier où le dictionnaire et l’opérateur sont inverses l’un de l’autre. En règle générale, on ne peut répondre catégoriquement à la question : « quel est le meilleur modèle ? ». Il est plutôt supposé que leur utilité dépend principalement du problème particulier que l’on est en train de
considérer. Cependant, les études qui comparent vraiment ces deux modèles, en dehors du contexte purement théorique, sont extrêmement rares. Dans les travaux que nous présentons, nous visons à faire la lumière sur cette question, en nous concentrant sur une classe de problèmes inverses liés aux processus physiques, que nous baptisons problèmes inverses gouvernés par la Physique.
Prologue : la désaturation audio Avant de plonger dans nos contributions principales, nous prendrons un détour. Nous explorons le problème inverse de la désaturation des signaux audibles, régularisé par unmodèle parcimonieux ou coparcimonieux. La saturation d’amplitude, en anglais clipping, se produit souvent lors d’un enregistrement audio, de sa restitution ou lors des conversions analogique-numérique. Ce problème commun en traitement de signal
audio existe également dans les domaines du traitement de l’image ou des communications numériques (par exemple, en OFDM).
L’observation-clef est que la saturation produit des discontinuités, qui se traduisent en une dispersion de l’énergie dans le plan temps-fréquence. Cette constatation peut être exploitée pour inverser le processus : construire un estimateur du signal d’origine qui soit cohérent avec les contraintes liées à la saturation et dont l’énergie soit concentrée en temps-fréquence. Notre but est de développer un algorithme de désaturation audio, compétitif face à l’état de
l’art, qui puisse intégrer de la même manière une hypothèse de parcimonie à la synthèse ou à l’analyse, de manière à former un bon indicateur de comparaison des deux modèles. Ce but est atteint dans le cadre algorithmique que nous avons baptisé SParse Audio DEclipper (SPADE). Il déploie la régularisation parcimonieuse ou coparcimonieuse par une approche gloutonne non-convexe, fondée sur les algorithmes de type Alternating DirectionMethod of Multipliers (ADMM).
Les résultats sont présentés en termes de performances numériques et d’évaluation perceptive, et incluent une comparaison avec l’état de l’art. Ils nous ont amenés à la conclusion que la méthode fondée sur la parcimonie à la synthèse est légèrement plus performante en termes de reconstruction du signal, mais au prix d’un coût computationnel énorme. D’autre part, la version fondée sur la parcimonie à l’analyse se situe à peine en-dessous en termes de
performance, mais permet une mise en oeuvre extrêmement efficace, permettant même un traitement en temps-réel.De surcroît, les deux versions de SPADE sont tout-à-fait compétitives face aux approches de l’état de l’art.
Problèmes inverses gouvernés par la Physique Nous poursuivons nos investigations avec des problèmes inverses soulevés dans un contexte physique (que nous appelons « gouvernés par la Physique »), qui sont des problèmes d’une grande importance pratique dans bien des domaines reliés au traitement du signal. Ils sont fondamentaux dans des applications telles que la tomographie, l’acoustique, les communications sans fil, le radar, l’imagerie médicale, pour n’en nommer que quelques unes. Dans le même temps, beaucoup de ces problèmes posent de grands défis, en raison de leur nature mal-posée. Cependant, les signaux qui émanent de phénomènes physiques sont souvent gouvernés par des lois connues, qui s’expriment
sous la forme d’équations aux dérivées partielles (EDP). Pourvu que certaines hypothèses sur l’homogénéité des conditions initiales et aux limites soient vérifiées, ces lois possèdent une représentation équivalente sous la forme d’équations intégrales, et des fonctions de Green associées.
De plus, les phénomènes physiques considérés sont souvent induit par des singularités que l’on pourrait qualifier de parcimonieuses, décrites comme des sources ou des puits dans un champ vectoriel. Dans cette thèse, nous étudions en premier lieu le couplage entre de telles lois physiques et une hypothèse initiale de parcimonie des origines du phénomène physique. Ceci donne naissance à un concept de dualité des régularisations, formulées soit comme un
problème d’analyse coparcimonieuse (menant à la représentation en EDP), soit comme une parcimonie à la synthèse équivalente à la précédente (lorsqu’on fait plutôt usage des fonctions de Green). Nous nommons ce concept cadre (co)parcimonieux gouverné par la Physique (physics-driven (co)sparse framework) et dédions une part significative de notre travail à la comparaison entre les approches de synthèse et d’analyse. Nous défendons l’idée qu’en dépit de leur équivalence formelle, leurs propriétés computationnelles sont très différentes. En effet, en raison de la parcimonie héritée par la version discrétisée de l’EDP1 (incarnée par l’opérateur d’analyse), l’approche coparcimonieuse passe bien plus favorablement à l’échelle que le problème équivalent régularisé par parcimonie à la synthèse. Afin de résoudre les problèmes d’optimisation convexe découlant de l’une et l’autre des approches de régularisation, nous développons une version générique et sur-mesure de l’algorithme Simultaneous Direction Method of Multipliers (SDMM), baptisé Weighted SDMM. Nos constatations sont illustrées dans le cadre de deux applications : la localisation de sources acoustiques, et la localisation de sources de crises épileptiques à partir de signaux électro-encéphalographiques.
Application 1 : localisation de sources acoustiques Parmi bien d’autres applications, la localisation de sources acoustiques (ou sonores) est notamment utilisée pour le débruitage, la déréverbération, le suivi de sources, le positionnement de robots, ou l’imagerie sismique ou médicale. Les méthodes traditionnelles de localisation de source sont fondées sur l’estimation de la différence de temps d’arrivée (en anglais TDOA pour Time Difference Of Arrival) ou sur des techniques de formation de voies (beamforming). Toutes ces approches, qu’elles soient plus ou moins performantes en terme de robustesse ou de précision, souffrent invariablement de la réverbération (c’est-à-dire l’existence de trajets acoustiques multiples) et visent à en supprimer les effets. Pourtant, dans d’autres domaines tels que les communications sans fil, les chemins multiples sont régulièrement et efficacement exploités en tant que source supplémentaire d’information, souvent dans le but d’améliorer le Rapport Signal-sur-Bruit (en anglais SNR pour Signal-to-Noise Ratio). Inspirés par ces techniques et motivés par le succès de plusieurs travaux récents dans cette direction, nous proposons une méthode générique de localisation de sources sonores qui s’appuie sur l’interpolation du champ sonore. Après avoir rappelé que la propagation du son dans l’air est modélisée par une EDP linéaire dépendant du temps appelée équation des ondes, nous la discrétisons et l’embarquons dans un opérateur d’analyse qui s’exprime sous forme matricielle (et qui incorpore également les conditions initiales et aux bords). Dans ce cadre, la représentation équivalente par les fonctions de Green est obtenue en formant un dictionnaire de synthèse qui n’est autre que l’inverse matriciel de l’opérateur d’analyse. En supposant que le nombre de sources est petit par rapport à l’ensemble de l’espace discrétisé, nous pouvons alors formuler un problème inverse régularisé d’interpolation du champ sonore, c’est-à-dire un problème d’estimation du champ de pression acoustique à toutes les coordonnées de l’espace-temps discrétisé. L’estimateur obtenu est alors seuillé afin de déterminer les positions potentielles des sources sonores.
Nos simulations indiquent que les deux approches, parcimonieuse comme coparcimonieuse, atteignent de hautes performances de localisation, et, comme prévu, qu’elles produisent des estimées identiques (à la précision numérique près). Cependant, la seconde démontre une meilleure capacité de passage à l’échelle (O(st) vs O(mst2), où m, s et t désignent respectivement le nombre de microphones, de points dans l’espace et d’échantillons temporels), au
point qu’elle permet même une interpolation complète du champ de pression dans le temps et en trois dimensions. De plus, l’optimisation fondée sur le modèle d’analyse bénéficie d’une augmentation du nombre de données observées, ce qui débouche sur une accélération du temps de traitement, qui devient plus rapide que l’approche de synthèse dans des proportions atteignant plusieurs ordres de grandeur. Enfin, l’approche proposée est compétitive face à la version stochastique de l’algorithme SRP-PHAT, qui constitue actuellement l’état de l’art dans la tâche de localisation de source.
Scénarios avancés de localisation coparcimonieuse de sources sonores L’approche précédemment introduite repose lourdement sur la connaissance explicite de la géométrie spatiale de la pièce, de la paramétrisation des conditions aux limites, et du milieu de propagation. Afin de relâcher ces hypothèses incommodes, nous proposons deux algorithmes réalisant l’estimation simultanée du champ de pression acoustique et de certains de ces paramètres
physiques.
En premier lieu, nous considérons le cas d’une vitesse du son inconnue, ce qui est pertinent d’un point de vue pratique, en raison par exemple de l’existence d’un gradient de température dans la pièce. Nous introduisons l’hypothèse raisonnable que la vitesse du son est constante dans le temps et fonction assez régulière de l’espace. Concrètement, nous considérons qu’elle peut être approchée par un polynôme discrétisé d’ordre r, ce qui réduit drastiquement le nombre de degrés de liberté pour ce paramètre (O(rd) vs O(st), où d est le nombre de dimensions). Le problème de l’estimation simultanée de la vitesse du son et du champ de pression sonore est biconvexe, et nous lui appliquons une heuristique de type ADMM non-convexe pour en approcher la solution. Cette méthode est baptisée Blind Localization and Sound Speed estimation (BLESS). Les résultats préliminaires indiquent qu’une estimation presque parfaite est possible lorsque r Æ 1 ou r Æ 2, au prix d’une augmentation modérée du nombre de microphones (par rapport aux cas où la vitesse de propagation du son est parfaitement connue au préalable).
Dans un second scénario, nous étudions la possibilité d’estimer simultanément le champ de pression acoustique et le coefficient d’impédance acoustique spécifique, qui paramétrise les bords du domaine. C’est également un problème qui a des implications pratiques importantes, car il est généralement très difficile de deviner précisément et à l’avance la valeur de ce paramètre physique. Pour contourner le caractèremal-posé de ce problème, nous supposons
que l’impédance est constante par morceaux, ce qui est justifié physiquement par le fait que les bords sont habituellement constitués de structures macroscopiquement homogènes, telles que des murs, des portes ou des fenêtres. L’hypothèse nous suggère qu’une régularisation
de type variation totale peut être utilisée pour promouvoir des solutions de cette nature. À nouveau, l’estimation simultanée est formulée comme un problème biconvexe et résolue par une forme non-convexe d’ADMM. Les résultats de simulation sont étonnamment optimistes, puisque notre méthode, baptisée Cosparse Acoustic Localization, Acoustic Impedance estimation and Signal recovery (CALAIS), atteint des résultats presque identiques aux résultats d’une localisation coparcimonieuse standard en présence de conditions aux bords parfaitement connues.
Pour finir, nous démontrons la capacité de la localisation coparcimonieuse à aborder un problème où les méthodes traditionnelles échoueraient nécessairement. Dans ce scénario, que nous appelons « entendre derrière les murs », les sources sonores et les microphones sont séparés par un obstacle acoustiquement opaque qui empêche toute observation du chemin direct de propagation (mais permet à des réflexions d’atteindre les microphones). Tandis que l’absence de la contribution du chemin direct à l’observation interdit toute application des méthodes classiques fondées sur le TDOA, la localisation coparcimonieuse exploite l’information contenue dans les échos pour réaliser une localisation précise des sources, même lorsque
la « porte » qui permet le passage de ces cheminsmultiples est relativement petite.
Application 2 : localisation de sources dans le cerveau Notre dernière application cible est
l’électro-encéphalographie (EEG), ou plus précisément, la localisation de sources de crises
épileptiques à partir des mesures du potentiel électrique sur le scalp. Le modèle physique sous-jacent, qui lie les potentiels en surface et les sources épileptiques, c’est-à-dire les courants électriques distincts dans le cerveau, est gouverné par l’équation de Poisson. En sus, les sources sont modélisées comme des dipôles électriques, ce qui mime l’activité corrélée de groupes de neurones parallèles. Enfin, il est physiologiquement admis que les sources pertinentes se situent exclusivement dans la région du cortex, et sont orientées perpendiculairement à la matière grise. Ces hypothèses facilitent la résolution du problème inverse émergeant du système de mesures (limité à des électrodes sur la surface de la tête), qui serait autrement très mal posé.
Malheureusement, ces connaissances et hypothèses préalables restent insuffisantes pour assurer que le problème inverse de localisation de sources en EEG soit bien posé. Par conséquent, le problème est généralement abordé par des techniques variées, par exemple statistiques (fondées sur les moments ou les cumulants d’ordre supérieur), ou variationnelles (par exemple la régularisation de Tikhonov). Plusieurs méthodes récentes supposent que les sources sont spatialement parcimonieuses, ce qui est également l’approche que nous avons choisie. La méthode que nous proposons découle tout naturellement de notre cadre de régularisation (co)parcimonieuse gouvernée par la physique. La discrétisation de l’équation de Poisson et l’ajout du modèle de sources dipolaires conduit à l’expression de l’opérateur d’analyse. Le dictionnaire de synthèse correspondant se réduit, à nouveau, à l’inverse matriciel de l’opérateur d’analyse. Comme dans le cas de l’acoustique, la version c« analyse » passe bien mieux à l’échelle que la version « synthèse », qui toutes les deux fournissent des performances compétitives devant l’état de l’art. La méthode proposée se révèle particulièrement robuste au cas où les sources épileptiques sont mutuellement dépendantes.Dans ce cas, les performances des méthodes d’inversion statistiques (par exemple, la bien connue méthode MUltiple SIgnal Classification –MUSIC) décroissent très significativement.