Un processus ponctuel déterminantal fini pour l'exploration de données éco-acoustiques

Pierre Baudet (1) , Mohamed Outidrarine (1) , Vincent Lostanlen (1) , Mathieu Lagrange (1) , Juan Sebastián Ulloa (2)

1 LS2N - Laboratoire des Sciences du Numérique de Nantes
2 Instituto de Investigación de Recursos Biológicos Alexander von Humboldt = Alexander von Humboldt Biological Resources Research Institute

The deployment of acoustic sensor networks in a natural environment contributes to the understanding and the conservation of biodiversity. Yet, the sheer size of audio data which result from these recordings prevents listening them in full. In order to skim through an eco-acoustic corpus, one may typically draw K snippets uniformly at random. In this article, we present an alternative method, based on K-determinantal point processes (K-DPP). This method weights the sampling of K-tuples according to a two-fold criterion of relevance and diversity. To study the eco-acoustics of a tropical dry forest in Colombia, we define relevance in terms of time--frequency second derivative (TFSD) and diversity in terms of scattering transform. Hence, we show that K-DPP offers a better tradeoff than K-means clustering. Furthermore, we estimate the species richness of the K selected snippets by means of the BirdNET birdsong classifier, which is based on a deep neural network. For K>10, K-DPP and K-means tend to produce a species checklist that is richer than sampling $K$ snippets independently without replacement.

Le déploiement de réseaux de capteurs acoustiques en milieu naturel contribue à la compréhension et à la sauvegarde de la biodiversité. Pourtant, la masse de données audio recueillies par ces capteurs ne peut être écoutée dans sa totalité. Afin de se donner un rapide aperçu auditif du contenu d'un corpus éco-acoustique, il est donc courant d'en tirer K extraits uniformément au hasard. Dans cet article, nous présentons une méthode alternative fondée sur un K-processus ponctuel déterminantal (K-DPP). Cette méthode pondère l'échantillonnage des K-uplets d'après un double critère de pertinence et de diversité. Pour l'étude éco-acoustique d'une forêt tropicale sèche en Colombie, nous définissons la pertinence en termes de dérivée seconde spectrotemporelle (TFSD) et la diversité en termes de diffusion en ondelettes. Dès lors, nous montrons que K-DPP offre un meilleur compromis qu'un partitionnement par K-moyennes. De plus, nous estimons la richesse spécifique des K extraits sélectionnés à l'aide du classifieur de chants d'oiseaux BirdNET, fondé sur un réseau de neurones profond. Pour K > 10, K-DPP et K-moyennes tendent à produire un inventaire d'espèces plus riche que K extraits tirés indépendamment.

Domaines: Son [cs.SD]

Pierre Baudet, Mohamed Outidrarine, Vincent Lostanlen, Mathieu Lagrange, Juan Sebastián Ulloa. Un processus ponctuel déterminantal fini pour l'exploration de données éco-acoustiques. GRETSI 2022, Sep 2022, Nancy, France. ⟨hal-03774508v2⟩