Réseaux récurrents d'attention pour la régression de séries temporelles

Victor Perrier (1, 2) , Emmanuel Lochin (3) , Jean-Yves Tourneret (4) , Patrick Gélard (5)

1 TESA - Laboratoire de recherche coopératif dans les télécommunications spatiales et aéronautiques
2 ISAE-SUPAERO - Institut Supérieur de l'Aéronautique et de l'Espace
3 ENAC - Ecole Nationale de l'Aviation Civile
4 ENSEEIHT - Ecole Nationale Supérieure d'Electrotechnique, d'Electronique, d'Informatique, d'Hydraulique et de Télécommunications
5 CNES - Centre National d'Études Spatiales [Toulouse]

Cet article étudie une nouvelle architecture récurrente basée sur l'attention, plus légère et moins coûteuse en temps de calcul qu'un réseau d'attention global. Nous détaillons en quoi ce type d'architecture permet d'atteindre de meilleures performances que des réseaux récurrents plus classiques, dans le cas de la régression de séries temporelles. Nous montrons son intérêt pour la prédiction de l'état d'un réseau de communication, et plus particulièrement pour la détection de la congestion.

Domaines: Réseaux et télécommunications [cs.NI]

Victor Perrier, Emmanuel Lochin, Jean-Yves Tourneret, Patrick Gélard. Réseaux récurrents d'attention pour la régression de séries temporelles. XXVIIIème Colloque Francophone de Traitement du Signal et des Images -GRETSI'22, Sep 2022, Nancy, France. ⟨hal-03683785⟩