Toward optimized 802.15.4 industrial wireless networks : Harnessing machine learning and digital twins
Vers des réseaux sans fil industriels 802.15.4 optimisés : exploitation de l'apprentissage automatique et des jumeaux numériques
Résumé
The Industrial Internet of Things (IIoT) presents a complex landscape with numerous constraints, particularly due to their use to control critical applications in Industry 4.0. The requirements in such a context in terms of energy efficiency and quality of service (delay, reliability, determinism and robustness) are strict and of paramount importance. Consequently, there is a pressing need for sophisticated management mechanisms throughout their entire lifecycle to meet these needs. This thesis explores two technological fronts to address this challenge: Reinforcement Learning-based Time Slotted Channel Hopping (TSCH) scheduling and Network Digital Twin (NDT). TSCH scheduling in IIoT, is identified as a crucial area to optimize the performance of these networks. Several works proposed Reinforcement Learning-based scheduling techniques for TDMA (Time Division Multiple Access ) MAC protocols, and particularly for TSCH. However, using this approach in a constrained network like the IIoT carries the risk of elevated energy consumption. This is due to the continuous learning process and coordination among the nodes necessary to manage the non-stationarity issue in the network, which is viewed as a Multi-Agent System. This thesis introduces a novel Reinforcement Learning-based distributed scheduling algorithm, QL-TSCH-plus. This algorithm has been designed to be adaptive and efficient, with reduced energy consumption and delay targets inherent to IIoT environments. Parallel to the development of TSCH scheduling, this thesis adopts the concept of NDT as a viable solution for effective IIoT management. Digital twins have been increasingly used to optimize the performances of industrial systems. Capitalizing on this technology, a holistic NDT architecture for the IIoT is proposed, where the network is integrated with other industrial components. The architecture leverages Software Defined Networking to enable closed-loop network management across the entire network life-cycle (from design to service). This architecture enables quick validation of networking solutions in an industrial environment because of the continuous link between the NDT and the physical IIoT network. Moreover, we propose to model the IIoT in the NDT using Petri-nets, enabling data-driven Petri-nets. These serve as coarse-grained formal models enabling fast simulation time for what-if scenarios execution, and real-time fault detection that is crucial in mission-critical industrial applications.
L'Internet Industriel des Objets (IIoT) offre un paysage complexe avec de nombreuses contraintes, notamment en raison de son utilisation pour piloter des applications critiques dans l'Industrie 4.0. Les exigences dans un tel contexte, en termes d'efficacité énergétique et de qualité de service (délai, fiabilité, déterminisme et robustesse), sont strictes et d'une importance capitale. Il en découle un besoin impératif de mécanismes de gestion sophistiqués tout au long de leur cycle de vie pour répondre à ces exigences. Cette thèse explore deux axes technologiques pour relever ce défi : l'ordonnancement basé sur l'Apprentissage par Renforcement pour le protocole TSCH (Time Slotted Channel Hopping) et le Jumeau Numérique du Réseau (JNR). L'ordonnancement TSCH dans l'IIoT est identifiée comme un domaine essentiel pour optimiser la performance de ces réseaux. Plusieurs travaux ont proposé des techniques d'ordonnancement basées sur l'Apprentissage par Renforcement pour les protocoles MAC TDMA (Time Division Multiple Access) , et plus particulièrement pour TSCH. Toutefois, l'utilisation de cette approche dans un réseau contraint comme l'IIoT présente le risque d'une consommation énergétique accrue. Cela est dû au processus d'apprentissage continu et à la coordination entre les nœuds nécessaire pour gérer le problème de non-stationnarité du réseau, considéré comme un Système Multi-Agents. Cette thèse présente un nouvel algorithme d'ordonnancement distribué basé sur l'Apprentissage par Renforcement, nommé QL-TSCH-plus. Cet algorithme est conçu pour être adaptatif et efficace, avec des objectifs de réduction de la consommation d'énergie et des délais propres aux environnements IIoT. En parallèle du développement de l'ordonnancement pour TSCH, cette thèse adopte le concept de JNR comme solution viable pour une gestion efficace de l'IIoT. Les jumeaux numériques sont de plus en plus utilisés pour optimiser les performances des systèmes industriels. En capitalisant sur cette technologie, une architecture JNR holistique pour l'IIoT est proposée, où le réseau est intégré avec d'autres composants industriels. L'architecture exploite les réseaux définies par logiciel (SDN) pour permettre une gestion en boucle fermée du réseau tout au long de son cycle de vie (de la conception au service). Cette architecture facilite la validation rapide des solutions réseau dans un environnement industriel grâce au lien continu entre le JNR et le réseau IIoT physique. De plus, nous proposons de modéliser l'IIoT dans le JNR en utilisant des réseaux de Petri, permettant des réseaux de Petri basés sur les données. Ces modèles servent de modèles formels à gros grains, permettant une simulation rapide pour l'exécution de scénarios hypothétiques et une détection des fautes en temps réel, essentielle dans les applications industrielles critiques.
Origine : Fichiers produits par l'(les) auteur(s)