Caju: a content distribution system for edge networks

Guthemberg Silvestre (1, 2) , Sébastien Monnet (1) , Ruby Krishnaswamy (2) , Pierre Sens (1)

1 Regal - Large-Scale Distributed Systems and Applications
2 Orange Labs [Issy les Moulineaux]

More and more, users store their data in the cloud. While the content is then retrieved, the retrieval has to respect quality of service (QoS) constraints. In order to reduce transfer latency, data is replicated. The idea is make data close to users and to take advantage of providers home storage. However to minimize the cost of their platform, cloud providers need to limit the amount of storage usage. This is still more crucial for big contents. This problem is hard, the distribution of the popularity among the stored pieces of data is highly non-uniform: several pieces of data will never be accessed while others may be retrieved thousands of times. Thus, the trade-off between storage usage and QoS of data retrieval has to take into account the data popularity. This report presents our architecture gathering several storage domains composed of small-sized datacenters and edge devices; and it shows the importance of adapting the replication degree to data popularity. Our simulations, using realistic workloads, show that a simple cache mechanism provides a eight-fold ecrease in the number of SLA violations, requires up to 10 times less of storage capacity for replicas, and reduces aggregate bandwidth and number of flows by half.

Les données des utilisateurs sont de plus en plus externalisées, stockées dans des clouds. Lors de la récupération des données, une certaine qualité de service doit être respectée. Afin de réduire la latence d'accès, les données sont répliquées. L'idée est de rapprocher les données des utilisateurs, mais également, de tirer avantage des systèmes de stockage du fournisseur chez l'utilisateur (les ''boxes''). Cependant, afin de minimiser le coût de leur plate-forme les opérateurs de cloud doivent limiter la quantité de stockage utilisée. Ceci est d'autant plus important que les données sont volumineuses. Ce problème est dur, les données ne sont pas toutes également populaires, la popularité est distribuée de manière très hétérogène: certaines données ne seront jamais accédées alors que d'autres seront demandées des milliers de fois. Le bon compromis entre l'utilisation de l'espace de stockage et la qualité de service doit donc prendre en compte la popularité des données. Ce rapport présente notre architecture qui rassemble plusieurs domaines de stockage composés de data-center de petite taille et de périphériques de bordure; il montre l'importance d'adapter le degré de réplication à la popularité des données. Nos simulations, montrent qu'un simple mécanisme de cache arrive a diviser par 8 le nombre de violations de SLA (Service Level Agreement) tout en nécessitant 10 fois moins de capacité de stockage.

Domaines: Algorithme et structure de données [cs.DS]

Guthemberg Silvestre, Sébastien Monnet, Ruby Krishnaswamy, Pierre Sens. Caju: a content distribution system for edge networks. [Research Report] RR-8006, INRIA. 2012. ⟨hal-00712990⟩