Apprentissage sur Données Massives; trois cas d'usage avec R, Python et Spark. - Archive ouverte HAL Accéder directement au contenu
Chapitre D'ouvrage Année : 2017

Big Data analytics. Three use cases with R, Python and Spark

Apprentissage sur Données Massives; trois cas d'usage avec R, Python et Spark.

Résumé

Management and analysis of big data are systematically associated with a data distributed architecture in the Hadoop and now Spark frameworks. This article offers an introduction for statisticians to these technologies by comparing the performance obtained by the direct use of three reference environments: R, Python Scikit-learn, Spark MLlib on three public use cases: character recognition, recommending films, categorizing products. As main result, it appears that, if Spark is very efficient for data munging and recommendation by collaborative filtering (non-negative factorization), current implementations of conventional learning methods (logistic regression, random forests) in MLlib or SparkML do not ou poorly compete habitual use of these methods (R, Python Scikit-learn) in an integrated or undistributed architecture
La gestion et l'analyse de données massives sont systématiquement associées à une architecture de données distribuées dans des environnements Hadoop et maintenant Spark. Cet article propose aux statisticiens une introduction à ces technologies en comparant les performances obtenues par l'utilisation élémentaire de trois environnements de référence : R, Python Scikit-learn, Spark MLlib sur trois cas d'usage publics : reconnaissance de caractères, recommandation de films, catégorisation de produits. Comme principal résultat, il en ressort que si Spark est très performant pour la préparation des données et la recommandation par filtrage collaboratif (factorisation non négative), les implémentations actuelles des méthodes classiques d'apprentissage (régression logistique, forêts aléatoires) dans MLlib ou SparkML ne concurrencent pas ou mal une utilisation habituelle de ces méthodes (R, Python Scikit-learn) dans une architecture intégrée au sens de non distribuée.
Fichier principal
Vignette du fichier
Hal-Apprent_Massif-BGL-06-16.pdf (516.34 Ko) Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)
Loading...

Dates et versions

hal-01350099 , version 1 (29-07-2016)
hal-01350099 , version 2 (08-08-2016)
hal-01350099 , version 3 (29-09-2016)

Identifiants

Citer

Philippe Besse, Brendan Guillouet, Jean-Michel Loubes. Apprentissage sur Données Massives; trois cas d'usage avec R, Python et Spark.. Myriam MAUMY-BERTRAND, Gilbert SAPORTA,Christine THOMAS-AGNAN. Apprentissage Statistique et Données Massives, Technip, 2017, Journées d'Etudes en Statistisque. ⟨hal-01350099v3⟩
2201 Consultations
9413 Téléchargements

Altmetric

Partager

Gmail Facebook X LinkedIn More