Dynamic allocation optimization in A/B tests using classification-based preprocessing

Intégration des séries temporelles dans les A/B-Tests

Emmanuelle Claeys (1) , Pierre Gançarski (1) , Myriam Maumy-Bertrand (2)

1 ICube - Laboratoire des sciences de l'ingénieur, de l'informatique et de l'imagerie
2 IRMA - Institut de Recherche Mathématique Avancée

An A/B test evaluates the impact of a new technology by running it in a real production environment and testing its performance on a set of items. Recently, promising new methods are optimizing A/B tests with dynamic allocation. They allow for a quicker result regarding which variation (A or B) is the best, saving money for the user. However, dynamic allocation by traditional methods requires certain assumptions, which are not always verified in reality. This is mainly due to the fact that the populations tested are not homogeneous. This document reports on the new reinforcement learning methodology which has been deployed by the commercial A/B testing platform AB Tasty. We provide a new method that not only builds homogeneous groups for a user, but also allows to find the best variation for these groups in a short period of time. This paper provides numerical results on AB Tasty data, but also on public data sets, to demonstrate an improvement in A/B testing over traditional methods.

Récemment en e-commerce, de nouvelles méthodes promet-teuses optimisent les A/B-Tests en utilisant une allocation dynamique des items aux variations permettant ainsi de déterminer plus rapidement la meilleure variation et donc de réduire les coûts du test. Cependant, ces méthodes qui peuvent s'apparenter à un apprentissage par renforcement, restent limitées à des données statiques et ne peuvent prendre en compte des données temporelles évolutives. Nous présentons ici deux nouvelles méthodes basées sur une approche commune, qui permettent d'intégrer des séries temporelles dans le profil des visiteurs. Nous montrons dans cet article qu'elles améliorent l'allocation dynamique des A/B-Tests en présentant des résultats obtenus sur des données issues de tests réels.

Mots clés: Classification; Bandit strategies; None linear bandit; Conditional inference tree; Regret minimization; UCB strategies; A/B Testing; Index Terms-A/B-Test; Non linear bandit; Regret minimisation

Domaines: Algorithme et structure de données [cs.DS]; Machine Learning [stat.ML]; Apprentissage [cs.LG]

Emmanuelle Claeys, Pierre Gançarski, Myriam Maumy-Bertrand. Intégration des séries temporelles dans les A/B-Tests. Extraction et Gestion des Connaissances 2020, Jan 2020, Brussels, Belgique. ⟨hal-02572655⟩