Comment rĂ©aliser des A/B tests qui apportent de RĂELS learnings ? đ”ïž
Taille minimale d'Ă©chantillon, Metric de succĂšs, Minimum detectable effect... On s'attaque aujourd'hui Ă l'A/B test !
LâA/B test est une des maniĂšres les plus courantes dâexpĂ©rimenter en Growth ou Product.
Mais la vaste majorité des A/B tests réalisés ne suivent aucune méthode claire. Résultat ?
On se retrouve la plupart du temps avec des résultats non significatifs.
Ou pire, avec des rĂ©sultats biaisĂ©s qui nous amĂšnent Ă dĂ©clarer une version gagnante qui ne lâest probablement pas.
Et la, câest la catastrophe : vous perdez littĂ©ralement de lâargent en pensant en faire gagner. đ€Šââïž
Heureusement, il existe des méthodes et outils qui permettent de construire des A/B tests fiables.
Et lâA/B test est une arme redoutable dont il ne faut absolument pas se passer lorsque lâon cherche Ă driver de la croissance.
LâA/B Test : Une arme redoutable pour gĂ©nĂ©rer de la croissance đ„
Le concept de lâA/B test est assez simple.
Avant de dĂ©ployer une nouvelle version dâun contenu existant (un variant), on teste et compare les performances du variant aux performances du contenu original.
On définit une metric de succÚs, qui est généralement le taux de conversion.
On redirige une partie de notre audience vers la version A, une autre partie vers la version B.
Puis on sĂ©lectionne le variant gagnant â celui qui obtient le meilleur score par rapport Ă notre metric de succĂšs.
Il nous permet de valider ou non une hypothÚse préalablement définie.Par la suite, on améliore petit à petit nos metrics en répétant ces tests dans le temps.
LâA/B test est une mine dâor pour dĂ©bloquer sa croissance en optimisant les Ă©tapes de son funnel AARRR (Acquisition - Activation - RĂ©tention - Referral - Revenue).
đ Facile Ă implĂ©menter : De nombreux outils no-code permettent de par exemple construire un variant dâune page existante en quelques minutes.
đ Simple Ă tracker : On cherche Ă amĂ©liorer de lâexistant sur lequel on possĂšde dĂ©jĂ de la data. Il est donc simple de dĂ©tecter une amĂ©lioration.
đ Tout contenu peut sâA/B tester : Que ce soit un programme de referral, un objet dâe-mail, une google ADâŠle champ des possibles est incroyable.
Uber fait parti des champions de lâA/B test (et de lâexpĂ©rimentation Growth en gĂ©nĂ©ral), Ă tel point que leur Ă©quipe Tech a dĂ©veloppĂ© une solution maison : Morpheus âŹïž
Cette plateforme permet de réaliser des A/B tests précis et poussés. La menu de gauche sert à définir les différents paramÚtres nécessaires à la réalisation du test.
Pour comprendre lâimpact que lâA/B testing peut avoir sur le revenu, prenons un exemple concret đ
Je possĂšde un e-commerce de ventes dâaccessoires pour animaux.
Chaque mois, 10k personnes visitent ce site.
Sur 10k monthly visitors, ils sont :
800 Ă rĂ©aliser un ajout au panier â 8% de taux dâajout au panier.
400 Ă acheter un produit â 4% de taux conversion global.
Mon panier moyen est de 50âŹ, je rĂ©alise donc 20k⏠de CA chaque mois, 240k⏠à lâannĂ©e.
Je dĂ©cide de lancer un A/B test ayant pour objectif dâamĂ©liorer le taux dâajout au panier (8%). Jâajoute un bandeau âMade in France đ«đ·â sur mes pages produits pour augmenter la valeur perçue de mes produits et rassurer mes utilisateurs.
Le taux dâajout au panier grimpe Ă 10% (vs 8%). Mes autres taux de conversions et mon panier moyen restent stables, ma conversion globale augmente et passe Ă 5%.
Je vends dĂ©sormais 500 articles par mois (+100) et rĂ©alise 25k⏠de CA mensuel (+5kâŹ).
Mon A/B test rĂ©ussi me permet de gĂ©nĂ©rer +60k⏠de CA annuel supplĂ©mentaire. đž
Bien entendu, une partie des A/B tests Ă©chouent, câest le jeu de lâexpĂ©rimentation. Câest pourquoi on test sur des pĂ©riodes/audiences limitĂ©es avant de dĂ©ployer, pour trouver un variant qui pourra ĂȘtre dĂ©ployĂ© Ă Ă©chelle.
Le concept semble simple ? Sur le papier, oui. Dans la pratique, la plupart des A/B tests sont mal préparés et/ou mal éxécutés.
Parmi les erreurs les plus communes, on retrouve :
â Ne pas dĂ©finir la taille critique de son Ă©chantillon â Les rĂ©sultats sont trompeurs ou non significatifs. Lâerreur peut coĂ»ter cher en nous amenant dans une mauvaise direction.
â Ne pas clairement dĂ©finir sa metric de succĂšs â Un A/B test ne sera concluant que si lâon sait rĂ©ellement ce quâon cherche Ă amĂ©liorer.
â Tester plusieurs Ă©lĂ©ments en mĂȘme temps â On teste plusieurs nouveaux Ă©lĂ©ments sur notre variant (CTA, image et ajout de reviews sur une landing page par exemple). Le variant testĂ© obtient un meilleur taux de conversion et est donc dĂ©clarĂ© gagnant. Sauf que lâon nâa aucune idĂ©e de quel Ă©lĂ©ment est Ă lâorigine de lâuplift de conversion. Les learnings deviennent biaisĂ©s.
Pas de panique, on regarde ensemble comment rĂ©aliser un A/B test fiable, qui permet de rĂ©colter de VRAIS learnings. Et faire grossir son revenu. đ°
Comment rĂ©aliser un A/B test qui cartonne avec Google Optimize ? đ„
RĂ©aliser un bon A/B test qui apporte de RĂELS learnings est devenu accessible Ă tous grĂące aux outils et mĂ©thodes existants.
Pour construire notre A/B test, mettons-nous dans la peau dâun Growth Manager de Shopify dont lâobjectif est dâaugmenter le taux de conversion de la homepage du site Français.
1ïžâŁ Quelle est notre hypothĂšse ?
Nous pensons quâil est possible dâaugmenter le taux de conversion de la homepage Shopify FR en affinant notre proposition de valeur.
Nous allons donc tester une nouvelle version de la headline du site.
Avec Google Optimize, un des tools dâA/B testing les plus populaires (Optimizely et AB tasty , qui permet de rĂ©aliser des tests plus poussĂ©s, sont Ă©galement des outils couramment utilisĂ©s), nous allons crĂ©er un variant de la homepage actuelle.
Nous avons pour information en moyenne 20,000 daily visitors sur le site.
2ïžâŁ Quel est notre objectif, la metric que lâon souhaite amĂ©liorer ?
Le taux de conversion de la homepage du site.
Pour Shopify, est considĂ©rĂ©e comme conversion un user qui ajoute son email et clique sur âEssayer gratuitementâ.
3ïžâŁ Quel est le minimum detectable effect visĂ© ?
Notre taux de conversion actuel est de 7%.
Pour dĂ©clarer un variant gagnant, nous souhaitons que lâuplift du taux de conversion (le minimum detectable effect) soit minimum de 10%, pour atteindre un taux de conversion de 7,7% Ă minima.
Si ce minimum detectable effect de 10% nâest pas atteint, notre test sera dĂ©clarĂ© comme non concluant.
4ïžâŁ Sur quelle audience souhaite tâon dĂ©ployer lâA/B test ?
Tous les visiteurs de la homepage FR, avec une rĂ©partition de 50% (âEvenly splitâ) pour chacun de nos deux variants.
5ïžâŁ Quelle est la taille minimale de notre Ă©chantillon et le temps de run nĂ©cessaire Ă cet A/B test ?
Il faut bien avoir en tĂȘte que pour tirer des conclusions significatives dâun A/B test, de nombreux paramĂštres entrent en jeu :
le taux de conversion actuel
le minimum detectable effect (qui est lâuplift de conversion visĂ©)
lâindice de confiance dans les rĂ©sultats
le nombre de visiteurs exposés à chacun des variants
le temps de run de lâA/B test
GrĂące Ă nos hypothĂšses dĂ©finies en amont, on se sert dâun âSample Size Calculatorâ pour calculer la taille de notre Ă©chantillon. Cela nous permet dâĂ©viter pas mal de formules statistiques plutĂŽt complexes.
Nous utilisons ici ce calculateur proposé par A/B tasty (des dizaines de solides alternatives sont accessibles via une simple recherche Google).
Pour maximiser nos chances de tirer des conclusions utiles, nous allons entrer 95% dans la case âStatistical Significanceâ : câest lâindice de confiance communĂ©ment visĂ© pour des A/B tests.
Au vu de nos hypothĂšses, nous allons devoir :
pousser chaque variant Ă +21k users
faire tourner lâA/B test durant 2 jours Ă minima
Google Optimize recommande de runner des A/B tests pendant 14 jours, mais je déconseille personnellement de faire durer beaucoup plus si les niveaux de confiance sont élevés une fois ce délai passé.
Comment faire si mon site a peu de traffic ?
Il nâest pas rare, notamment en phase de lancement ou sur du B2B trĂšs ciblĂ©, que le traffic journalier de votre site web soit faible. Dans ce cas, pour Ă©viter de trop faire baisser notre indice de confiance en les rĂ©sultats, il faut chercher Ă dĂ©tecter un uplift (le âMinimum detectable effectâ) Ă©levĂ©. Plus ce score est Ă©levĂ©, moins le nombre de visiteurs requis pour le test sera Ă©levĂ©.
7ïžâŁ On peut dĂ©sormais passer Ă la construction de notre A/B test avec Google Optimize đ
Suite Ă notre travail prĂ©alable, nous nâavons quâĂ remplir quelques informations sur Google Optimize et crĂ©er notre variant pour lancer notre A/B test.
Optimize permet de réaliser trÚs simplement les modifications de notre landing page initial via un éditeur no-code :
On se rend ensuite dans le Dashboard Google optimize, dans le 1er encart âTargeting and variantsâ pour dĂ©finir :
la rĂ©partition du traffic sur chaque variant â ici, notre audience est âevenly splitâ. 50% des visiteurs verront la version originale, 50% le variant.
la page sur laquelle on souhaite appliquer le test â la homepage FR de Shopify.
lâaudience targetĂ©e â tous les visiteurs.
Pour la mesure du succĂšs de lâA/B test :
On connecte son Google Analytics (disponible avec GA4 seulement) Ă Optimize.
Les objectifs de conversions sont remontĂ©s automatiquement depuis GA4 â on choisit de maximiser le nombre de âforms startedâ ici, qui correspond Ă lâĂ©vĂšnement de conversion de notre homepage.
8ïžâŁ Analysons maintenant les rĂ©sultats de notre A/B test đ
Google Optimize nous propose un Dashboard reporting pour analyser nos résultats.
La metric la plus importante Ă regarder Ă©tant ici le âProbability to be Bestâ, qui permet de dĂ©finir le succĂšs ou lâĂ©chec de lâA/B test.
On peut conclure que cet A/B test est un Ă©chec, car notre homepage originale obtient une âProbability to be Bestâ" > 99%. Lâindice de confiance est donc suffisamment Ă©levĂ© pour conclure ce test.
Vous devriez maintenant savoir lancer lâA/B test dâune landing page avec Google Optimize comme de vrais pros âïž
Il faut bien comprendre que, dans notre exemple présenté ci-dessus, Google Optimize réalise une grosse partie du travail de calcul pour nous.
Il existe bien dâautre type dâA/B tests, ou la mĂ©thodologie est la mĂȘme, mais ou le travail dâanalyse statistique devra ĂȘtre rĂ©alisĂ© de maniĂšre manuelle.
On peut par exemple imaginer un cas dâA/B test ou une application mobile cherche Ă dĂ©tecter lâimpact dâune notification Push quotidienne sur lâengagement de ses utilisateurs.
Pour comparer lâimpact de cette notification Push, lâentreprise devra crĂ©er un control group et un experimental group :
Le control group ne reçoit pas de Push
Lâexperimental group reçoit une Push quotidienne
On comparera ensuite le taux dâengagement du control group VS experimental group pour comprendre lâimpact de cette Push quotidienne.
A vous de jouer dĂ©sormais đ§Ș
LâA/B test est un terrain de jeu incroyable que chaque entreprise, quelle que soit sa typologie ou son secteur, doit absolument appliquer.
En suivant des frameworks clairs, A/B tester réguliÚrement vos landing pages, ads, emails, vous permettra de réaliser des améliorations de vos contenus basés sur la donnée et non la perception.
Pour amĂ©liorer vos metrics business de maniĂšre incrĂ©mentale et dĂ©bloquer des opportunitĂ©s de croissance. đ