Qu’est ce que l’A/B test? Comment designer son 1er A/B test? Comment mesurer la réussite ou l’échec de son expérience? On répond à toutes ces questions dans ce nouvel épisode de Parlons Design. 📚 Pablooo.club, la librairie de screenshots iOS & Web collaborative et gratuite: https://pablooo.club 📰 La newsletter des meilleurs contenus design sélectionnés à la main: https://partageons.romainpenchenat.com/#follow 💬 Discutons ensemble sur LinkedIn www.linkedin.com/in/romain-penchenat/ 🔊 Jingle par Studio Module: www.studio-module.com This is a public episode. If you'd like to discuss this with other subscribers or get access to bonus episodes, visit parlonsdesign.substack.com/subscribe
Audio and video play straight from the show's own hosting. PodSubs stores and serves no media.
Transcript
From the show. Tap a time to play from there.
SPEAKER_00L'AB-Test est un outil imparable pour répondre à de nombreuses questions d'optimisation. Pour tester des changements mineurs ou sécuriser des évolutions majeures, bienvenue dans ce guide de l'AB-Test
SPEAKER_01niveau 1.
SPEAKER_00Cette saison est sponsorisée par Pablo.club, la plus grande librairie de screenshots pour vos benchmarks design. Lien en description. Salut, c'est Romain Penchenat, bienvenue dans ce guide débutant de l'AB-Test. L'idée, c'est vraiment de partir des bases et arriver jusqu'à la mise en place concrète d'un AB-Test avec les bonnes pratiques. On fera également un épisode 2 plus avancé dans quelques semaines. Alors commençons directement. L'A-B-Test,
SPEAKER_00c'est le fait de comparer en production deux versions d'une même interface, d'une même solution. Alors il y a plusieurs mots-clés importants là-dedans. Le premier, c'est en production. Ça veut dire qu'on va vraiment développer et déployer les deux versions. On va notamment les mettre en face d'un gros volume d'utilisateurs sans supervision. Donc c'est vraiment vos utilisateurs classiques qui vont arriver sur votre site, voir l'un ou voir l'autre. Le deuxième élément important de l'A-B test c'est évidemment le fait qu'on a deux versions.
SPEAKER_00Elles peuvent avoir des petites ou des grosses différences. Ce qui est important, c'est qu'on ait un même point de départ et un même critère de succès. Et bien évidemment, les deux versions vont avoir des façons différentes de remplir la mission entre deux. Ça peut être aussi simple qu'un wording qui diffère entre la version A et la version B. Ou des choses très compliquées comme deux approches totalement opposées d'une page produit par exemple que vous allez pouvoir comparer, d'un écran de sign-up ou autre.
SPEAKER_00On peut aller du trait micro au trait macro sans souci avec un AB test. Et enfin, le dernier mot, c'est le mot comparer qui est hyper important parce qu'on doit avoir des critères quantitatifs mesurables et comparables entre les deux versions afin de pouvoir élire un vainqueur basé pas seulement sur un ressenti mais sur des données concrètes. Alors si c'est encore un petit peu flou après cette première définition, on va approfondir tout ça en deux étapes. Un, la mise en place d'un AB test, hyper important, et deux, l'analyse de cet AB test.
SPEAKER_00D'autant plus important parce que bien mettre en place un AB test ne suffit pas si on ne sait pas bien le mesurer et surtout bien l'analyser. S'il y a vraiment des pièges dans lesquels on tombe tout le temps quand on commence à faire de l'AB test sans se renseigner, donc mieux vaut profiter de cet épisode pour qu'on les esquive ensemble. Alors, premièrement, pour la mise en place d'un ABTest, il y a bien évidemment quelques préroqués. Le premier, c'est d'avoir un service en production avec un volume minimum d'utilisateurs. Ça va être très dur de faire de l'ABTest sur des sites ou des applications
SPEAKER_00qui ont moins de 1000 utilisateurs mensuels. Même à 1000, ça va être... Limite, mais on peut réussir à faire des choses. En tout cas, si aujourd'hui vous avez un produit qui est très early, qui a vraiment peu d'utilisateurs, ou même une grosse solution, mais qui est très B2B avec un très faible volume d'utilisateurs, la BTS ne va pas être un outil adapté. Derrière, par contre, il n'y a pas de contraintes. Plus il y a de volume, mieux c'est. Ça va permettre d'avoir des réponses très rapides et surtout d'avoir
SPEAKER_00des réponses hyper précises, même sur des micro-changements. Donc voilà, globalement, la règle est simple. Très peu de volume, c'est compliqué. Mais derrière, plus on a de volume, plus on va pouvoir se faire plaisir. Plus on va même pouvoir aller chercher de la segmentation et des choses comme ça. Donc là-dessus, on peut aller scaler à l'infini avec la B-Test, pas de soucis. Si ces prérequis sont là, on va pouvoir commencer par la première étape concrète qui est la définition d'une hypothèse. C'est vraiment ici que commence la B-Test. On va venir voir quel changement est-ce qu'on estime pourrait avoir un effet X ou Y.
SPEAKER_00Donc ce qui est important dans l'hypothèse, c'est 1. d'identifier le changement qu'on considère faire. Deuxièmement, le KPI qu'on pense impacter, donc quelles metrics, quelles données on pense impacter avec ce changement. Et enfin, les guardrails metrics, donc les éléments que ce changement pourrait dégrader et qu'on veut s'assurer qu'il reste en place, qu'il reste stable. Si on prend un exemple un peu concret, par exemple, je pense que changer le wording de tel bouton va impacter le taux de clic.
SPEAKER_00Donc j'ai identifié mon changement, changer le wording d'un bouton. J'ai identifié mon KPI, le taux de clic. Donc je pense qu'en changeant le wording, ça va faire qu'il y aura plus de gens qui vont cliquer dessus. Et je vais identifier aussi, dès cette hypothèse-là, des guardrails. Donc je vais vérifier peut-être, il y a une autre option qui est à côté, je veux m'assurer que le taux de clics sur cette autre option ne diminue pas. Parce que ça pourrait être un impact potentiel négatif. Ou que le taux de conversion sur l'étape suivante, après ce premier clic, ne se dégrade pas.
SPEAKER_00C'est tout ce qui va entourer ce changement qui ne va pas impacter votre KPI principal mais qui pourrait se dégrader et en fonction de cette dégradation pourrait impacter votre jugement in fine. Et c'est vraiment important dès l'hypothèse de se poser ces trois questions Parce que c'est ça qui va permettre de guider forcément la priorisation de cet AB test ou non et derrière toute la mesure du succès de l'AB test ou non. Donc pensez à prendre un peu de temps pour créer vos hypothèses, n'hésitez pas aussi à poser plusieurs hypothèses pour derrière pouvoir les ranker,
SPEAKER_00les prioriser entre elles plutôt que de tester la moindre idée qui vient même si elle a potentiellement un impact faible. Une fois qu'on a ces hypothèses-là, ce que je vous recommande de faire, c'est de valider la plausibilité de l'hypothèse. Si vous avez déjà du tracking analytics ou des interviews passées, c'est toujours intéressant d'aller regarder cette donnée-là pour voir s'il y a des indices qui pourraient ou non confirmer cette hypothèse. L'objectif de ça, c'est de prioriser les A-B tests avec le plus de potentiel et de réduire
SPEAKER_00la quantité d'A-B tests qu'on va lancer et qui vont échouer. Parce que forcément, comme on l'a dit, la BTS se déroule en production. Ça demande du temps de design, de développement, de mise en production, de suivi et potentiellement d'annulation ou de déploiement de la version gagnante. Et donc, c'est globalement... Donc plus on va pouvoir éviter les AB tests à faible chance de succès, plus on va être efficace. Donc vraiment, cette petite étape de vérification de la plausibilité de l'hypothèse, elle prend en général peu de temps et elle va permettre
SPEAKER_00de savoir est-ce qu'on est bon ou pas. Alors, bien évidemment, ça, il n'y a pas de méthode magique, ça va dépendre de l'hypothèse, mais typiquement, si on parle d'un changement de wording d'un mouton, on va pouvoir aller regarder est-ce que ça a déjà été fait par le passé, est-ce que nos concurrents font tel ou tel AB test, est-ce qu'il y a des articles qui parlent de ce type d'AB test, pour pouvoir estimer est-ce qu'on a les chances que ça marche ou est-ce qu'a priori pas du tout. Également, un petit point intéressant à savoir, c'est qu'une majorité d'A-B tests échouent.
SPEAKER_00C'est comme ça. A priori, le par défaut est souvent pas mal. Donc, il faut être OK avec ça, qu'une majorité des A-B tests ne vont pas. Et c'est justement tout le but de faire de l'ABTest et pas uniquement du déploiement les yeux fermés, c'est de pouvoir uniquement déployer ce qui a de l'impact. Donc voilà, il faut être ok avec ça. Si un ABTest échoue, il suffit de l'annuler, de revenir à la version originale et tout va bien. Au moins, on a appris quelque chose et on pourra réitérer une première fois.
SPEAKER_00Une fois que votre hypothèse est bien définie et que la plausibilité est plutôt validée, bien évidemment, il va falloir designer les deux variantes de la B-Test. La version A, c'est l'original. Il ne faut surtout pas y toucher, c'est ce qu'on a déjà en production. On va pouvoir ajuster le tracking, bien évidemment, afin de pouvoir suivre les résultats de l'A-B-Test, mais on ne touche pas l'original. Si on commence à modifier la version qui est actuellement en production, on va bien évidemment biaiser notre A-B-Test,
SPEAKER_00parce qu'on va comparer deux versions entre elles en oubliant tout à fait l'existant, et du coup sans avoir ce point de repère. Donc la version A, on n'y touche pas. La version B, c'est votre variation. Donc là, tout est possible, même un rework complet de la page. Ce qui est intéressant, c'est que plus les changements sont gros, plus l'impact potentiel est haut. Forcément, si on change un wording, on va pouvoir espérer un taux de clic de 2, 3, 4, 5% plus gros. Si on change toute une page, on va peut-être pouvoir espérer un impact de plus 20 ou plus 30%.
SPEAKER_00Pour autant, plus les changements sont gros, moins l'apprentissage est précis. Vous ne saurez pas pourquoi votre taux de conversion a augmenté précisément si vous avez rechangé toute la page. Alors que si vous avez uniquement changé un wording, puis changé un layout, puis changé une image, vous allez pouvoir attribuer à chacun des changements l'impact qu'il a eu. Donc ça c'est un trade-off à faire, ça va aussi beaucoup dépendre du contexte de votre entreprise, est-ce qu'on est plutôt sur des projets ambitieux ou plutôt sur du refinement,
SPEAKER_00on va faire des petits changements par petits changements, mais les deux sont possibles, il n'y a pas de bonne pratique absolue dans la B-Test entre ces deux façons de faire, c'est tout à fait à adapter à votre contexte. Une fois que ces deux options sont designées, il va falloir les développer. Là, on a plusieurs solutions. Ce qui est important, c'est d'avoir un bon tracking analytics pour pouvoir mesurer l'impact de la b-test. Globalement, on a trois solutions principales. Un, l'outil dédié, qui est souvent un outil un petit peu no-code.
SPEAKER_00Alors vous le savez peut-être, moi j'ai travaillé avant chez ABtesty, qui est une solution d'Abtest. Il y a également Optimizely qui fait ça. Donc c'est des outils qui vont être installés une fois, avec un petit tag JavaScript, par Vodafone. Et derrière vous allez avoir un éditeur visuel un petit peu similaire à Figma dans lequel vous allez pouvoir concevoir votre variante B directement sans développer, la déployer directement sans développeur également en production et puis traquer la donnée analyse X,
SPEAKER_00les résultats de la B-test et recevoir l'analyse directement dans l'outil. C'est des outils assez pratiques pour être grandement autonome. Bien évidemment, ça un coût autant financier qu'en limitation technique. On pourra faire moins de choses qu'avec un développeur qui va aller développer la BTS directement et qui a toutes les possibilités du monde. D'ailleurs, c'est la seconde solution, c'est de déployer un A-B test en code et d'avoir un outil de tracking dédié
SPEAKER_00à l'A-B test. Il y en a plein, Statsig, Amplitude, Mixpanel, LaunchDarkly, tous ont un système de fonctionnement. Flag qui permet de déployer une certaine variation à une certaine population et une autre variation à une autre partie de vos utilisateurs. Ça permet de faire du 50-50 très facilement et derrière de traquer la data pour mesurer votre KPI et de l'analyser. Donc ça c'est quand même moi le combo que je recommanderais à la plupart des boîtes,
SPEAKER_00ça permet d'avoir une grande liberté en termes de développement, on va faire du code classique, et ça permet d'avoir une répartition de De la B-Test à vos visiteurs qui est qualitative sans avoir à se prendre la tête. Bien évidemment il y a une troisième solution, c'est vous faites votre propre code et vous faites votre propre tracking avec un outil standard. Ce qui est un petit peu difficile là-dessus, c'est que vous devez créer une règle qui va faire que la moitié
SPEAKER_00de vos utilisateurs vont voir la version A et la moitié de vos utilisateurs vont voir la version B. Ça paraît simple sur le papier, mais il y a plein de petites questions d'attribution qui peuvent rendre ça un petit peu difficile. Parce que qu'est-ce qui se passe si un utilisateur se connecte d'abord sur un ordinateur, puis ensuite sur une tablette ? Comment on va pouvoir s'assurer ? Comment on s'assure que d'une session à l'autre aussi, il va avoir la même version ? Comment on s'assure que c'est bien 50% des utilisateurs qui voient et 50% qui voient B
SPEAKER_00C'est des problèmes qui semblent simples, mais qui ont toujours plein de petites subtilités. Donc, c'est jamais très évident à mettre en place soi-même. En tout cas, voilà, retenez qu'il y a plusieurs solutions. Vos équipes tech seront vos meilleurs alliés pour identifier la meilleure solution pour votre contexte. Mais en tout cas, c'est vraiment rien d'infaisable. Et une fois que vous avez atteint ça, c'est en prod, ça tourne, votre AB test est en vie et maintenant il va falloir rester très attentif pour analyser les résultats de l'AB test.
SPEAKER_00Alors, pour analyser ces résultats de la vitesse, il va falloir attendre. Il va falloir attendre trois choses. D'abord, attendre d'avoir suffisamment de volume pour avoir des résultats significatifs. On va voir ce que je veux dire par significatif juste après. Deuxièmement, on va devoir attendre d'avoir des semaines de données complètes. On peut être tenté au bout de 3-4 jours, si on a suffisamment de data, d'arrêter l'A-B test. Mais ça, c'est souvent une mauvaise idée parce que beaucoup de comportements de nos utilisateurs sont cycliques.
SPEAKER_00Notamment, on va avoir des comportements différents entre la semaine et le week-end. Des comportements différents entre le lundi et le vendredi. C'est d'autant plus vrai si vous êtes dans des domaines comme l'e-commerce ou les vacances, enfin les loisirs, où là on voit des gros comportements cycliques. Donc globalement, c'est mieux d'attendre au moins 7 jours complets, voire 14 jours, comme ça on aura eu 2 semaines, et ça prend en compte les petites variations qu'on peut avoir d'une semaine à l'autre, en plus du volume minimum à atteindre.
SPEAKER_00C'est vraiment idéal pour avoir des données représentatives, des comportements complets de nos utilisateurs. Bien évidemment, si vous voyez dès les premiers jours que le résultat est très négatif, il est possible de couper l'A-B test en amont afin de réduire les pertes. Ça, il n'y a pas de souci. Par contre, on va éviter de prendre des actions, de considérer qu'on a gagné trop vite sans avoir pris en compte la contrainte de volume et la contrainte des données cycliques.
SPEAKER_00On attend un bon volume, on attend 14 jours dans l'idéal, et là on a un résultat d'A-B test qui doit être très fiable. Mais derrière, comment on analyse ce résultat d'A-B test ? L'erreur de base, c'est de regarder uniquement les données brutes. Par exemple, si on prend notre exemple du bouton sur lequel on a changé un wording, on va vouloir voir si les gens cliquent plus dessus. L'erreur de base, c'est de regarder juste le nombre de clics. Ça, c'est une mauvaise idée parce que déjà, ça peut être biaisé par l'attribution. Est-ce qu'il y a bien 50% des utilisateurs qui ont vu A et 50% qui ont vu B ?
SPEAKER_00Souvent, on va se rendre compte que ce n'est pas exactement le cas. Et deuxième point, on n'a pas du tout de lecture statistique. On ne sait pas si 10 conversions de plus, c'est significatif ou non. Donc quand on va regarder le résultat d'un AB test, on va d'abord regarder principalement les taux de conversion. Donc quel pourcentage d'utilisateur est passé du point de départ au point d'arrivée en comparant la version A à la version B. C'est déjà mieux que de regarder le nombre de conversions brutes parce que là on va avoir quelque chose qui prend en compte l'attribution et
SPEAKER_00le volume d'utilisateur sur la version A et sur la version B. Mais ça ne suffit pas pour avoir des résultats fiables. Ce qu'il va falloir regarder, c'est vraiment la significativité de l'écart. Pour ça, le meilleur outil, le plus simple qu'on peut utiliser, c'est un calculateur bayésien. Alors, en gros, vous allez pouvoir trouver ça soit de manière native dans vos outils d'ABC, Soit avec un calculateur en ligne, si vous t'appelez Bayesian Calculator en ligne, vous allez trouver ça très facilement.
SPEAKER_00D'ailleurs il y a des super outils avec des bonnes visualisations qui aident à comprendre. Et ces outils là vont vous permettre de calculer une probabilité. Une probabilité d'être le meilleur, une probabilité de gagner. Et donc, en donnant vos données d'analyse, vous allez derrière un score pour la variation A pour la variation B et qui va vous dire « votre variation B a 93% de chance de gagner ». Qu'est-ce que ça veut dire ? Ça veut dire que par rapport au volume de visiteurs que vous avez eu et au volume de conversion, bien évidemment, là vous avez un échantillon minime.
SPEAKER_00C'est-à-dire que si on l'extrapolait à un grand nombre d'utilisateurs, en continuant le test pendant une très longue période, on aurait 93% de chances d'avoir la version B qui serait véritablement la version gagnante. Et donc, probablement, vous pouvez la mettre en production. Donc c'est vachement intéressant parce que si on regarde juste la version A convertie à 3%, la version B convertie à 3,2%, on pourrait se dire que c'est évident que la version B gagne. Mais en fonction notamment du volume d'utilisateur que vous allez avoir,
SPEAKER_00potentiellement le calculateur bayésien va vous dire qu'il y a une grande chance de gagner pour la version B ou finalement que c'est peut-être juste le hasard et que la chance n'est pas tant en votre faveur. Donc ce qu'on a en général comme palier, c'est qu'on considère que si une version est à plus de 95% de probabilité d'être le meilleur, 95% de probabilité de gagner, on considère généralement la version gagnante. Donc vraiment,
SPEAKER_00la probabilité bayésienne, la probabilité d'être le meilleur d'une variation, ça c'est la bonne façon de mesurer la victoire d'un A-B test ou non. C'est la seule bonne façon de le lire de manière fiable. Bien évidemment, selon le résultat, soit on va passer la variation B en production absolue, on va remplacer la version A et tout le monde verra la version B, ou au contraire, on va l'annuler, elle est arriérante et on préfère garder la version originale. Un point important là-dessus,
SPEAKER_00c'est en général hyper important et peu coûteux en temps de partager déjà le résultat à ses équipes et de le documenter dans une ressource interne, dans une librairie interne d'informations. Il suffit justement de reprendre à ce moment-là les informations de l'hypothèse qu'on a établie au début, la version A versus la version B qu'on a testée avec un petit screenshot et une petite conclusion avec les données qui nous ont permis de prendre la décision. Ça permet d'avoir un super historique, de ne pas relancer les mêmes A-B tests tous les six mois et puis d'avoir cette base
SPEAKER_00de connaissances intéressantes qui permettront de défendre d'autres choix à l'avenir. J'espère que cet épisode vous a déjà donné les bases. Si vous êtes intéressé pour un épisode plus avancé, on discutera d'ABCD test, d'attribution dynamique, de KPI monétaire, d'explication un petit peu plus avancée de la probabilité bayésienne. On va parler de tout ça dans un épisode plus avancé dans les prochaines semaines. Alors pensez à vous abonner au podcast.
SPEAKER_00Également, si ça vous a plu, je vous invite à laisser un petit 5 étoiles. N'hésitez pas à le partager autour de vous, à vos collègues ou à vos amis. Les amis designers qui pourraient être intéressés à développer cette pratique, bien évidemment le plus efficace c'est de tester, de lancer un premier petit AB test,
SPEAKER_00c'est comme ça qu'on va apprendre étape par étape. Et globalement, il n'y a pas un risque énorme. C'est justement tout l'intérêt de la Bethesda. C'est de, on regarde, on analyse. Si ça marche, on le déploie plus. Si ça ne marche pas, on annule. Et c'est toujours moins risqué qu'un déploiement classique où on va juste mettre une nouvelle version en production et croiser les doigts. Donc voilà, je vous invite forcément à pratiquer. Et puis on se trouve la semaine prochaine pour un nouvel épisode. Salut !
Cette nouvelle étape de mon processus de design est à la fois une amélioration de la qualité et de l’efficacité. Je vous partage tous ces petits conseils dans cet épisode! Design critique skill & prompt template:...
Les designers doivent mettre les mains dans le code, vraiment? Pour faire du pixel-perfect? Pour corriger des bugs? Ou carrément pour développer de nouvelles features? Je vous dévoile mon analyse de la situation… 📚...
WhatsApp et Superhuman ont su se différencier notamment grâce à un sujet invisible: la performance. Rapide en apparence et en profondeur, on explore ensemble les solutions pour atteindre ces attributs forts. 📚...
Pour s’adapter au premier iPhone pliant d’Apple, les designers vont avoir un peu de boulot, quoi que… Ce petit condensé des recommendations de design pour l’iPhone Duo devrait vous aider dans la transition! Essayez le...
L’impact du designer ne se calcule plus uniquement sur la satisfaction utilisateur mais également sur l’impact business. Avec la total impact matrix, identifiez les gaps et recentrez l’impact de vos prochaines...