6 mythes sur les tests A/B : comment ces mythes perturbent vos résultats

Les tests A/B sont amusants. C'est à la mode. C'est de plus en plus facile à faire.

Cependant, si vous faites mal les tests A/B, vous perdez peut-être encore une tonne de temps et de ressources.

Même avec l'omniprésence croissante des tests A/B, il existe encore de nombreux mythes autour du sujet, dont certains sont assez courants. Pour vraiment tirer de la valeur d'une technique donnée, il est important de la comprendre pour ce qu'elle est, y compris ses limites et de comprendre où elle est puissante.

Cet article décrira les principaux mythes que j'ai vu jaillir maintes et maintes fois dans les blogs et par les consultants.

1. A/B Testing et optimisation, c'est la même chose

Cela peut sembler un peu délicat, mais les tests A/B en eux-mêmes n'augmentent pas les conversions. De nombreux articles disent quelque chose à l'effet de "faire des tests A/B pour augmenter les conversions", mais c'est sémantiquement inexact.

Le test A/B, également appelé « expérience contrôlée en ligne », est une méthode de recherche sommative qui vous indique, à l'aide de données concrètes, comment les modifications que vous apportez à une interface affectent les mesures clés.

Qu'est-ce que cela signifie en termes non académiques? Les tests A/B font partie de l'optimisation, mais l'optimisation englobe un plus large éventail de techniques que l'aspect expérimentation.

Comme l'a dit Justin Rondeau, directeur de l'optimisation chez Digital Marketer, « l'optimisation du taux de conversion est un processus qui utilise l'analyse et la recherche de données pour améliorer l'expérience client et tirer le maximum de conversions de votre site Web. »

L'optimisation est vraiment un apprentissage validé. Vous équilibrez un problème d'exploration/exploitation (explorer pour trouver ce qui fonctionne et l'exploiter à des fins lucratives lorsque vous le faites) alors que vous recherchez le chemin optimal vers la croissance des bénéfices.

2. Vous devriez tout tester

Je lisais un forum sur CRO où quelqu'un demandait un mot particulier dans un titre (je pense que c'était "génial" ou quelque chose du genre), et ils se demandaient s'il était ou non abusé.

Un « expert » a donné des conseils (en paraphrasant ici) que vous ne pouvez jamais savoir avec certitude avant de tester tous les autres mots similaires (« fascinant », « incroyable », « merveilleux », etc.)

C'est un conseil stupide pour 99,95% des gens.

Tout le monde a entendu l'histoire sur la façon dont Google a testé 41 nuances de bleu. De même, il est assez clair qu'un site comme Facebook ou Amazon a théoriquement le trafic pour faire des tests comme celui-ci.

Mais si vous exploitez un site de commerce électronique de petite à moyenne taille (ou SaaS, ou autre), même si vous faites partie d'une très grande entreprise, c'est presque toujours une perte de temps, de ressources et de trafic pour exécuter des tests comme celui-ci.

Pourquoi, me demanderez-vous ? Parce que la priorisation est la clé.

Tout le monde peut regarder un site et voir des dizaines de choses aléatoires qu'ils pourraient changer s'ils le voulaient (qu'ils soient informés par des données ou non). Mais où est l'efficacité là-dedans ?

Au mieux, vous gaspillez du trafic sur des choses qui n'ont pas d'importance, et vous obtiendrez systématiquement des résultats peu concluants si vous faites cela (bonne chance pour obtenir le soutien continu des parties prenantes si c'est le cas).

Quoi qu'il en soit, vous êtes confronté à un coût d'opportunité énorme : parce que vous perdez du temps et des ressources sur des choses qui n'ont pas d'importance, vous êtes exclu de la mise en œuvre de changements qui modifient et améliorent fondamentalement l'expérience utilisateur. Les choses qui font une vraie différence (et font de l'argent réel).

3. Tout le monde devrait tester A/B

Les tests A/B sont incroyablement puissants et utiles. Personne ne va (intelligemment) argumenter contre cela.

Mais cela ne signifie pas que tout le monde devrait le faire.

En gros, si vous avez moins de 1 000 transactions (achats, inscriptions, prospects, etc.) par mois, vous feriez mieux de consacrer vos efforts à autre chose. Vous pourriez peut-être vous en tirer en exécutant des tests autour de 500 transactions pendant des mois, mais vous aurez besoin de gros efforts pour voir un effet.

De nombreuses micro-entreprises, startups et petites entreprises n'ont tout simplement pas (encore) ce volume de transactions.

Vous devez également tenir compte des coûts. Tous, pas seulement le coût d'un logiciel d'optimisation comme Optimizely. Des choses comme:

• Recherche de reconversion. Vous devez savoir quoi tester (comme mentionné ci-dessus).
• Conception du traitement (wireframing, prototypage, etc.).
• Codification du test.
• QEn cours de test.

Maintenant, disons que vous obtenez une augmentation de 8 % et que c'est un gagnant valide. Vous aviez 125 leads par semaine, et maintenant vous en avez 135 / semaine. Le ROI est-il là ? Peut-être - cela dépend de votre valeur de plomb. Mais vous devez tenir compte du temps, des ressources et, surtout, des coûts d'opportunité de vos actions.

Ainsi, lorsque vous calculez les tailles d'échantillon nécessaires avant d'exécuter le test, faites également le calcul du retour sur investissement. Quelle serait la valeur de X % d'augmentation en dollars réels ?

Le temps est une ressource précieuse. Il vaut peut-être mieux le dépenser ailleurs que dans les tests A/B lorsque vous êtes encore petit – à cause des mathématiques.

4. Ne modifiez qu'un élément par test A/B

C'est probablement le mythe le plus répandu. Les intentions sont bonnes, mais c'est une prémisse erronée.

Voici le conseil : n'apportez qu'une seule modification par test, afin de savoir ce qui fait réellement la différence.

Par exemple, si vous modifiez votre titre, ajoutez une preuve sociale et modifiez le texte et la couleur de votre incitation à l'action, et que vous obtenez une augmentation de 25 %, comment pouvez-vous déterminer la cause du changement ?

C'est vrai; vous ne pouvez vraiment pas. Mais permettez-moi aussi de demander (et cela est particulièrement important pour ceux qui n'ont pas le luxe des sites à fort trafic), cela vous intéresse-t-il vraiment ?

Dans un monde idéal, notamment, composé de changements itératifs qui s'appuient les uns sur les autres, oui, tester une chose à la fois limite le bruit sur un test et vous permet de comprendre ce qui a exactement causé le changement.

De plus, vous devez définir votre plus petite unité significative (SMU), et c'est là que les choses deviennent un peu capricieuses. Matt Gershoff, PDG de Conductrics l'a bien dit en me disant :

«Pour pousser la logique à l'extrême, vous pourriez affirmer que changer un titre entraîne de multiples changements puisque vous modifiez plus d'un mot à la fois.

Donc ça dépend de ce que tu veux faire. Vous vous souciez du libellé de votre CTA et souhaitez vraiment savoir s'il a provoqué un changement ou non ? Vous changez radicalement de page ? Votre site?

Le SMU dépend de vos objectifs, et croyez-moi, dans le monde réel, aucun analyste ou spécialiste de l'optimisation ne crie « un seul changement par test ! »

Comme M. Rondeau l'a souligné dans cet article, qu'est-ce que vous changeriez sur ce site (photo ci-dessous - il s'agit d'une ancienne version du site) ?

Supposons même que ce site ait une tonne de trafic et que vous puissiez exécuter huit tests valides par mois. Si vous faites un élément à la fois, par où commencer ? Il vous faudrait une éternité pour tester l'image d'arrière-plan, la couleur de la police, la taille de la police, le logo en haut, les vignettes de navigation, l'emplacement, la taille, la commande, la copie, le corps du texte, les vendeurs en mouvement, etc., etc.

Mon propos ici est le suivant : n'ayez pas peur de regrouper plusieurs modifications dans le même test.

5. Les tests A/B sont meilleurs (ou pires) que les bandits/MVT/etc

Vous voyez des articles apparaître de temps en temps préconisant que vous devriez « éviter les tests multivariés (MVT) » parce qu'ils sont compliqués et ne produisent pas de victoires, ou que les bandits sont inefficaces par rapport aux tests A/B - ou qu'ils sont plus efficace - ou quoi que ce soit.

Une bonne règle de base dans la vie est que si vous faites face à une dichotomie, une situation ceci contre telle, vous êtes probablement en train d'être mis en place. C'est probablement une fausse dichotomie.

La vérité est que les tests A/B sont meilleurs dans certaines situations, où MVT est le meilleur choix dans d'autres. Idem avec les bandits et les algorithmes adaptatifs.

6. Arrêtez un test A/B lorsqu'il atteint la signification

Bien que je ne sois pas trop granulaire sur les statistiques (vous pouvez lire tout ce que vous devez savoir dans cet article), dire « l'arrêter à la signification statistique » est faux, principalement en raison de la nature de l'environnement en ligne.

C'est dommage que ce mythe soit répandu et que les connaissances statistiques dans le monde du marketing soient étonnamment contenues.

Il est également courant que votre outil de test vous dise que vous avez atteint l'importance trop tôt. Alors ne mettez pas toute votre foi dans cette importance à 95%.

Tout d'abord, pré-calculez la taille de votre échantillon et la durée du test. Ensuite, exécutez le test pendant cette durée. Testez également pendant des semaines complètes (commencez un lundi ? Terminez un lundi). Et il est recommandé d'exécuter le test sur plusieurs cycles économiques pour tenir compte des données non stationnaires (données qui ne restent pas les mêmes au fil du temps). Par exemple, une grosse vente une semaine ou un pic de relations publiques pourrait perturber considérablement vos données. Même des jours différents ont des taux de conversion différents plusieurs fois. Peut-être avez-vous un taux de conversion de 3% le mardi mais un taux de conversion de 1,5% le samedi, et peut-être que cette différence perturbera votre analyse post-test.

Testez donc pendant des semaines complètes pour tenir compte de ces flux et reflux. Chez CXL, nous recommandons d'effectuer un test pendant 3 à 4 semaines.

Considérons ensuite une signification statistique d'au moins 95 %.

Conclusion

Les tests A/B sont incroyablement puissants. C'est un puissant moyen de dissuasion pour la prise de décision instinctive et vous montre ce que les données indiquent que vous devriez faire à la place.

Les tests A/B vous permettent de déterminer quelle page post-clic génère le plus de conversions. Découvrez dès aujourd'hui comment fournir une personnalisation publicitaire 1:1 pour chaque public que vous avez avec une démo de personnalisation Instapage.