A/B testing : éviter les 3 erreurs classiques

Le A/B testing est l'outil le plus puissant du CRO — et aussi le plus mal utilisé. Des tests mal configurés donnent des faux positifs qui poussent à des décisions contre-productives. On a analysé des centaines de tests sur des boutiques Shopify : voici les 3 erreurs qui reviennent systématiquement, et comment les éviter.

Erreur 1 : Arrêter le test trop tôt (ou trop tard)

C'est l'erreur numéro 1. Un test qui montre +15 % de CVR après 48 heures, ça paraît évident à arrêter. Mais statistiquement, ce résultat n'est pas fiable.

Pourquoi c'est dangereux

Les premières heures d'un test sont biaisées : les visiteurs ne sont pas représentatifs du trafic global. Tu peux avoir un biais de sélection (visiteurs plus engagés le weekend vs. semaine), un biais temporel (promotion en cours), ou simplement le hasard.

La règle à respecter

• Calculer la taille d'échantillon AVANT de lancer le test (utilise un calculateur de significativité comme celui d'Optimizely ou VWO)
• Viser minimum 95 % de significativité statistique
• Ne jamais arrêter avant d'avoir atteint l'échantillon calculé, même si les résultats semblent clairs
• Inclure au moins un cycle complet de 7 jours pour capturer les variations weekend/semaine

Règle pratique : pour une boutique avec 1 000 visiteurs/jour et un CVR de 2 %, il faut environ 3 semaines pour qu'un test sur une page produit atteigne la significativité.

Erreur 2 : Tester plusieurs changements simultanément

"On va changer le titre, la couleur du bouton ET le visuel principal" — cette phrase est le début d'un test inutilisable. Si la variante B performe mieux, tu ne saurais pas pourquoi. Si elle performe moins bien, tu ne saurais pas non plus pourquoi.

Le principe de l'isolement

Un test A/B doit tester UNE seule hypothèse à la fois. Chaque test doit répondre à une question précise : "Est-ce que changer le titre de la fiche produit améliore le taux d'ajout au panier ?"

Si tu veux tester plusieurs éléments simultanément, utilise un test multivarié (MVT) — mais uniquement si tu as un volume de trafic suffisant (minimum 50 000 visiteurs/mois).

Comment prioriser tes hypothèses

• Note chaque hypothèse sur 3 critères : impact potentiel (1-10), facilité d'implémentation (1-10), fiabilité de l'hypothèse basée sur la data (1-10)
• Commence par les hypothèses avec le meilleur score composite
• Documente chaque test dans un backlog CRO centralisé

Erreur 3 : Ignorer la signification pratique vs. statistique

Un test peut être statistiquement significatif mais pratiquement inutile. Exemple : tu testes un nouveau bouton CTA et le résultat montre +0,3 % de CVR avec 97 % de significativité. Statistiquement valide — mais est-ce que ça vaut l'effort de déploiement ?

La notion de minimum detectable effect (MDE)

Avant de lancer un test, définis ton MDE : quelle est l'amélioration minimale qui justifierait le déploiement de la variante ? En général, pour une optimisation sur une page produit, on vise minimum +5 % de CVR relatif.

Si ton MDE est de +5 % et que ton test montre +1,2 %, même significatif à 95 %, ce n'est probablement pas une priorité de déploiement.

Les métriques à tracker au-delà du CVR

• Revenu par visiteur (RPV) — plus robuste que le CVR car intègre l'AOV
• Taux d'ajout au panier — indicateur intermédiaire utile sur les pages produit
• Taux d'abandon de checkout — pour les tests sur le tunnel de paiement
• Valeur moyenne de commande (AOV) — un test peut augmenter le CVR mais baisser l'AOV

Bonus : les outils recommandés pour le A/B testing Shopify

• Convert.com — le plus précis pour Shopify, gestion avancée des segments
• VWO — interface intuitive, bon pour les équipes non-techniques
• Optimizely — solution enterprise, pour les gros volumes
• AB Tasty — solution française, bon support

Pour les boutiques Shopify Plus avec moins de 30 000 visiteurs/mois, un outil comme Convert ou VWO est suffisant. Au-delà, investir dans une solution plus robuste a du sens.

Conclusion

Le A/B testing bien exécuté est un avantage compétitif réel. Les marques qui testent rigoureusement accumulent une connaissance client que leurs concurrents n'ont pas. Mais chaque test mal configuré est non seulement du temps perdu — c'est potentiellement une décision erronée qui va dans la mauvaise direction.

Chez Pushlab, chaque test est configuré avec un protocole strict : hypothèse documentée, taille d'échantillon calculée, métriques définies en amont. Si tu veux qu'on t'aide à structurer ton programme de tests, parle avec un de nos experts.