Guide A/B testing pour e-commerçants
De la formulation de l'hypothèse à l'analyse des résultats — tout ce qu'il faut savoir pour lancer des tests A/B valides sur ta boutique Shopify, sans statisticien.
Pourquoi faire de l'A/B testing ?
L'A/B testing est la seule façon de savoir avec certitude si un changement sur ton site améliore la conversion — ou la dégrade. Sans test, tu t'appuies sur des intuitions, des benchmarks sectoriels ou des "best practices" qui ne tiennent pas compte de ton audience spécifique.
Un exemple : la majorité des "experts" recommandent un bouton ATC vert. Pourtant, sur des boutiques premium, un bouton noir convertit souvent mieux car il est cohérent avec le positionnement marque. Sans test, tu ne peux pas le savoir.
L'A/B testing permet aussi de décorréler cause et effet. Si tu modifies simultanément la photo, le titre et le bouton d'une fiche produit et que le CVR augmente, tu ne sais pas ce qui a fonctionné. Un test bien isolé répond à une seule question à la fois.
A/B test vs simple modification : quelle différence concrète ?
Sans A/B test
Tu modifies la page → tu attends 2 semaines → tu compares au mois précédent. Problème : saisonnalité, variations de trafic, autres facteurs. Tu ne peux pas conclure que ta modification a causé le changement.
Avec A/B test
50% des visiteurs voient A, 50% voient B, simultanément. Les deux groupes sont comparables. La différence observée est causalement liée à ta modification (si le test est statistiquement valide).
Formuler une hypothèse solide
Une bonne hypothèse de test suit un format précis qui force à justifier le changement par une donnée observée :
Format standard
"Si [changement spécifique], alors [métrique] augmentera/diminuera de [X%] parce que [raison basée sur la donnée]."
Exemple concret :
"Si on ajoute un guide des tailles interactif directement sur la fiche produit (au lieu du lien vers une page séparée), alors le taux de conversion augmentera d'au moins 8% parce que les heatmaps montrent que 34% des visiteurs cliquent sur le sélecteur de taille puis quittent la page — un signal d'hésitation lié à l'incertitude sur les tailles."
Ce format te force à :
- Définir UN changement précis (pas plusieurs à la fois)
- Choisir UNE métrique principale à mesurer
- Estimer le gain attendu (ce qui te permettra de calculer la taille d'échantillon nécessaire)
- Justifier par une donnée réelle (heatmap, session recording, analytics) — pas une intuition
Les erreurs d'hypothèse les plus courantes
- — Tester plusieurs changements en même temps ("on change le titre, la photo ET le bouton")
- — Pas de justification data ("je pense que les clients préfèrent…")
- — Métrique trop éloignée de l'action testée ("on teste le bouton ATC mais on mesure le CA total")
- — Pas de gain minimum défini à l'avance (ce qui mène à arrêter le test dès qu'on voit un signe positif)
Comprendre les statistiques (sans être statisticien)
Deux concepts sont essentiels pour interpréter les résultats d'un A/B test :
Significativité statistique (p-value)
La probabilité que le résultat observé soit dû au hasard et non à ton changement. Conventionnellement fixée à 95% en CRO (= seulement 5% de chance que le résultat soit faux). Un résultat "significatif" ne veut pas dire "important" — il veut dire "fiable".
Puissance statistique
La probabilité que ton test détecte un vrai effet s'il existe. Conventionnellement fixée à 80%. Si ton test a 80% de puissance, il manquera 20% des vrais effets. C'est ce qui détermine la taille d'échantillon minimale.
Règles pratiques pour interpréter un test
- 1. N'arrête jamais un test avant d'avoir atteint la taille d'échantillon calculée à l'avance. Un test arrêté trop tôt est presque toujours biaisé vers un faux positif.
- 2. Ne regarde pas les résultats tous les jours. L'effet "peeking" : plus tu regardes souvent, plus tu risques de conclure à tort (augmentation du risque d'erreur de type I).
- 3. Attends toujours minimum 2 semaines complètes, même si tu as atteint la taille d'échantillon. Les comportements varient entre lundi et dimanche.
- 4. Un test "sans gagnant" est une information valide. Il te dit que ton changement n'a pas l'effet que tu anticipais — c'est utile pour comprendre tes utilisateurs.
Fréquentiste vs Bayésien : quelle approche choisir ?
Les deux approches coexistent dans les outils du marché. L'approche fréquentiste (VWO, Optimizely par défaut) donne une p-value — elle répond à la question "est-ce que je peux rejeter l'hypothèse nulle ?". L'approche bayésienne (AB Tasty) donne une probabilité que B soit meilleur que A — plus intuitive. Pour débuter, les deux fonctionnent : l'important est de respecter la taille d'échantillon et d'attendre la fin du test.
Calculer la taille d'échantillon nécessaire
Sessions nécessaires par variation (= le total est × 2) pour 95% de confiance et 80% de puissance.
| CVR actuel | Gain cible +10% | Gain cible +20% | Gain cible +30% |
|---|---|---|---|
| 0,5% | 112 000 sessions | 28 000 sessions | 12 500 sessions |
| 1% | 56 000 sessions | 14 000 sessions | 6 200 sessions |
| 2% | 28 000 sessions | 7 000 sessions | 3 100 sessions |
| 3% | 18 700 sessions | 4 700 sessions | 2 100 sessions |
Exemple de lecture : ton CVR actuel est 2%, tu cherches à détecter un gain de +20% (= passer de 2% à 2,4%). Tu as besoin de 7 000 sessions par variation, soit 14 000 sessions au total sur le test.
Si ton site fait 10 000 sessions/mois, tu peux lancer ce test et avoir un résultat valide en ~6 semaines.
Si ton site fait 2 000 sessions/mois, ce test prendrait 7 mois — trop long. Cible un gain de +30% ou opte pour des quick wins sans test A/B (implémentation directe de corrections évidentes).
Choisir son outil A/B testing
VWO
~500$/mois- + Éditeur visuel excellent
- + Session replay intégré
- + Heatmaps incluses
- + Intégration Shopify simple
- − Tarif élevé
- − Support anglophone
Pour qui : Premier outil A/B testing pour boutiques Shopify standard
AB Tasty
~700€/mois- + Entreprise française (RGPD)
- + Statistiques bayésiennes
- + Personnalisation avancée
- − Plus complexe à prendre en main
- − Prix élevé
Pour qui : Si le RGPD est critique ou si tu veux de la personnalisation IA
Kameleoon
Sur devis- + Serveur-side testing
- + Meilleure performance
- + RGPD fort (FR)
- − Nécessite un dev
- − Onboarding long
Pour qui : Boutiques Shopify Plus avec fort trafic (>50k sessions/mois)
Si ton budget ne permet pas un outil A/B testing, commence par implémenter les quick wins identifiés en audit sans tester. Le A/B testing devient pertinent à partir de ~5 000 sessions/mois.
Analyser et conclure un test
Un test terminé n'est pas un test dont on a atteint la significativité statistique — c'est un test dont on a atteint la taille d'échantillon préalablement définie ET la durée minimale de 2 semaines.
B gagne
Implémenter B en production sur 100% du trafic. Documenter l'hypothèse validée. Construire une prochaine hypothèse à partir de ce résultat.
A gagne (B perd)
B n'est pas meilleur. Ce n'est pas un échec — c'est une information. Analyser pourquoi (segment d'audience, device, source de trafic). Formuler une nouvelle hypothèse.
Pas de gagnant
L'effet est trop faible pour être détecté avec ton volume. Soit le changement n'a pas d'impact, soit il faudrait tester avec un changement plus radical.
Après chaque test, documente :
- L'hypothèse testée
- La variation testée (captures d'écran)
- Les dates de début et fin
- Le résultat chiffré (CVR A vs CVR B, gain %)
- La significativité atteinte
- La décision prise et la prochaine hypothèse
10 idées de tests A/B pour démarrer
Tests priorisés par facilité d'implémentation et impact potentiel constaté sur boutiques Shopify.
| Catégorie | Test | Métrique | Difficulté |
|---|---|---|---|
| Fiche produit | Bouton ATC collant sur mobile vs fixe | Taux d'ATC | Facile |
| Fiche produit | Photos lifestyle en premier vs photos studio | Taux d'ATC | Facile |
| Fiche produit | Afficher le stock restant ("Plus que 3") vs pas d'urgence | Taux de conversion | Facile |
| Fiche produit | Description courte vs description longue avec onglets | Taux de conversion | Moyen |
| Checkout | Commande invité en premier vs créer un compte en premier | Taux de complétion checkout | Moyen |
| Checkout | One-page checkout vs multi-étapes | Taux de complétion checkout | Difficile |
| Panier | Jauge livraison offerte ("Plus que 15€ pour la livraison gratuite") vs sans jauge | AOV | Facile |
| Panier | Mini-cart drawer vs page panier dédiée | Taux de passage commande | Moyen |
| Homepage | Hero avec CTA "Découvrir" vs CTA "Bestsellers" | CTR hero → collection | Facile |
| Collection | Filtre de prix à gauche vs en haut en filtre déroulant | Taux de clic produit | Moyen |
Prêt à lancer tes premiers tests A/B ?
Pushlab t'accompagne de l'hypothèse au résultat. Audit gratuit pour identifier les meilleurs points de départ.
Autres guides CRO