Très utilisé des marketeurs, l’A/B test (également appelé Split test) est un procédé permettant de tester deux versions d’un même élément afin de déduire laquelle des deux fonctionne le mieux. L’A/B test est l’équivalent d’une expérience scientifique en marketing, utilisée pour améliorer sites, annonces, landing pages, visuels, … et bien sûr les campagnes email ! Comme pour une expérience scientifique, il est donc important de suivre un protocole strict pour s’assurer de la validité des résultats.

1- Définir votre objectif

En sciences, la première étape d’une démarche expérimentale est d’identifier un problème. En marketing, le problème est souvent le même : nous voulons toujours plus de visibilité, plus de résultats. Plutôt que de soulever une problématique générale, nous allons donc définir un objectif plus précis. En email, cela pourra être « générer plus d’ouvertures », « générer plus de clic », « augmenter l’engagement », « convertir », « obtenir des inscriptions à un événement », etc.

Pour cet article, nous allons prendre pour exemple l’objectif « Augmenter le taux d’ouverture du message ».

2- Formuler une hypothèse

Dans notre hypothèse, nous allons identifier la variable et les deux valeurs à tester. Pour notre exemple, nous choisissons de tester le Nom d’expéditeur : nous hésitons entre le nom de l’entreprise (plus connu) ou celui d’un commercial (plus humain). Nous formulons donc l’hypothèse suivante : « Utiliser le nom de l’entreprise plutôt que le nom d’un commercial comme nom d’expéditeur permet d’augmenter le taux d’ouverture. »

Quelles variables peut-on tester en A/B test ?

• Nom d’expéditeur
• Adresse d’expéditeur
• Objet (objet différent, avec ou sans personnalisation, emojis…)
• Préheader
• Design : couleurs, formes…
• Mise en page : emplacement des paragraphes, des images…
• Call to action : emplacement, couleurs, police, texte, forme…
• Visuels : contenu des images, tailles…
• Contenu du message : informations, offres, produits valorisés
• Longueur du message
• Moment d’envoi : heure, jour d’envoi

Vous l’avez compris, l’A/B test vous permet de tester tout ce que vous voulez ! Certains éléments sont cependant plus ou moins pertinents à tester. Le plus souvent, les tests se portent sur l’objet du mail (pour identifier ce qui incite à l’ouverture) et les boutons d’appel à l’action (pour identifier ce qui incite au clic).

3- Tester l’hypothèse

Une fois votre hypothèse formulée, votre variable et vos 2 valeurs A & B sont clairement définies. Il s’agit donc de créer les deux messages A & B pour tester l’hypothèse, puis de les envoyer au segment test.

Selon les routeurs, vous aurez plusieurs possibilités de test :

• Test 50/50 : Le message A est envoyé à 50% de votre audience,  le message B aux 50% restants. Ce test est utile lorsque vous souhaitez améliorer des éléments récurrents dans vos newsletters, comme la mise en forme de vos call to action ou la mise en page de votre newsletter. Vous ne pourrez agir selon ces résultats que sur vos prochaines campagnes.
• Test 25/25/50 : Le message A est envoyé à 25% de votre audience,  le message B à un autre segment de 25%. Après un certain temps (le temps pour votre plateforme de routage d’identifier la campagne la plus performante), le message le plus performant est envoyé automatiquement aux 50% restants. Ce test permet d’envoyer l’élément le plus performant pour cette campagne (objet, offre proposée…). Il ne s’agit pas obligatoirement d’une démarche d’amélioration de campagnes sur le long terme, mais plutôt d’une optimisation des résultats d’une unique campagne.
• Autre répartition : Selon les routeurs, les tests peuvent différer. Il est parfois possible de choisir soi-même le pourcentage d’abonnés sur lequel sera testée la campagne ou de définir le temps d’analyse des résultats de l’A/B test avant envoi sur le restant de la liste.

Pour notre exemple, nous cherchons à améliorer le nom d’expéditeur qui sera repris sur nos campagnes prochaines. Nous choisissons donc le test 50/50 afin d’obtenir des résultats sur un panel plus important, donc plus fiables.

4- Collecter et analyser les résultats

Collectez les résultats de vos deux messages. Lequel a été le plus ouvert ? Lequel a suscité le plus d’engagement ? De désabonnements ? Si l’A/B test ne permet de tester qu’une variable, mieux vaut analyser son impact sur plusieurs résultats.

Dans notre exemple, nous souhaitions identifier le nom d’expéditeur le plus performant. Nous comparons donc les taux d’ouvertures des campagnes A et B. Nous vérifions également que les taux de désabonnements, de plaintes et de réactivité sont similaires sur les deux campagnes, afin de nous assurer que la variable « nom d’expéditeur » n’influe pas sur ces éléments.

Vérifiez également la signification statistique de votre A/B test. Si votre intervalle de confiance est égal à 98%, cela signifie que sur 100 tests, vous obtiendrez 98 fois ce même résultat. Plus la valeur de l’intervalle de confiance est élevée, plus vos résultats sont précis et fiables. L’idéal est d’avoir un intervalle supérieur à 90-95%. Si ce n’est pas le cas, mieux vos re-tester plutôt que d’en tirer des conclusions erronées ! Plus votre panel de test est large, meilleure sera votre intervalle de confiance.

Pour calculer votre intervalle de confiance , vous pouvez utiliser cet outil (en anglais) : https://neilpatel.com/ab-testing-calculator/

5- Conclure

Votre A/B test terminé, vous pouvez conclure quel élément fonctionne le mieux pour votre cible et l’appliquer à vos prochaines campagnes email !