A/B testning

I det här inlägget kommer vi att gå igenom vad A/B testning är, vad man ska tänka på, vilka aktiviteter kan testas och hur ska man använda A/B testning på bästa möjliga sätt. 

Vad är A/B testning?

A/B testning som också kan kallas för split-test är en metod för att testa vad som engagerar mottagaren mest. A/B testet består av två varianter av samma asset (t.e.x en sida på webbplatsen eller ett E-mail) och testas på två olika slumpmässigt blandade grupper. Det som skiljer varianterna åt beror på vad det är ni vill testa, men det kan exempelvis vara ämnesraden i ett mail eller kanske CTA texten på knappen i en sida på webbplatsen.

‍

Vad kan man testa?

Du kan egentligen testa det mesta men här kommer lite exempel och förslag på A/B testning av Email innehåll:
‍

För att optimera open-rate:

• Ämnesraden
• Användning av dynamiska taggar i ämnesraden
• Preview text
• Veckodag eller klockslag för att skicka ut ett mail
• Utskicks frekvens
• Avsändare (Personligt vs. generelt)
• Utskick frekvens
  ‍
  

För att optimera click-rate:

• Texten på CTA
• Färgen på olika element som exempelvis knappen
• Längre vs. kortare innehåll 
• Användning  av bilder
• Användning av  dynamiska taggar

Vad ska man tänka på när det gäller A/B test?

Det är viktigt att tänka på när du utför ett A/B test  att inte testa mer än ett element per test. Om du testar flera saker samtidigt så kommer du omöjligt kunna veta vad det var som antingen förbättrade eller försämrade era resultat. Då blir det också omöjligt att fortsätta optimera era utskick.

En annan viktig aspekt är mätbarhet, dvs hur ska ni mäta? Vilken data ska användas?
Kan kännas självklart men det är ofta man sätter upp ett komplext test och sen vet man inte vad resultatet faktiskt blev.

Exempelvis: Man vill optimera klick på mail. Eller? Det man EGENTLIGEN vill är att optimera konvertering, och klick från mail genererar trafik till landningssidan. Man kan göra mailet super klick-bait:igt och generera massa klick, men de kommer inte köpa. Däremot om vi har ”rätt” mål att gå efter, kan man mäta vilken variant genererade mest konverteringar oavsett klicken.

‍

Control group

Det finns även något som heter control group. Detta är när man inte skickar ut en viss kampanj eller någon marknadsföring alls till en slumpmässigt blandad grupp. Control group kan fungera som B:et i A/B testet eller helt enkelt bli en tredje del.

Med hjälp av control group så kan man se om marknadsföringen ni gör hjälper eller stjälper. Kan det vara så att er control group som inte fick ta del av en viss kampanj faktiskt konverterade bättre?

‍

Multivariat test

Multivariat test är ännu ett sätt att testa och konverteringsoptimera. Det som skiljer multivariat test med A/B test är att man jämför fler variabler och ser hur dessa interagerar med varandra. Det kan exempelvis gå till såhär:
Variant A: testar knapp nr 1 och ämnesrad nr 1

Variant B: testar knapp 2 och ämnesrad nr 1

Variant C: testar knapp 1 och ämnesrad 2

Variant D: testar knapp 2 och ämnesrad 2

Att tänka på när man testar, oavsett vilket sorts test

Det är viktigt att ni inte ser på resultatet som ett svar utan att ifrågasätta resultatets statistiska signifikans.

Statistisk signifikans är hur sannolikt det är att skillnaden i resultatet mellan de olika versionerna inte beror på fel eller slumpen.

För att sammanfatta det så vill du att resultatet ska vara statistiskt signifikant så att du vet att du väljer rätt version från ditt test att gå vidare med.

Det finns flera olika verktyg för detta på nätet, vi brukar använda oss av den här.

‍

Frågor att ställa till dig själv:

• Vilket test passar bäst för ditt ändamål? A/B eller multivariat?
• Ska det finnas med en control group?
• Vad ska testa?
• Hur ska ni mäta?
• Vad är målet med testet?
• Vad kommer ni göra med resultatet?
• När är slutdatumet på testet?
• Hur räknar vi ut resultatets statistiska signifikans?
• Har ni en bra dokumentation för vilka test som är genomfört för att bygga vidare på er strategi istället av att upprepa test av samma hypotes?