7 fallgropar när du A/B testar via e-post | WSI EBL
0790 74 81 88

7 fallgropar när du A/B testar via e-post

E-post / 2017-12-04

Visst är det väl ändå ett effektivt sätt att få information? Snabbt och lätt sätter jag upp två olika mails i ett A/B test, sänder ut och några timmar senare har jag mitt svar! Jag kan testa layout, kommunikation erbjudande eller färger – möjligheterna är stora. Det är bara det att det är lätt att göra fel, och därmed lätt att skapa ett underlag som jag sedan inte kan använda för min utvecklingsinsats eller min optimering.

För att minska risken för fel i själva testet kommer här sju fallgropar som du måste navigera runt för att få ett resultat du kan lita på!

Men innan jag börjar med min lista är det viktigt att du tar dig en tankeställare kring vad det är du testar. Det är alltid bäst att starta brett för att sedan gå på detaljer. Testa hela koncept först, exempelvis om du skall testa vilket media som konverterar bäst, e-post eller login genom Sociala Medier. Gå därefter på detaljerna såsom en subject line eller liknande.

Misstag # 1 – Testa fler element på samma gång

Detta är överlägset det vanligaste felet som görs vid testning.

Du har så många idéer om hur du förbättrar e-postkonverteringar. Men det sista du vill är att spendera veckor för att testa var och en av dem i tur och prioriterad ordning. För att påskynda sakerna lite, bestämmer du dig för att analysera dem alla på en gång.

Du skickar olika mallvarianter under olika avsändarnamn, med olika ämnesrader och med olika kopior i varje test. Detta resulterar i så många e-postvariationer att du i slutändan inte ens kan säga om några av dina idéer fungerade.

Tidskrävande som det kan vara, bör du alltid testa endast ett element i taget.

Misstag # 2 – Kolla resultatet för tidigt

Eftersom i stort sett alla e-postplattformar börjar leverera kampanjresultat inom 2 timmar efter att ha skickats, är det frestande att börja analysera testets utfall direkt, eller hur? Men genom att göra så saknar du några viktiga uppgifter.

För din användarna har olika läsvanor. Vissa öppnar e-post direkt, flickar det och antingen agerar det eller glömmer det. Andra sätter viktiga budskap åt sidan för att kolla senare. Låt dina mottagare läsa sina mails på det sätt som passar dem. Sätt redan från början ett datum och en tid när du vill ta dina resultat vidare. Och låt bli att tjuvkika och sedan dra slutsatser av det.

Genom att analysera resultaten för tidigt finns risken att du missar viktiga trafik- och användarmönster, som sedan i sin tur påverkar resultatet. Hur lång tid du ska låta gå innan du lyfter på locket är lite olika beroende på urvalsmängd och målgrupp, men 14 dagar brukar vara en god tumregel.

Misstag # 3 – Ignorera statistisk signifikans

Alltför många testar blir värdelösa av en eller annan orsak. Det finns stora risker med att ta beslut som inte bygger på säkra underlag. Bortåt 80 % av alla tester är mer eller mindre värdelösa som underlag – svårigheten är att finna de som verkligen är signifikanta.

För att skapa en bättre möjlighet att få bort de tester som är mer en chanstagning, kan du använda en snabb beräkning av signifikansen. En som är enkel och snabb att använda är den från Wisual Website Optimizer.

Misstag # 4 – Fokus på ett för litet testunderlag

Antalet mottagare som ingår ingår i testet påverkar resultatet. Desto mindre förändringen du vill testa, desto större provstorlek kommer du behöva.

Låt oss anta att du utvecklat en hypotes som anger att användandet av emojis i ämneslinjen skulle bidra till att öka den befintliga öppningsprocenten med 10% och att du har ca 15 % som öppnar dina mails idag. Du vill att svaret du får är med ett konfidensintervall på 95 %, det vill säga har en hög statistisk säkerhet (rekommenderad nivå).  För att utföra en sådan analys måste du testa den här hypotesen på 8 000 personer.

Använder du ett för litet urval kommer du att få ett icke signifikant svar! 

Innan du genomför ett test måste du därför ta reda på vilken volym som kommer att krävas för att nå signifikans. Du kan med fördel använda en bra service från Optimizely.com som hjälp här!

Misstag # 5 – Att inte sätta upp en ordentlig hypotes

En hypotes är ett antagande om ett viss förhållande, något som behöver bevisas sant eller falskt. Hypoteser uppkommer på olika sätt, alltifrån “så har vi alltid gjort” till ett resultat som behöver kontrolleras noggrannare. Ofta tar man nästa steg i en utvecklingsprocess genom att bevisa att en hypotes är sann eller falsk, men allt det där vet du säkert redan.

Det som man som marknadsförare måste komma ihåg när det gäller A/B test är att svaret måste vara användbart i det kommande kampanjarbetet .

Ett bra ett exempel är följande hypotes: “e-post med animerad film skapar en högre CTR”. Om DU kan bevisa detta kan det användas i många olika e-post kampanjer.

Motsvarande kan en test av en specifik test i ämnesraden inte appliceras på alla typer av kampanjer då det är starkt knutet till ämnet i just detta utskick.

Det är viktigt att du arbetar med din hypotes så att den är stark nog att vara påverkande för dig och dina resultat. Genom att följa för svaga hypoteser uppstår ofta ett ineffektivt arbete och resultat som inte ger den påverkan du helt säkert behöver.

Om du vill ha idéer kring fungerande tester – läs gärna detta blogginlägg från emailmonday.

Misstag # 6 – Inga segment i A/B testet

Som marknadsförare vet man att olika segment kan respondera på sitt eget helt unika sätt. Således kan en hypotes som skapar bättre resultat i ett segment visa sig helt utan påverkan i ett annat. Ett klassiskt exempel kan vara e-post frekvens. Där kan en viss frekvens vara helt ok för ett segment, medan det direkt skapar en hög avhoppsfrekvens i ett annat.

Med andra ord är det viktigt att du arbetar med de segment som naturligt finns i underlaget och ser till att säkerställa resultaten i samtliga.

Misstag # 7 – Sända ut testet vid olika tidpunkter

Tidpunkten är alltid viktig för alla typer av e-post utskick. Det kan förekomma stora variationer i resultatet beroende på när du sänder ut din kampanj eller din information. Dessutom är det viktigt att hålla varje test så rent som möjligt, och enbart hålla dig till en testad variabel per gång.

Många tester får oavsiktligt en extra variabel i det att utskicken sker vid olika tidpunkt. Mottagaren agerar helt enkelt olika vid olika tidpunkter på dagen eller på en vecka.  Ett helt onödigt fel som du helt enkelt inte får glömma bort att ta med i planeringen av testet.

Lycka till med testandet – det finns en stor och viktig kraft att utnyttja!

Så till slut en sista uppmaning

Kom ihåg att från mitten av maj 2018 måste alla som tar emot dina A/B tester givit sin tillåtelse till just detta.  Det kommer genom den nya Europeiska dataskyddslagen GDPR, som kommer att göra stora skillnader i på vilket sätt du kan använda dina e-post adresser i framtiden.

Om du behöver rådgivning kring dina tester eller kring kopplingen, tveka inte att höra av dig till mig.  Som digital konsult inom WSI har jag ett eller ett par ess i rockärmen som jag säkert kan hjälpa dig att spela ut. Kontakta Erik på 0790-748188 eller genom att klicka HÄR!