Een A/B-test opzetten op je betaalpagina

Je hebt een idee over je betaalpagina. Een andere kop, of een knop die niet “Bestellen” maar “Ja, ik doe mee” zegt. Zet je het aan en gaan je verkopen omhoog, dan weet je nog steeds niet of dat door je wijziging kwam of doordat het een goede week was.

Een A/B-test haalt die twijfel weg door beide versies tegelijk te tonen, aan vergelijkbare bezoekers, in dezelfde periode.

Je vindt het via Betaalpagina’s, [je pagina], A/B Test.

Wat je kunt testen, en wat niet

Dit is de belangrijkste verwachting om goed te zetten: een test in Memly gaat over vier stukjes tekst.

• De kop bovenaan de pagina
• De tekst onder die kop
• De tekst op de afrekenknop
• Het zinnetje onder de afrekenknop

Meer niet. Je kunt dus niet je prijs testen, niet je afbeelding, niet je voordelenlijst, niet je garantie, niet je kleuren, niet je boosters en niet de volgorde van je pagina.

Dat klinkt beperkt, en dat is het ook. Maar het is wel precies het deel waar je in vijf minuten iets aan verandert en waar de grootste verschillen vandaan komen. Wil je iets anders vergelijken, dan doe je dat door je pagina een periode zus en een periode zo te zetten, met alle ruis van dien.

Hoe je een test start

Op de A/B-tab staat één knop: Nieuwe test starten. Die opent een schermvullende builder.

Bovenin geef je de test een naam. Dat is verplicht, en het loont om er iets te zetten waar je over drie maanden nog iets aan hebt, zoals “kop met bezwaar erin” in plaats van “test 2”.

Daaronder staan je twee versies naast elkaar, allebei als echte, verkleinde weergave van je betaalpagina. Links Variant A, Origineel, met het label Read-only. Rechts Variant B, Test.

Er wordt geen kopie van je pagina gemaakt. Variant A is gewoon je bestaande pagina; variant B is niets meer dan die vier afwijkende teksten die bij het experiment bewaard worden.

Je bewerkt variant B door in de tekst te klikken. Er is geen formulier. Je klikt in de kop, typt, en ziet het meteen in de rest van de weergave staan.

Variant B begint als exacte kopie van A. Verander je niets, dan weigert Memly te starten met de melding dat je minstens één veld moet wijzigen. Velden die je onaangeroerd laat, blijven op de live pagina gewoon de tekst van variant A tonen.

De verdeling

Onder de balk staat Verdeling bezoekers, standaard 50/50. Je kunt schuiven tussen 10 en 90 procent, in stappen van vijf.

Blijf bij 50/50, tenzij je een goede reden hebt. Een scheve verdeling betekent dat je langer moet wachten voordat de kleinste groep genoeg bezoekers heeft, en dat je vooral in die kleine groep last hebt van toeval.

De winnaar automatisch laten kiezen

Achter de knop met het bliksem- en kalendericoon zitten twee dingen bij elkaar.

Je kunt een einddatum zetten, met snelkeuzes voor 7, 14, 30 of 60 dagen of een eigen datum. Dat mag je ook leeg laten.

En er staat een schakelaar Beste variant automatisch kiezen, die standaard aan staat. Daarmee kiest Memly zelf zodra het 95 procent zeker is welke variant beter werkt. De winnende tekst wordt dan je nieuwe standaard en de test stopt.

Een achtergrondtaak kijkt daarvoor elk half uur mee. De regels zijn:

• Tijdens de rit: allebei de varianten minstens 50 weergaven én 95 procent zekerheid, dan wordt er gepromoot.
• Op de einddatum: is er een einddatum bereikt en is de zekerheid 80 procent of hoger, dan wint de best presterende alsnog. De grens van 50 weergaven geldt daar niet, en dit gebeurt ook als je de schakelaar hebt uitgezet. Wil je echt zelf beslissen, laat de einddatum dan leeg.

Die tweede regel is er om te voorkomen dat een test eeuwig blijft hangen. Wees je er wel van bewust dat 80 procent zekerheid betekent dat er één kans op vijf is dat je de verkeerde kiest.

Wat er gemeten wordt

Twee getallen per variant: weergaven en conversies.

Een weergave telt elke keer dat de pagina geladen wordt, niet per unieke bezoeker. Iemand die drie keer terugkomt telt drie keer. Voorbeeldweergaven vanuit de admin tellen niet mee.

Een conversie telt op het moment dat iemand op afrekenen drukt en wordt doorgestuurd naar Mollie. Niet bij een geslaagde betaling. Wie bij Mollie afhaakt of van wie de betaling mislukt, staat dus toch als conversie in je test.

Dat is een verschil dat ertoe doet. Test je een tekst die mensen enthousiast maakt maar die verwachtingen wekt die de prijs niet waarmaakt, dan ziet die er in deze cijfers goed uit terwijl er niets binnenkomt. Leg de uitkomst van een test dus altijd naast je echte omzet.

Wat er niet gemeten wordt: omzet per variant, gemiddelde orderwaarde, kassakoopjes, upsells, terugbetalingen, en uitsplitsing naar apparaat of bron. Er is één doel, en dat is conversies gedeeld door weergaven.

De test lezen terwijl hij loopt

Zodra een test loopt zie je per variant het aantal weergaven, het aantal conversies en het conversiepercentage. De voorliggende variant krijgt een gekleurde achtergrond en een bekertje, groen bij hoge zekerheid en amber bij middelmatige.

Onderaan staat één zin met het advies, en die is duidelijker dan de meeste statistiek:

• “Nog niet voldoende data voor een betrouwbare conclusie. Wacht tot beide varianten minstens 50 bezoekers hebben gehad.”
• “Variant B wint duidelijk (97% kans dat variant b beter presteert).”
• “Variant B lijkt te winnen (88% kans), maar er is nog ruimte voor toeval.”
• “Vrijwel gelijk verdeeld. Geen duidelijke winnaar.”

Dat percentage is een kans dat een variant echt beter is, geen p-waarde. Je hoeft er dus geen statistiek voor te kennen: 97 procent betekent gewoon dat het bijna zeker is.

Rechtsboven staan de knoppen Pauzeer, Hervat en Beëindig. Bij elke variant staat een knop Promote om zelf de winnaar aan te wijzen zonder op de zekerheid te wachten.

Haalt een test zijn einddatum zonder dat een van beide varianten zeker genoeg is, dan sluit hij af als Geen winnaar. Variant B verdwijnt dan van je live pagina en je houdt over waar je mee begon.

Hoe je een test opzet die iets oplevert

Test één ding tegelijk. Verander je zowel de kop als de knoptekst, dan weet je bij winst niet welke van de twee het deed.

Test iets waar een idee achter zit. “Ja, ik wil beter slapen” tegenover “Bestellen” is een test met een hypothese: mensen reageren op de uitkomst, niet op de handeling. “Bestel nu” tegenover “Bestellen” is dat niet.

Wacht tot de grens van 50 gehaald is. Verkoop je een paar keer per week, dan duurt dat weken. Stop niet eerder omdat het er goed uitziet, want bij kleine aantallen ziet bijna alles er om beurten goed uit.

Reken uit of het de moeite waard is. Bij tien bezoekers per week is een test van vier weken nog steeds te klein om iets te leren. Zet je energie dan liever in meer bezoekers krijgen dan in het testen van je knoptekst.

Verder lezen

• Je eerste betaalpagina maken
• Sales boosters instellen, waarvan je het effect ook met een test kunt nagaan