Wat is een multivariate test?

Veel meer dan bij een A/B-test, omdat je verkeer over alle combinaties wordt verdeeld. Test je drie onderdelen met elk twee varianten, dan heb je al 2 x 2 x 2 = 8 versies. Elke versie heeft genoeg bezoekers en conversies nodig voor een betrouwbare uitkomst.

Hoeveel precies hangt af van:

• je huidige conversieratio
• het kleinste verschil dat je wilt kunnen meten
• het aantal combinaties

Reken het uit met een online steekproefcalculator (sample size calculator). Heb je weinig verkeer, kies dan liever een gewone A/B-test.

Je draait een multivariate test met een externe testtool, niet met WordPress zelf. Zo pak je het aan:

• Kies een tool die multivariate tests ondersteunt, zoals VWO of Optimizely.
• Plaats de code van de tool op je site met de officiële VWO-plugin of met WPCode.
• Kies de pagina en de onderdelen die je wilt testen, bijvoorbeeld kop, afbeelding en knop.
• Maak per onderdeel je varianten in de editor van de tool.
• Stel je conversiedoel in, zoals een verstuurd formulier of een aankoop.

Controleer daarna of je cachingplugin de testversies niet blokkeert.

Laat een test minimaal één volledige week lopen, en liefst twee of meer, zodat je alle weekdagen meeneemt. Bezoekers gedragen zich op maandag vaak anders dan in het weekend.

De echte duur hangt af van je aantal bezoekers, je conversieratio en het aantal combinaties. Meer combinaties betekent langer wachten. Stop pas als je vooraf berekende aantal bezoekers is bereikt en de tool een statistisch betrouwbare uitkomst laat zien.

Duurt het maanden, dan test je te veel tegelijk. Schrap dan onderdelen of stap over op een A/B-test.

Kies een A/B-test als je weinig verkeer hebt of één grote verandering wilt testen, zoals een compleet nieuw ontwerp van je pagina. Je krijgt dan sneller een duidelijke uitkomst.

Een multivariate test past beter als:

• je pagina al veel bezoekers en conversies heeft
• je wilt weten welk los onderdeel het meeste effect heeft
• je wilt zien hoe onderdelen elkaar beïnvloeden, bijvoorbeeld een kop die alleen werkt met een bepaalde afbeelding

Twijfel je, begin dan met een A/B-test en verfijn de winnaar later met een multivariate test.

Nee, dat is een veelgemaakte fout. In de eerste dagen schommelen de resultaten sterk, vooral bij veel combinaties met elk maar weinig bezoekers. Een combinatie die vroeg bovenaan staat, zakt later vaak weg. Stop je te vroeg, dan voer je mogelijk een versie door die eigenlijk niet beter is.

Doe het daarom zo:

• Bepaal vooraf hoeveel bezoekers je nodig hebt.
• Kijk tussendoor alleen of de test technisch goed draait.
• Trek pas conclusies als dat aantal is bereikt en de uitkomst statistisch betrouwbaar is.