Was ist eigentlich ein A/B Test?

Ein A/B Test ist eine Optimierungs-Technik, die zum Ziel hat, mindestens eine Variante oder Experience A mit einer Variante oder Experience B zu vergleichen und somit quasi wissenschaftlich zu ermitteln, welche Variante oder Experience besser performt in Bezug auf ein Messbares-Ziel wie z.B. Abverkäufe, CTA Klicks, Downloads etc.

Bei Swisscom bzw. in der Abteilung Online-Analytics & Projektmanagement (OAP) führen wir regelmässig Web-Analysen durch mit dem Ziel, verschiedene Online-Aspekte zu optimieren. Hierbei verwenden wir verschiedene Tools, insbesondere aus der Adobe Marketing Cloud. Durch gezielte Daten-Analysen können wir Seiten oder Prozesse finden, welche Optimierungspotential aufweisen. Die Zahlen aus der Web-Analyse sagen uns jedoch nur, dass eine Seite nicht gut performt jedoch nicht warum!? Hier greift dann die Hypothesenbildung bzw. das Erstellen von datengestützten-Hypothesen wie z.B. „Welcher Banner wird mehr geklickt, A, B oder C?“

A-B

Durch iterative Optimierungen konnten wir Conversion-Uplifts von bis zu 200% erreichen, d.h. bis zu dreimal so viel Conversions wie vor dem A/B Test. Mittlerweile wird bei Swisscom bzw. auf den Online-Seiten fast wöchentlich ein A/B Test durchgeführt. Neben dem positiven Uplift, der hierdurch erreicht werden kann, hat A/B Testing noch einen sehr positiven „Nebeneffekt“: Diskussionen zu diesen oder jenem Aspekt bzw. persönliche Vorlieben oder Abneigungen gegenüber Design, Farben, Formen, Darstellungen, Layouting etc. können nun recht einfach durch einen A/B Test „gestillt“  bzw. entkräftigt werden. Dem „Ich glaube…“, „Ich denke…“, „Ich fühle…“ kann nun ein auf Zahlen basierendes „Ich weiss!“ gegenüber gestellt werden.

FAZIT: Stop guessing – start testing. Es lohnt sich!