Warum ein A/B Splittest blind macht

  •  

Ein A/B Splittest ist eine sehr einfache Optimierungsmethode für Landing Pages oder komplette Websites. Bei einem A/B Splittest wird der Besucherstrom einer Landing Page aufgeteilt und auf zwei unterschiedliche Varianten der Zielseite geleitet. Zweck dieses A/B Splittests ist es, die "bessere" von zwei (oder mehreren) Landing Pages zu identifizieren. Lesen Sie in diesem Artikel, welche Vorteile Sie von A/B Splittests haben - und welche Fallen Sie umgehen sollten.

A/B Split Test

Als kurze Einleitung kommt ein Klassiker aus dem echten Leben: Ein Geschäftsführer zeigt Ihnen stolz das ultraschicke Design für seine neue Website und möchte von Ihnen ein Feedback.

Schickes Design! Und die zweite Variante?

Diese Frage kann folgende Zustände auslösen:

  • Irritation
  • Fragenden Gesichtsausdruck
  • Eine wütende Antwort a la: "Noch ein Design? Wissen Sie eigentlich, wie teuer das hier war?"

Warum sollte man diese Frage stellen?

  • Weil wir nicht wissen können, ob das erstellte Design das richtige Design ist
  • Weil wir nicht wissen können, ob das Design nicht noch verbessert werden könnte
  • Weil wir nicht wissen können, ob das Design den Konversionspfad der Benutzer unterstützt
  • ...

Deshalb sollte man für seine neue Website mindestens zwei Designs am Start haben (oft genügt ein einfacher A/B Splittest). Diese Designs werden abwechseln geschaltet und die Konversionen gemessen (z.B. mit Google Analytics, Piwick o.ä.).

Bevor ich in die Vorteile und Nachteile von A/B Splittests einsteige, noch einen kurzen Gedanken vorab: Ein A/B Splittest sollten immer parallel (zeitgleich) ausgeführt werden. Das bedeutet: Besucher 1 sieht die Variante 1, Besucher 2 sieht die Variante 2, Besucher 3 die Variante 1, 4 -> 2, 5 -> 1 und so weiter. Hin und wieder ist mir aufgefallen, dass A/B-Splittests so aufgebaut waren, dass zuerst 1.000 Besucher auf die Variante 1, dann 1.000 Besucher auf die Variante 2 kamen. Diese Vorgehensweise ermöglicht jedoch die Einwirkung vieler Störfaktoren: Z.B. zeitliche Störfaktoren wie Arbeitszeit versus Feierabend, Arbeitstag versus Wochenende, das Wetter oder andere interessante Ereignisse wie die Fussball-WM.

Vorteile von A/B-Splittests

Anwendung bereits bei niedrigsten Besuchervolumina

Im Gegensatz zu multivariaten Tests macht eine Anwendung von A/B-Splittests auch dann Sinn, wenn Sie nur ein paar Besucher und nur wenige Konversionen pro Tag mit Ihrer Landing Page erzielen. Durch die einfache Sicht auf die Resultate können Sie sehr schnell herausfinden, welche Variante besser funktioniert.

Einfache Planung

Die Planung von A/B-Splittests ist im Gegensatz zu multivariaten Tests sehr einfach: Sie legen zwei Varianten Ihrer Landing Page fest und definieren, auf welche Weise Ihr Besucherstrom auf die Varianten aufgeteilt werden soll (idealerweise hälftig, d.h. jede Variante erhält 50% der Besucher).

Einfache Umsetzung

Die Umsetzung von A/B-Splittests ist aus technischer wie organisatorischer Sicht auch für Einsteiger in das Thema leicht durchführbar. Mit dem Einsatz des Google Website Optimierungs-Tool (Seit August 2012 ist das Tool ein Teil von Google Analytics) wird es sogar zum Kinderspiel: Sie definieren die zu testenden Landing Pages, erstellen das "Experiment" und lassen den Test beginnen.

Einfache Auswertung und Interpretation

Die Auswertung von A/B-Splittests ist noch einfacher als die Umsetzung: Die Variante mit den meisten Konversionen hat "gewonnen". Es gibt keine langen Diskussionen wie bei multivariaten Tests, "Interpretations-Spielraum" oder verwirrende Diagramme. Einer gewinnt, einer verliert ;-)

A/B Splittest > Gewinner und Verlierer

Soviel zu den Vorteilen. A/B-Splittests sind eine tolle Sache, um innerhalb kürzester Zeit für Landing Pages (und auch komplette Websites) herauszufinden, welche Variante besser funktioniert. Doch wo Licht ist, ist bekanntlich auch Schatten. A/B-Splittests haben auch so ihre Nachteile:

Nachteile von A/B-Splittests

A/B-Splittests sind verschwenderisch

Jeder einzelne Besucher auf Ihrer Landing Page hinterlässt durch seinen Besuch eine wertvolle Information: Er führt eine Konversion durch - oder eben nicht. Genau diese eine Information ist essentiell für Ihre Tests. Im Rahmen eines einfachen A/B-Splittests steht es Ihnen frei, wie viele Änderungen zwischen beiden Varianten bestehen. Es ist für Sie ja nur interessant, welche Variante besser ist. Sobald Sie jedoch auf den ersten Splittest einen zweiten folgen lassen, geht Ihnen die Hälfte der Erkenntnisse aus dem vorherigen Test verloren (es wird in diesem Fall ja ein weiterer Test mit dem letzten Gewinner durchgeführt, der Verlierer wird nicht weiter beachtet).

Wenn Ihre Landing Page nur wenige Besucher und Konversionen hat, zieht sich der A/B-Splittest dadurch sehr in die Länge. Wenn Sie viele Besucher und Konversionen haben, geht Ihnen schlicht ein großes Potential an Informationen verloren.

Pro Test sind nur wenige Änderungen sinnvoll

Um überhaupt eine Verbindung zwischen Änderung zwischen den Varianten und der Auswirkung auf die Konversionsrate festzustellen, ist es sinnvoll, nur wenige oder gar nur eine einzige Modifikation durchzuführen: Funktioniert die blaue oder die rote Schaltfläche besser? Konvertiert das Formular mit 3 oder 4 Feldern besser? Und so weiter. Der Nachteil bei der sequentiellen Änderung ist, dass sich der Gesamttest sehr in die Länge ziehen kann, bis ausreichende Informationen für eine sinnvolle Auswertung vorliegen. Gleichzeitig gehen mit jedem Folgetest die Hälfte aller bisherigen Erfahrungen verloren, da der "Verlierer" nicht mehr mit berücksichtigt wird. Mit dem Einsatz multivariater Tests können Sie viele Änderungen gleichzeitig innerhalb des selben Tests durchführen.

A/B-Splittests machen blind für die optimale Landing Page

Um eine "optimale" Landing Page mittels A/B-Splittests zu ermitteln benötigen Sie entweder einen (unwirtschaftlichen) laaaaangen Atem oder Glück. A/B-Splittests können das Verhalten zwischen Änderung und Auswirkung nur dann darstellen können, wenn genau eine einzige Änderung zwischen den Varianten besteht.

AB Split Test > Testreihe

Sobald auf dieser Erkenntniss jedoch die nächste Variante aufgebaut wird, erhalten Sie keine Aussage mehr darüber, welche Konversionsrate diese Änderung beim vorherigen "Verlierer" gehabt hätte. Die Auswertung und Interpretation dafür fällt schlicht weg - der Gesamttest ist auf diesem Auge dann sprichwörtlich blind.

Beliebte Ausreden, um nicht testen zu müssen

Egal ob Landing Pages oder konventionelle Websites: Wann immer eine Interaktion mit Website-Besuchern möglich ist, sollte der Status Quo mit unterschiedlichen Versionen getestet werden.

Jede Website und jede Landing Page ist eine Investition. Normalerweise müssten Onlinemarketing-Verantwortliche im Unternehmen alles daran setzen, um aus dieser Investition (inklusive der laufenden Betriebskosten) ein Maximum an Ergebnissen herauszuholen. Sprich: Testen, analysieren, Konversionen optimieren!

"Ich weiß nicht, wie das geht."

Aber wie sieht es im echten Leben aus? Hier die 9 häufigsten Aussagen, weshalb Onlinemarketing-Verantwortliche in Unternehmen keine Website- oder Landingpage-Tests durchführen:

  1. Ich bin gottfroh, dass wir nun endlich die Website online haben. Ich bin doch nicht verrückt und mache nun "eine zweite Version" nur zum Test!
  2. Ich habe gehört, dass Website-Tests aufwendig, teuer und zeitintensiv sind. Und man weiß nie, was dabei herauskommt!
  3. Ich wüsste nicht, was man an dieser Website testen sollte.
  4. Auf meiner Website kann man nichts "machen", also muss ich auch nichts testen.
  5. Ich möchte mit meiner Website nichts verkaufen, sondern nur informieren,
  6. Ich weiß nicht, wie das geht.
  7. Meine Mitbewerber machen das auch nicht.
  8. Ich kenne niemanden, der das für mich machen könnte.
  9. Dafür habe ich keine Zeit / kein Geld.

Über die Ausreden kann man denken, was man möchte: Zielgerichtete Optimierung funktioniert nur über Tests.

Zusammenfassung

Wer mit einem niedrigen Budget startet, wenig Besucher oder Konversionen erwartet, sollte sich auf jeden Fall näher mit dem Thema A/B-Splittests befassen. Es ist eine sehr praktische Möglichkeit, um auch in besucherschwachen Bereichen mit wenig Aufwand gute Verbesserungen zu erzielen.

Übrigens: A/B-Splittests sind genial, um lange Diskussionen um den "besseren Text" oder "das bessere Design" im Keim zu ersticken. Sobald eine dieser Diskussionen im Raum steht, schlagen Sie einfach einen A/B-Test vor. Möge der Bessere gewinnen ;-)

Noch mehr Lesestoff zu "Digitale Findbarkeit"

  •