Warum ein A/B Splittest blind macht

  •  

Ein A/B Splittest ist eine sehr einfache Optimierungsmethode für Landing Pages oder komplette Websites. Bei einem A/B Splittest wird der Besucherstrom einer Landing Page aufgeteilt und auf zwei unterschiedliche Varianten der Zielseite geleitet. Zweck dieses A/B Splittests ist es, die "bessere" von zwei (oder mehreren) Landing Pages zu identifizieren. Lesen Sie in diesem Artikel, welche Vorteile Sie von A/B Splittests haben - und welche Fallen Sie umgehen sollten.

A/B Split Test

Als kurze Einleitung kommt ein Klassiker aus dem echten Leben: Ein Geschäftsführer zeigt Ihnen stolz das ultraschicke Design für seine neue Website und möchte von Ihnen ein Feedback.

Schickes Design! Und die zweite Variante?

Diese Frage kann folgende Zustände auslösen:

  • Irritation
  • Fragenden Gesichtsausdruck
  • Eine wütende Antwort a la: "Noch ein Design? Wissen Sie eigentlich, wie teuer das hier war?"

Warum sollte man diese Frage stellen?

  • Weil wir nicht wissen können, ob das erstellte Design das richtige Design ist
  • Weil wir nicht wissen können, ob das Design nicht noch verbessert werden könnte
  • Weil wir nicht wissen können, ob das Design den Konversionspfad der Benutzer unterstützt
  • ...

Deshalb sollte man für seine neue Website mindestens zwei Designs am Start haben (oft genügt ein einfacher A/B Splittest). Diese Designs werden abwechseln geschaltet und die Konversionen gemessen (z.B. mit Google Analytics, Piwick o.ä.).

Bevor ich in die Vorteile und Nachteile von A/B Splittests einsteige, noch einen kurzen Gedanken vorab: Ein A/B Splittest sollten immer parallel (zeitgleich) ausgeführt werden. Das bedeutet: Besucher 1 sieht die Variante 1, Besucher 2 sieht die Variante 2, Besucher 3 die Variante 1, 4 -> 2, 5 -> 1 und so weiter. Hin und wieder ist mir aufgefallen, dass A/B-Splittests so aufgebaut waren, dass zuerst 1.000 Besucher auf die Variante 1, dann 1.000 Besucher auf die Variante 2 kamen. Diese Vorgehensweise ermöglicht jedoch die Einwirkung vieler Störfaktoren: Z.B. zeitliche Störfaktoren wie Arbeitszeit versus Feierabend, Arbeitstag versus Wochenende, das Wetter oder andere interessante Ereignisse wie die Fussball-WM.

Vorteile von A/B-Splittests

Anwendung bereits bei niedrigsten Besuchervolumina

Im Gegensatz zu multivariaten Tests macht eine Anwendung von A/B-Splittests auch dann Sinn, wenn Sie nur ein paar Besucher und nur wenige Konversionen pro Tag mit Ihrer Landing Page erzielen. Durch die einfache Sicht auf die Resultate können Sie sehr schnell herausfinden, welche Variante besser funktioniert.

Einfache Planung

Die Planung von A/B-Splittests ist im Gegensatz zu multivariaten Tests sehr einfach: Sie legen zwei Varianten Ihrer Landing Page fest und definieren, auf welche Weise Ihr Besucherstrom auf die Varianten aufgeteilt werden soll (idealerweise hälftig, d.h. jede Variante erhält 50% der Besucher).

Einfache Umsetzung

Die Umsetzung von A/B-Splittests ist aus technischer wie organisatorischer Sicht auch für Einsteiger in das Thema leicht durchführbar. Mit dem Einsatz des Google Website Optimierungs-Tool (Seit August 2012 ist das Tool ein Teil von Google Analytics) wird es sogar zum Kinderspiel: Sie definieren die zu testenden Landing Pages, erstellen das "Experiment" und lassen den Test beginnen.

Einfache Auswertung und Interpretation

Die Auswertung von A/B-Splittests ist noch einfacher als die Umsetzung: Die Variante mit den meisten Konversionen hat "gewonnen". Es gibt keine langen Diskussionen wie bei multivariaten Tests, "Interpretations-Spielraum" oder verwirrende Diagramme. Einer gewinnt, einer verliert ;-)

A/B Splittest > Gewinner und Verlierer

Soviel zu den Vorteilen. A/B-Splittests sind eine tolle Sache, um innerhalb kürzester Zeit für Landing Pages (und auch komplette Websites) herauszufinden, welche Variante besser funktioniert. Doch wo Licht ist, ist bekanntlich auch Schatten. A/B-Splittests haben auch so ihre Nachteile:

Nachteile von A/B-Splittests

A/B-Splittests sind verschwenderisch

Jeder einzelne Besucher auf Ihrer Landing Page hinterlässt durch seinen Besuch eine wertvolle Information: Er führt eine Konversion durch - oder eben nicht. Genau diese eine Information ist essentiell für Ihre Tests. Im Rahmen eines einfachen A/B-Splittests steht es Ihnen frei, wie viele Änderungen zwischen beiden Varianten bestehen. Es ist für Sie ja nur interessant, welche Variante besser ist. Sobald Sie jedoch auf den ersten Splittest einen zweiten folgen lassen, geht Ihnen die Hälfte der Erkenntnisse aus dem vorherigen Test verloren (es wird in diesem Fall ja ein weiterer Test mit dem letzten Gewinner durchgeführt, der Verlierer wird nicht weiter beachtet).

Wenn Ihre Landing Page nur wenige Besucher und Konversionen hat, zieht sich der A/B-Splittest dadurch sehr in die Länge. Wenn Sie viele Besucher und Konversionen haben, geht Ihnen schlicht ein großes Potential an Informationen verloren.

Pro Test sind nur wenige Änderungen sinnvoll

Um überhaupt eine Verbindung zwischen Änderung zwischen den Varianten und der Auswirkung auf die Konversionsrate festzustellen, ist es sinnvoll, nur wenige oder gar nur eine einzige Modifikation durchzuführen: Funktioniert die blaue oder die rote Schaltfläche besser? Konvertiert das Formular mit 3 oder 4 Feldern besser? Und so weiter. Der Nachteil bei der sequentiellen Änderung ist, dass sich der Gesamttest sehr in die Länge ziehen kann, bis ausreichende Informationen für eine sinnvolle Auswertung vorliegen. Gleichzeitig gehen mit jedem Folgetest die Hälfte aller bisherigen Erfahrungen verloren, da der "Verlierer" nicht mehr mit berücksichtigt wird. Mit dem Einsatz multivariater Tests können Sie viele Änderungen gleichzeitig innerhalb des selben Tests durchführen.

A/B-Splittests machen blind für die optimale Landing Page

Um eine "optimale" Landing Page mittels A/B-Splittests zu ermitteln benötigen Sie entweder einen (unwirtschaftlichen) laaaaangen Atem oder Glück. A/B-Splittests können das Verhalten zwischen Änderung und Auswirkung nur dann darstellen können, wenn genau eine einzige Änderung zwischen den Varianten besteht.

AB Split Test > Testreihe

Sobald auf dieser Erkenntniss jedoch die nächste Variante aufgebaut wird, erhalten Sie keine Aussage mehr darüber, welche Konversionsrate diese Änderung beim vorherigen "Verlierer" gehabt hätte. Die Auswertung und Interpretation dafür fällt schlicht weg - der Gesamttest ist auf diesem Auge dann sprichwörtlich blind.

Zusammenfassung

Wer mit einem niedrigen Budget startet, wenig Besucher oder Konversionen erwartet, sollte sich auf jeden Fall näher mit dem Thema A/B-Splittests befassen. Es ist eine sehr praktische Möglichkeit, um auch in besucherschwachen Bereichen mit wenig Aufwand gute Verbesserungen zu erzielen.

Übrigens: A/B-Splittests sind genial, um lange Diskussionen um den "besseren Text" oder "das bessere Design" im Keim zu ersticken. Sobald eine dieser Diskussionen im Raum steht, schlagen Sie einfach einen A/B-Test vor. Möge der Bessere gewinnen ;-)

Noch mehr Lesestoff zu "Konversionsoptimierung"

  •  

Wertvolle Kommentare smarter Leser

Sehr geehrter Herr Kratz, vielen Dank für die regelmäßige Bereitstellung der Informationen zum Thema "SEO". Mit Interesse lesen bei uns die mit dem Thema befassten Kollegen. Viele Grüße auch von KDB aus Berlin S. Groegel

- Stan Groegel

[...] Mehr noch als sonst im Online-Marketing gilt es, Varianten zu testen. Aber Vorsicht: Immer nur EINE Sache variieren bei einem A/B-Split-Test. [...]

- So gestalten Sie Ihre Landingpage erfolgversprechend | Unternehmer.de

Zitat: "A/B-Splittests sind genial, um lange Diskussionen um den “besseren Text” oder “das bessere Design” im Keim zu ersticken." Das stimmt und kann ich nur bestätigen! Denn es gibt mindestens immer zwei Meinungen bzw. Varianten die gegeneinander getestet werden können. Ob diese Unterschiede zwischen den beiden Varianten dann auch für einen Test ausreichen, um signifikante Aussagen zu bekommen, ist nochmal eine andere Fragestellung. ;o)

- Sonja Quirmbach

[...] Warum A/B Split Tests blind machen [...]

- Google Instant Preview: Auswirkung auf das Onlinemarketing

Super erklärt.! Danke

- Electronic Research

[...] (inklusive der laufenden Betriebskosten) ein Maximum an Ergebnissen herauszuholen. Sprich: Testen, analysieren, Konversionen [...]

- 9 Ausreden, weshalb der Onlinemarketing-Plan kein Landingpage Testing umfasst

[...] Sie einen einfachen Kaufprozess und eine robuste Logistik. Führen Sie einfache A/B Split-Tests durch. Reproduzieren Sie diese Schritte für drei, vier, fünf weitere Produkte. Messen Sie [...]

- Online Marketing Methode für Webshops

[...] Ich bin 2010 selbst hereingefallen: Für ein eigenes Projekt habe ich einen ganzen Hasenstall an Landing Pages erstellt. In der betriebsblinden Annahme, dass diese Landing Pages gute Konversionsraten erzielen müssten, verzichtete ich auf das absolute Minimum: Einen einfachen A/B-Test. [...]

- Warum 2011 kein Jahr der Konversions-Optimierung wird

Hallo, zur Aussage von Sonja Quirmbach,ob diese Unterschiede zwischen den beiden Varianten dann auch für einen Test ausreichen, um signifikante Aussagen zu bekommen,möchte ich noch ergänzen: Ich teste permanent sämtliche Unterschiede, die mir Einfallen, in der Überschrift, über den Preis, wenn ich einzelne Textpassagen in "" setze usw. Und zwar: bis ich mindestens 30 Conversions, also 15 pro Variante, erreicht habe. Danach ändere ich was und teste weiter. Schöne Grüße Stefan

- Stefan

[...] Sie einen einfachen Kaufprozess und eine robuste Logistik. Führen Sie einfache A/B Split-Tests durch. Reproduzieren Sie diese Schritte für drei, vier, fünf weitere Produkte. Messen Sie [...]

- Schnell, ein Shop muss her: Methode für ungeborene Online-Shops » Speed4Trade Weblog

Sehr geehrter Herr Kratz, was mache ich denn, wenn ich zwei Webseitendomains eingerichtet habe und die im Splittest vergleichen will? Das geht mit dem Webmastertool leider nicht und danach suche ich schon eine Weile.

- Hans-Jürgen Sackmann

Lieber Herr Sackmann, für eine sinnvolle Antwort bräuchte ich noch ein paar Informationen: - Haben Sie vollen Zugriff auf beide Domains? - Können Sie z.B. mit PHP o.ä. Einfluss auf das Verhalten der Seiten nehmen (z.B. die Programmlogik modifizieren etc.)? - Auf welche Weise ist das Konversionstracking geplant / eingerichtet? Können Sie diese Informationen zusätzlich bereitstellen? Besten Dank und herzliche Grüße, Karl Kratz

- Karl Kratz

[...] A/B-Splittest nicht nur den Blick auf “versteckte” Gewinner (siehe Artikel “Warum A/B-Splittests blind machen“), sondern schränkt den Fokus des Betreibers auf einige, wenige Komponenten [...]

- Strategien zur Konversionsoptimierung im Online Marketing

[...] entweder ein A/B-Splittest oder ein multivariater Test zum Einsatz. Eine sehr entscheidende Frage in diesem Zusammenhang [...]

- A/B-Split-Test und MVT (Multivariater Test) / Vorteile, Nachteile

[...] ist die bessere Variante zu identifizieren. Dazu gibt es einen sehr schönen Artikel von KarlKratz: Warum A/B Split Tests blind machen?Splittest für Google Adsense – Mein FazitDa dieser Split-Test gerade erst angelaufen ist, wird es [...]

- Case Study – Splittest für bessere Google Adsense CTR — Blog Verdiener

Moin, ich habe weder twitter noch facebook. Koennten Sie mir Ihr landing-page ebook zumailen? Gegebenenfalls kann ich ja dann irgendwo anders mein hoffentlich positives Feedback abladen. Grüsse Lang

- Lang

Einen Kommentar zu diesem Artikel schreiben