Multivariates Testing als Methode der quantitativen Website-Optimierung

Im E-Commerce sind es oft kleine Faktoren, die einen großen Unterschied bewirken können. Nach aktuellen Zahlen des Bundesverband E-Commerce und Versandhandel Deutschland e.V. steigt das Marktvolumen im E-Commerce weiterhin rasant an (siehe: bveh-Jahrespressekonferenz 2014) [1]. Eine logische Konsequenz ist, dass auch Traffic durch den steigenden Wettbewerb immer teurer wird. Daher gilt es, den Traffic auf der eigenen Webseite möglichst effektiv zu nutzen. Was ist schlimmer, als dass man sich für viel Geld SEA-Traffic (Traffic aus bezahlten Suchmaschinen-Anzeigen) auf eine Webseite einkauft, dieser Traffic aber dann aus unbekannten Gründen nicht konvertiert? Man benötigt also ein Mittel um herauszufinden, welche Veränderungen einen positiven Einfluss auf zuvor definierte Kennzahlen haben. Für diesen Zweck gibt es Website Testing.

Mithilfe von quantitativen Tests lassen sich relativ einfach verschiedene Versionen einer Webseite gegeneinander testen, um Zahlenmaterial zur Entscheidungsunterstützung zu erhalten. Entscheidungen müssen dann nicht basierend auf subjektiven Meinungen Einzelner getroffen werden, denn durch Tests lassen sich Veränderungen einer Webseite objektiv bewerten. Zum Glück, denn es wäre purer Zufall, wenn der persönliche Eindruck des Betreibers auch den der Website-Besucher wiederspiegelt. Ohne Webanalyse-Daten, die die Eindrücke der Besucher darstellen, ist man daher beim Design einer Webseite hoffnungslos verloren. Man kann sich nicht einfach in die Nutzer hineinversetzen – nach einer Aussage des bekannten Web-Analysten Avinash Kaushik [2] liegt man in 80 Prozent der Fälle falsch, wenn man meint, man wisse, was Nutzer der eigenen Seite wirklich wollen. Als Betreiber hat man eine gewisse Betriebsblindheit entwickelt. Man steht der eigenen Firma, deren Produkten und der Webseite zu nah, um sie objektiv zu beurteilen. Im Laufe der Zeit hat man sich an die Webseite gewöhnt, man verhält sich anders als Außenstehende.

Daher ist Website Testing eine wichtige Methode, um Vermutungen bzw. Hypothesen, die subjektiv sind, mit objektiven Ergebnissen zu bestätigen oder zu widerlegen. Eine dieser Testmethoden ist Multivariates Testing.

Entwicklung von Hypothesen

Level und Varianten

In der nachfolgenden Abbildung ist das Anmeldeformulars zu sehen, welches ich als Testobjekt für dieses Beispiel verwendet habe.

Das Ziel des Formulars liegt eindeutig darin, Anmeldungen zu generieren und somit die Kontaktinformationen von Interessenten zu erhalten. Als Kennzahl für den Erfolg kann die Conversion Rate (Anteil der Besucher des Formulars, die sich tatsächlich angemeldet haben) herangezogen werden. Im nächsten Schritt werden Bereiche bzw. Elemente festgelegt, die im Rahmen des Tests optimiert werden sollen. Im Beispiel wurden fünf Elemente ausgewählt (siehe farbliche Markierung in Abbildung 1):

1. Formulierung der Überschrift (rot)
2. Darstellung / Reihenfolge / Gestaltung der Formularfelder (violett)
3. Gestaltung des Anmelde-Buttons (gelb)
4. Darstellung der Testimonials (blau)
5. Vorhandensein von Vertrauenssiegeln (grün)

Anschließend müssen für jedes dieser Elemente, die auch Level genannt werden, mögliche Variationen ausgearbeitet werden. Für Level 1 wären Folgende denkbar:

1. “Get a Free Trial Now”
2. „Test it for Free“
3. „Wanna Give it a Try?“

Genauso werden auch für die restlichen Level Variationen konzipiert. Mit diesen Level und Variationen ist nun eine hohe Anzahl an Kombinationen denkbar. Dazu wird die Anzahl der Variationen aller Level multipliziert.
Anhand dieses Beispiels kann man sich die Funktionsweise eines Multivariaten Tests gut vorstellen. Die weiteren Schnitte möchte ich nachfolgend nur kurz nennen, um den Rahmen nicht zu sprengen.

Weitere Schritte und Durchführung

Laut Avinash Kaushik gibt es zwei typische Fehler, die es zu vermeiden gilt [2]. Zunächst sollte man den berühmten Spruch “garbage in, garbage out” beachten. Nur mit einer guten Vorbereitung, also sauber formulierten Hypothesen, die auf Vorwissen basieren können tatsächlich wertvolle Optimierungen stattfinden. Ein wildes, aus der Luft gegriffenes „Rumprobieren“ ohne wirkliche Hypothesen kann zwar zu signifikanten Testergebnissen führen, die jedoch keine hohe Güte aufweisen. Testergebnisse können nur so gut sein, wie die Hypothesen, die getestet werden. Diese wiederum können nur so gut sein, wie die vorhergehende Analyse der Seite (siehe auch: 5 grobe Testing-Fehler, die viel Geld kosten können) [11].

Außerdem sollte man nie den Blick für die gesamte Webseite verlieren. Man kann eine Landing Page noch so gut optimieren, es wird nie einen Anstieg der wichtigen Kennzahlen geben, wenn die weiteren Seiten, die danach folgen, keine Beachtung finden. An vielen Stellen „wird nur vorne optimiert“ [12]. Mit Multivariatem Testing kann immer nur eine Seite getestet werden, man sollte jedoch bei Entwickeln von Hypothesen auch an das gesamte Unternehmen denken. Daher ist auch die Auswahl der Erfolgskennzahl sehr wichtig. Wenn es technisch möglich ist, kann man beispielsweise versuchen, Retouren in die Conversion Rate eines MVT mit längerer Laufzeit einzubeziehen.

Ein weiterer Fehler ist, dass Shopmanager oft versuchen zu schnell Rückschlüsse zu ziehen und nicht sorgfältig genug mit Ergebnissen umzugehen. Man sollte immer Wert auf ein hohes Konfidenzniveau legen und zusätzlich immer alle Ergebnisse gewissenhaft hinterfragen [10]. Erst wenn man versteht, warum eine Variante der haushohe Gewinner eines Tests ist, kann man mit der Umsetzung der Ergebnisse starten. Reine Zahlen, die man nicht versteht, sind nicht viel wert. Weiterhin gilt es zu beachten, auch einen „Blick über den Tellerrand“ zu wagen und nicht nur auf die Optimierung der eigenen Webseite zu verharren. Eine traumhafte Conversion Rate ist nutzlos, wenn die absolute Anzahl der Besucher verschwindend gering ist [12]. Nicht immer liegt der Grund für fehlende Umsätze im Onpage-Bereich. Vielleicht liegen die Probleme bei der Traffic-Generierung oder der Sortiments-Auswahl.

Der A/B-Test wird auch „Split-Test“ genannt und ist ebenfalls eine Methode, quantitativ verschiedene Versionen einer Webseite gegeneinander zu testen. Eine weitere Gemeinsamkeit ist, dass immer eine Originalvariante gegen veränderte Varianten getestet wird [4]. Beim A/B-Test gibt es in der klassischen Form nur zwei Varianten, die gegeneinander getestet werden. Als A/B/n-Test wird er auf beliebig viele Varianten ausgedehnt. Bei der Konzeption der Testvarianten besteht komplette Freiheit, denn die einzelnen Testvarianten sind komplett unabhängig voneinander. Wechselwirkungen zwischen verschiedenen Elementen, wie man es vom MVT kennt, können hier nicht getestet werden. In nachfolgender Abbildung ist dieser generelle Unterschied gut zu erkennen.

Eine der Haupterkenntnisse meiner Ausarbeitungen ist, dass MVTs leider oft falsch angewandt werden. Schon bei der Entwicklung der Hypothesen werden große Fehler gemacht, wodurch die Ergebnisse an Güte verlieren. Bei korrekter Anwendung kann ein MVT eine sehr effiziente Methode zum Websiteoptimierung sein. Der Mehrwert liegt darin, dass viele Kombinationen aus verschiedenen Elementen auf Zusammenhänge hin getestet werden können.Bei der Abgrenzung zu Usability-Tests sowie A/B-Tests ist ersichtlich geworden, in welchen Phasen der Website-Entwicklung und zu welchem Zweck die Testverfahren angewendet werden sollten. Eine Erkenntnis war zudem, dass oft eine Kombination aus verschiedenen Testverfahren die richtige Wahl ist. Außerdem ist es wichtig, dass der Testing-Prozess im Unternehmen iterativ durchgeführt wird. Jedes Ergebnis bietet wiederum eine Grundlage, um Hypothesen für neue Tests zu entwickeln.

Für das allgemeine E-Commerce-Umfeld bieten MVT somit viele Chancen und Möglichkeiten. Jedoch sollte der Aufwand für Konzeption, Durchführung, Ergebnisanalyse sowie Umsetzung nicht unterschätzt werden. Im Vergleich zu anderen Testverfahren werden sowohl Expertise als auch die entsprechenden Ressourcen zur Umsetzung benötigt. Eventuell schrecken daher noch viele Betreiber vor dieser Methode zurück. Mithilfe von sehr ausgeklügelten Test-Systemen, die immer mächtiger und einfacher zu bedienen werden können auch Betreiber kleinerer Webseiten mit weniger Traffic erfolgreich MVT anwenden. Ein großes Verbesserungspotenzial sehe ich zudem in der Verknüpfung der Testing-Daten mit anderen Unternehmenskennzahlen. So können beispielsweise Retouren Einfluss auf die Conversion im MVT nehmen.

Abschließend ist zu sagen, dass durch Multivariates Testing ein enormes Verbesserungspotenzial genutzt werden kann. Bei der aktuellen Entwicklung im E-Commerce hin zu perfekt durchoptimierten Systemen und Schnittstellen kann sich eventuell bald kein großer Player mehr erlauben, auf dieses Potenzial zu verzichten.