Dieser Blogartikel untersucht die Tendenz von Online Rezensionen, häufig extremverteilt zu sein. Das bedeutet, dass für ein Produkt oder eine Dienstleistung überproportional viele extrem positive oder extrem negative Rezensionen existieren, während die Anzahl moderater Rezensionen in der Regel niedrig ist. Dafür werten wir die Erkenntnisse der Studie „Extremity Bias in Online Reviews: The Role of Attrition“ von Leif Brandes, David Godes und Dina Mayzlin aus.
Durchgeführt wurde diese Studie in Kooperation mit einem anonymen europäischen Reiseportal. Um die Anzahl der Bewertungen zu steigern, sendete dieses Portal am ersten, fünften und neunten Tag nach dem Reiseende eine E-Mail an Kunden, in der um die Abgabe gebeten wurde.
Bisheriger Stand der Forschung
Die Beobachtung einer metaphorischen „J-Verteilung“ der Rezensionen, meist mit Ausschlag in Richtung der höchstmöglichen Bewertung, wurde in empirischer Forschung bereits untersucht. Zurückgeführt wurde diese Verteilung bisher auf den wahrgenommen Nutzen, den Rezensenten empfinden, wenn sie eine Bewertung abgeben und auf die zugrundeliegende Erfahrung, die ihnen das Produkt oder die Dienstleistung geboten hat. Dieser Nutzen, also unter anderem das Gefühl, anderen Nutzern mit der eigenen Rezension zu helfen, fällt bei extremen Erfahrungen, sowohl positiv als auch negativ, höher aus, als bei der Abgabe einer moderaten Rezension.
Die in diesem Artikel untersuchte Studie bezieht im Gegensatz zu vorheriger Forschung auch die sogenannte „Attrition“ als Einflussdeterminante einer Extremverteilung ein. Wir sprechen im Folgenden statt „Attrition“ von einer „Abwanderung“. Sie beschreibt, dass sich die Anzahl an potenziellen Rezensenten mit der Zeit aufgrund von Vergessen stetig verringert. Die Studie differenziert in diesem Zusammenhang drei verschiedene Fälle: Entweder wurde bereits eine Rezension abgegeben, die Person hat die Rezension vergessen oder keiner dieser Fälle ist eingetreten und die Person ist noch ein potenzieller Rezensent. Die Annahme, dass Kunden, die die Intention einer Rezensionsabgabe haben, dies auch wirklich tun werden, gilt aufgrund des Vergessens nicht. Damit werden die Mechanismen 1) des Rezensionsnutzens und 2) der tatsächlichen Erfahrung um 3) die Auswirkung der Abwanderung erweitert.
Experimentdesign und -aufbau
Es wurde ein Test mit 189.842 Probanden durchgeführt. Um die Auswirkungen der einzelnen Mechanismen betrachten zu können, wurden diese Probanden in vier verschiedene Gruppen eingeteilt. Unterschiedlich war lediglich der Zeitpunkt (Condition 1, 2, 5 oder 9 = Tag 1, 2, 5 oder 9), an dem die erste E-Mail nach dem Ende der Reise an die Kunden verschickt wurde. Diese E-Mails enthielten keinerlei monetäre Anreize im Gegenzug für eine Rezension. Sie wurde entweder am ersten, zweiten, fünften oder neunten Tag nach Ende der Reise gesendet. Um die Auswirkung auf die Verteilung der Rezensionen festzustellen, wird die durchschnittliche Bewertung derjenigen, die die erste E-Mail bereits erhalten haben mit der Bewertung derjenigen verglichen, die sie zum untersuchten Zeitpunkt noch nicht erhalten haben.
Rund 55% der Rezensionen von Personen, die die erste E-Mail bereits erhalten haben, fiel extrem aus. Als extrem werten die Autoren eine Bewertung von 1, 2, 3 oder 6 auf einer Gesamtskala von 1-6. Im Gegensatz dazu fielen ca. 62% der Rezensionen der restlichen Personen, die die erste E-Mail jeweils noch nicht erhalten haben, extrem aus. Durch die Konstanz der restlichen Testvariablen kann damit ein kausaler Zusammenhang zwischen den E-Mails, die um die Abgabe einer Rezension beten, und einer weniger extremen Bewertungsverteilung festgestellt werden.
Theorien der Forschenden
Die zugrundeliegenden Theorien überführen die Autoren in zwei mathematische Theorien, die daraufhin statistisch ausgewertet werden. Erstere sieht eine Fallunterscheidung auf Basis der Abwanderung und der Rezensionswahrscheinlichkeit vor. Ist die Abwanderung bei Personen mit extremen und moderaten Erfahrungen gleich und auch die Wahrscheinlichkeit, dass diese Personen eine Rezension abgeben, dann hängt die Verteilung der Rezensionen ausschließlich von den zugrundeliegenden tatsächlichen Produkterfahrungen ab.
Es kann angenommen werden, dass Personen mit moderater Erfahrung relativ zu extremen Erfahrungen vermehrt Abwandern, d.h. die Abgabe einer Rezension vergessen. Im Rahmen der Studie treten diese Personen damit aus dem „Pool“ der potenziellen Rezensenten aus. Ist das Verhältnis der Abwanderung nun stärker ausgeprägt als das Verhältnis der Rezensionsverfassungen, dann verlassen Personen mit extremen Erfahrungen diesen Pool relativ zu denen mit moderaten Erfahrungen in geringerer Anzahl.
Andererseits kann auch das Verhältnis der Abwanderung geringer ausfallen als das Verhältnis der Rezensionsverfassung. Ob eine E-Mail in diesem Fall zu einer Verzerrung in Richtung moderater oder extremer Erfahrungen ausfällt, hängt nun von der Zeit seit dem Reiseende ab. Schließlich verlassen mit jedem Tag mehr Personen mit moderaten Erfahrungen den Pool. Eine E-Mail, so angenommen, führt durch ihre Erinnerungsfunktion beide Erfahrungsgruppen wieder zurück in den Pool der potenziellen Rezensenten. Damit treten relativ zu den Personen mit extremen Erfahrungen mehr Personen mit moderaten Erfahrungen zurück ein. Die Verzerrung, also eine Abweichung der Rezensionsverteilung von den tatsächlich zugrundeliegenden Erfahrungen, fällt also bei späten ersten E-Mails zum Moderaten aus.
Die zweite Theorie besagt, dass eine E-Mail die Extremverteilung dann lindern kann, wenn das Verhältnis der Personen mit moderaten Erfahrungen, die die Rezension vergessen und sich noch im Pool befinden, gegenüber selbigem Verhältnis der extremen Erfahrungen, größer ausfällt. Anschaulich wird dies beispielsweise, wenn man für beide Werte im Zähler einen gleichen Wert annimmt. Damit fällt die Anzahl der Personen, die sich noch im Pool der aktiven Rezensenten befinden, bei Personen mit moderaten Erfahrungen geringer aus. Es wäre anzunehmen, dass dies für eine gegenteilige Aussage sprechen könnte, schließlich überwiegen bei den Potenziellen Rezensenten Personen mit extremer Erfahrungen. Aber betrachtet man die drei Fälle, zwischen denen die Studie differenziert, dann wird für die restlichen Personen mit moderaten Erfahrungen impliziert, dass diese bereits eine Rezension verfasst haben.
Empirische Schätzung der Daten
Überprüft wurden diese Theorien mittels einer sogenannten „Maximum-Likelihood-Schätzung“. Im Sinne der Studie bietet diese beispielsweise gegenüber der „Kleinsten-Quadrat-Schätzung“ den Vorteil, dass durch den Vergleich mehrerer Wahrscheinlichkeiten der Modelle dasjenige identifiziert werden kann, dessen Aussage sich mit dem Datensatz am meisten überschneidet. Die Ergebnisse bestätigen die bisherigen Forschungserkenntnisse: Der wahrgenommene Nutzen einer extremen Rezension fällt höher aus und die Abwanderungsrate bei Personen mit moderater Erfahrung ist höher. Interessanterweise sind beide Komponenten für die Erklärung der Extremverteilung relevant: Die Vernachlässigung auch nur einer der beiden Variablen führt zu einer statistischen Insignifikanz des Modells.
Damit spielen alle drei Mechanismen, der wahrgenommene Nutzen, die Abwanderung und die zugrundeliegende Erfahrung, eine zentrale Rolle in der Entstehung einer Extremverteilung von Rezensionen. Ein Modell, welches die Abwanderung nicht berücksichtigt, war mit dem Datensatz weitaus weniger kompatibel.
Erkenntnisse und Limitationen
In Bezug auf den E-Commerce wird die Aussage abgeleitet, dass keine finanziellen Anreize innerhalb der Reminder-E-Emails nötig sind. Eine E-Mail ohne finanziellen Anreiz konnte die Abgabe von Rezensionen von 2,8% innerhalb von vier Tagen auf 11% steigern. Die Studie illustriert diese Erkenntnis anhand eines Beispiels: Von 1000 Kunden geben rund 3% von sich aus eine Rezension ab. 11% würden dies mit E-Mail ohne finanziellen Anreiz tun, dagegen 17,4% mit finanziellem Anreiz. Nimmt man Kosten pro Rezension von 25€ an, beispielsweise in Form eines Gutscheins, dann steigen die effektiven Akquisekosten pro Nutzer aufgrund der Differenz zwischen 11% und 17,4% auf 68€ pro Rezension. Ein hoher finanzieller Aufwand resultiert folglich in einem relativ niedrigen Zuwachs an zusätzlichen Bewertungen.