Warum wir dir keine ROI-Zahl zur Teilnahme geben

Jedes Werkzeug in dieser Kategorie verspricht irgendwann eine Zahl: deine Community war so viel wert. Wir haben genau geprüft, ob wir eine davon für einen einzelnen Gastgeber ehrlich erzeugen können. Wir können es nicht, und der Grund ist Arithmetik, nicht mangelnde Mühe.

Was eine kausale Zahl verlangen würde

Um zu behaupten, dass Teilnahme jemanden zum Kauf gebracht hat, brauchst du zwei Gruppen, die sich nur darin unterscheiden, ob sie da waren — und in jeder genug Menschen, um einen Effekt durch das Rauschen zu sehen.

Rechne das in der Größe der Räume, an die wir verkaufen. Bei rund 50 Personen pro Gruppe ist der kleinste zuverlässig nachweisbare Effekt etwa 27 Prozentpunkte. Einen Effekt dieser Größe sähest du auch ohne Messung.

Andersherum gefragt: Was bräuchte es, um über zufällig verteilte Einladungen einen Effekt von 10 Punkten nachzuweisen, bei realistischer Annahmequote? Ungefähr 820 Teilnehmende. Ein einzelnes wiederkehrendes Studioformat bringt das in einem Jahr nicht zusammen.

Der Vergleich, der streng aussieht und es nicht ist

Der naheliegende Ausweg: Eingeladene, die kamen, gegen Eingeladene, die nicht kamen.

Das liest sich wie eine Kontrollgruppe. Es ist keine. Wer kam, war ohnehin geneigter — an dem Abend freier, verbundener, kaufbereiter. Der Vergleich ist beschreibend, und er ist in die Richtung der Behauptung verzerrt, die wir verkaufen würden.

Genau dieses Versagen hat die Bonusprogramm-Forschung längst dokumentiert: Leenheer und Kollegen (2007) fanden, dass rund 86 % des rohen Effekts verschwinden, sobald man für Selbstselektion korrigiert.

Würden wir diesen Vergleich als ROI ausliefern, verkauften wir dir deine eigene Selektionsverzerrung mit unserem Logo darauf.

Was wir stattdessen tun

Drei Dinge, von denen keines Behauptungen braucht.

Ein Bericht mit ausgewiesener Abdeckung. Sichtbar ist für uns, wer da war und wie oft. Das zeigen wir gegen deine eigenen Aufzeichnungen — und wir sagen dazu, welchen Anteil des Raums wir überhaupt identifizieren konnten. Eine Zahl ohne ihren Nenner ist ein Testimonial.

Ein echter Test, wenn du ihn willst. Ein Perk, den eine zufällig gewählte Hälfte einer berechtigten Gruppe bekommt, ist ein echtes Experiment, weil wir zuteilen und nicht die Person sich selbst. Das misst eine kleine Sache richtig statt einer großen Sache falsch.

Ein beschrifteter Vergleich, nie ein unbeschrifteter. Was ein Zusammenhang ist, heißt Zusammenhang — im Bericht, in derselben Schriftgröße wie das Ergebnis.

Der Teil, der erst später funktioniert

Zufallstests über viele Gastgeber hinweg zusammenzuführen ergibt irgendwann etwas, das ein einzelner Gastgeber nie erreicht. Das ist ein Benchmark, und es würde als solcher ausgewiesen — niemals als deine Zahl.

So weit sind wir nicht. Es laufen keine Pilotprojekte, und es gibt keine Ergebnisse zu zeigen. Wenn es sie gibt, steht die Vorhersage vor dem Ergebnis da — und die Fehlschläge stehen neben den Treffern.