Eine Landingpage per A/B-Test zu optimieren ist ein gelöstes Problem. Headline ändern, ein paar Tage warten, Signups zählen. Die Kennzahl ist in Sekunden da, der Traffic ist groß, und das Ergebnis jedes Besuchers ist unabhängig von allen anderen.
Das Onboarding bricht alle drei Annahmen. Das Ergebnis, auf das es Ihnen ankommt, zeigt sich erst Tage nachdem die Änderung gesehen wurde. Ihr Signup-Volumen ist nur ein Bruchteil Ihres Besuchervolumens. Und jeder Nutzer erlebt den Flow genau einmal, Sie können den entscheidenden Moment also nicht wiederholen.
Nichts davon macht Onboarding-Experimente unmöglich. Es macht sie zu einer eigenen Disziplin, in der der Wert darin liegt, weniger, größere Änderungen an langsameren, besseren Kennzahlen zu testen. Dieser Leitfaden zeigt, was Sie testen sollten, was Sie messen sollten, wie viel Traffic Sie tatsächlich brauchen und was Sie stattdessen tun, wenn Sie ihn nicht haben.
Das Wichtigste in Kürze
- Messen Sie Aktivierung, nicht Klicks. Eine Variante kann den Tour-Abschluss steigern und gleichzeitig die Zahl der Nutzer senken, die irgendeinen Nutzen aus dem Produkt ziehen. Genau so passiert es, wenn man die Ersatzkennzahl optimiert.
- Testen Sie große Dinge. Kleine Änderungen brauchen Traffic, den die meisten SaaS-Produkte nicht haben. Checkliste gegen keine Checkliste ist testbar, eine andere Buttonfarbe nicht.
- Die Ergebniskennzahl kommt verzögert. Wenn die Aktivierung typischerweise eine Woche dauert, können Nutzer, die sich gestern registriert haben, noch gar nicht aktiviert sein. Wer sie mitzählt, verfälscht das Ergebnis.
- Legen Sie die Stichprobengröße vor dem Start fest. Onboarding-Kennzahlen schwanken anfangs stark, und fast immer gibt es einen Moment, in dem Ihre Wunschvariante gewinnt.
- Eine Variable pro Test. Ändern Sie drei Dinge, sagt Ihnen ein positives Ergebnis nicht, welches davon Sie behalten sollten.
- Kein Traffic ist keine Ausrede fürs Raten. Fünf Usability-Sessions, ein Vorher-Nachher-Kohortenvergleich oder ein Painted-Door-Test sind alle besser als ein unterdimensioniertes Experiment.
Was ist ein A/B-Test im Onboarding?
Definition: Ein A/B-Test im Onboarding teilt neue Nutzer zufällig auf zwei Versionen des Onboarding-Erlebnisses auf und vergleicht sie anhand eines nachgelagerten Ergebnisses, meist der Aktivierungsrate. Eine Gruppe erhält den aktuellen Flow (die Kontrollgruppe), die andere eine einzige, bewusste Änderung (die Variante). Jeder Nutzer wird genau einmal zugewiesen und bleibt für den gesamten Test in dieser Variante.
Die Mechanik ist Standard. Nicht Standard ist der Abstand zwischen Ursache und Wirkung. Auf einer Landingpage liegen die Änderung und die gemessene Größe Sekunden auseinander. Im Onboarding ändern Sie etwas, das ein Nutzer in Minute zwei sieht, und messen, ob er bis Tag sieben einen Nutzen hatte, mit einem kompletten Produkterlebnis dazwischen.
In dieser Lücke scheitern die meisten Onboarding-Experimente, und deshalb widmet sich der Rest dieses Leitfadens mehr der Messung als der Mechanik.
Warum Onboarding-A/B-Tests schwieriger sind
-
Die Kennzahl kommt verzögert
Die Aktivierung kann eine Stunde oder zwei Wochen dauern. Solange nicht jeder Nutzer Ihrer Stichprobe das volle Zeitfenster zum Aktivieren hatte, sind beide Varianten unterschätzt, und zwar nicht unbedingt im gleichen Maß. So kann eine verzögerte Kennzahl ein Ergebnis regelrecht umkehren.
-
Die Grundgesamtheit ist klein
Sie testen mit Signups, nicht mit Besuchern. Eine Website mit 50.000 Besuchern im Monat und einer Signup-Rate von 3% hat 1.500 Nutzer pro Monat zum Aufteilen, also ungefähr einen ausreichend dimensionierten Test pro Quartal, sofern Sie etwas Relevantes testen.
-
Jeder Nutzer sieht es nur einmal
Es gibt keinen zweiten ersten Eindruck. Eine verwirrende Variante verliert nicht nur den Test, sie kostet Sie dauerhaft die Nutzer, die sie erhalten haben. Das ist ein echtes Argument dafür, zuerst qualitative Forschung zu betreiben und nur Ideen zu testen, die diese überstehen.
-
Segmente verhalten sich unterschiedlich
Eine Änderung, die technischen Nutzern hilft, kann nicht-technischen schaden, und unterm Strich steht "kein Effekt". Aggregierte Onboarding-Ergebnisse verbergen mehr als aggregierte Landingpage-Ergebnisse, planen Sie Ihre Aufschlüsselung nach Segmenten also vor dem Start.
Die praktische Konsequenz: Sie haben pro Jahr eine Handvoll echter Onboarding-Experimente, nicht Dutzende. Setzen Sie sie für strukturelle Änderungen mit einem plausiblen Wirkmechanismus ein (Ideen aus Session-Aufzeichnungen, Abbruchdaten oder Usability-Tests) statt für ein Backlog kosmetischer Varianten.
Was Sie messen sollten: Aktivierung, nicht Klicks
Der mit Abstand häufigste Weg, aus einem korrekt durchgeführten Test eine falsche Antwort zu bekommen, ist, das Falsche zu messen.
| Kennzahl | Einsetzen als | Warum |
|---|---|---|
| Aktivierungsrate | Primäre Erfolgskennzahl | Die einzige Zahl, die bedeutet, dass ein Nutzer bekommen hat, wofür er gekommen ist |
| Time to First Value | Sekundäre Erfolgskennzahl | Erkennt Varianten, die den gleichen Anteil an Nutzern aktivieren, aber schneller |
| Retention an Tag 30 | Letzte Instanz, wenn Sie warten können | Die einzige Kennzahl, die sich nicht durch eine überzeugende erste Session schönen lässt |
| Schrittabschlussrate | Nur zur Diagnose | Erklärt, warum eine Variante gewonnen oder verloren hat; ein miserables Erfolgskriterium |
| Abschluss von Tour / Checkliste | Nur zur Diagnose | Lässt sich trivial steigern, indem man die Tour kürzt, was womöglich niemandem hilft |
| Zeit im Onboarding | Leitplanke | Allein mehrdeutig: kann Engagement bedeuten oder Verwirrung |
| Support-Tickets | Leitplanke | Eine Variante, die bei der Aktivierung gewinnt und die Tickets verdoppelt, hat nicht gewonnen |
Die Falle der Ersatzkennzahl verdient eine genauere Erklärung, weil man so leicht hineintappt. Angenommen, Variante B kürzt die Produkttour von acht Schritten auf drei. Der Tour-Abschluss springt von 34% auf 71%, und der Test wird zum Erfolg erklärt. Wenn die fünf gestrichenen Schritte aber genau die waren, die Nutzern zeigten, wie sie das erledigen, wofür sie gekommen sind, kann die Aktivierung gesunken sein, während sich Ihre Vorzeigekennzahl verdoppelt hat.
Wählen Sie das Aktivierungsereignis vor dem Test, definieren Sie es als konkretes Wertereignis und ändern Sie es nicht während der Laufzeit. Unsere Leitfäden zum Aha-Moment und zu Onboarding-Metriken zeigen, wie Sie es auswählen.
8 Onboarding-A/B-Tests, die sich lohnen
Grob sortiert nach erwarteter Effektgröße, und angesichts der oben beschriebenen Traffic-Grenzen ist genau das die Reihenfolge, die zählt.
1. Checkliste gegen keine Checkliste
Zeigen Sie der Hälfte der neuen Nutzer eine Onboarding-Checkliste und der anderen Hälfte das reine Produkt. Das ist meist der größte einzelne Hebel, den Sie haben, denn eine Checkliste verwandelt ein offenes "Finde es selbst heraus" in eine kurze, endliche Liste mit einem sichtbaren Ende.
Hypothese: Ein expliziter, endlicher Weg steigert die Aktivierung. Messen: Aktivierungsrate und Time to Value.
2. Weniger Felder bei der Registrierung
Kürzen Sie das Formular auf E-Mail und Passwort und erfragen Sie alles andere später. Beobachten Sie beide Hälften des Funnels: Signup-Rate und Aktivierungsrate. Der Fehler, den dieser Test aufdecken soll, ist eine Formularänderung, die die Signups steigert und die Aktivierung senkt, weil die entfernten Felder nützliche Weichen gestellt haben. Genau dieses Spannungsfeld behandeln unsere Leitfäden zu Registrierungsprozessen und Progressive Profiling.
3. Beispieldaten gegen Empty State
Füllen Sie neue Konten mit einem realistischen Beispielprojekt statt mit einem leeren Bildschirm. Strukturell, günstig umzusetzen und häufig einer der größten Hebel: Ein leeres Konto verlangt vom Nutzer den schwierigsten Teil der Arbeit mit dem wenigsten Kontext. Mehr dazu in unserem Leitfaden zu Empty States.
Leitplanke: Achten Sie darauf, ob Nutzer Demodaten für ihre eigenen halten. Das zeigt sich eher in Support-Tickets als in einer Kennzahl.
4. Vorgeschaltete Tour gegen kontextbezogene Hilfe
Kontrolle: eine Willkommenstour beim ersten Login. Variante: keine vorgeschaltete Tour, dafür kurze Tooltips, die ausgelöst werden, wenn der Nutzer den jeweiligen Bereich zum ersten Mal erreicht.
Das ist der aufschlussreichste Test der Liste, weil die beiden Philosophien tatsächlich unterschiedliche Produkte ergeben. Kontextbezogene Hilfe gewinnt meist bei der Aktivierung; vorgeschaltete Touren gewinnen manchmal bei der Feature-Entdeckung. Zu wissen, was bei Ihnen gilt, ist den Traffic eines Quartals wert. Unser Leitfaden zu Produkttouren, die konvertieren, behandelt beide Muster.
5. Personalisierter Pfad gegen Einheitslösung
Stellen Sie eine Multiple-Choice-Frage, "Was führt Sie hierher?", und verzweigen Sie die erste Session je nach Antwort. Die Kontrollgruppe erhält für alle denselben Flow.
Beachten Sie, dass dieser Test zwei Dinge gleichzeitig prüft: die Kosten der Frage und den Nutzen der Verzweigung. Das ist hier vertretbar, weil Sie die Frage nie ohne die Verzweigung ausliefern würden, aber seien Sie ehrlich: Ein negatives Ergebnis sagt Ihnen nicht, welche Hälfte gescheitert ist. Passend dazu: personalisiertes Onboarding.
6. Fortschrittsanzeige gegen keine
Ergänzen Sie ein mehrstufiges Setup um einen Fortschrittsbalken. Günstig umzusetzen, und er nutzt einen verlässlichen Verhaltenseffekt: Menschen bringen eher etwas zu Ende, das sichtbar kurz vor dem Abschluss steht.
Achtung: Ein Fortschrittsbalken kann ein langes Setup noch länger wirken lassen. "Schritt 2 von 9" anzuzeigen kann schlechter sein, als gar nichts anzuzeigen.
7. Späte gegen sofortige Datenanforderung
Die Kontrolle verlangt vom Nutzer, seine echten Daten zu importieren, bevor er irgendetwas sieht. Die Variante lässt ihn zuerst erkunden und später importieren. Getestet wird, ob Sie den Setup-Aufwand einfordern, bevor der Nutzer überhaupt einen Grund hat, ihn zu leisten.
8. Microcopy beim Schritt mit dem höchsten Abbruch
Schreiben Sie Label, Hilfetext und Button des einen Schritts neu, an dem Ihr Funnel am meisten verliert. Klein im Umfang, aber genau auf die Stelle konzentriert, an der der Verlust entsteht. Siehe unseren Leitfaden zu UX-Microcopy.
Einschränkung: Textänderungen erzeugen meist kleine Effekte, dieser Test braucht also mehr Traffic, als seine Einfachheit vermuten lässt.
Stichprobengröße und Dauer: die ehrliche Version
Diesen Abschnitt lassen die meisten Ratgeber zu Onboarding-Tests aus, und genau deshalb führen so viele Teams Tests durch, die nie zu einem Ergebnis hätten führen können.
Entscheidend ist der Zusammenhang: Halbieren Sie den Effekt, den Sie erkennen wollen, vervierfacht sich ungefähr der Traffic, den Sie brauchen. Diese eine Tatsache bestimmt Ihre gesamte Experimentierstrategie.
Drei Regeln für das Beenden eines Tests
- Erreichen Sie die vorab berechnete Stichprobengröße. Vor dem Start festgelegt, schriftlich festgehalten und nicht angepasst, nur weil das Diagramm an Tag vier vielversprechend aussieht.
- Lassen Sie den Test mindestens zwei volle Wochen laufen. Signups unter der Woche und am Wochenende verhalten sich unterschiedlich, und eine Woche ist nur eine Stichprobe eines Wochenzyklus.
- Lassen Sie die Kennzahl ausreifen. Wenn die Aktivierung bis zu sieben Tage dauert, konnten die Signups der letzten sieben Tage noch gar nicht aktivieren. Schließen Sie sie entweder aus oder warten Sie.
Zwischendurch nachsehen ist keine Kleinigkeit. Wer die Signifikanz wiederholt prüft und in dem Moment stoppt, in dem sie auftaucht, treibt die Rate falsch positiver Ergebnisse dramatisch in die Höhe: Sie führen faktisch viele Tests durch und berichten den schmeichelhaftesten. Bei den verrauschten Anfangsdaten im Onboarding ist eine Variante, die an Tag drei "klar gewinnt", die Regel, nicht das Signal. Legen Sie die Abbruchbedingung vor dem Start fest und halten Sie sich daran.
So führen Sie einen Onboarding-A/B-Test in 6 Schritten durch
Finden Sie das Leck in Ihrem Funnel
Diagnostizieren Sie es qualitativ, bevor Sie eine Variante entwerfen
Formulieren Sie eine falsifizierbare Hypothese mit einer Variable
Berechnen Sie Stichprobengröße und Enddatum
Bauen Sie beide Varianten und prüfen Sie die Aufteilung
Werten Sie nach Segmenten aus, dann ausrollen oder verwerfen
1. Das Leck finden
Bauen Sie den Onboarding-Funnel vom Signup bis zur Aktivierung auf und finden Sie den Schritt mit der schlechtesten Conversion, die Diagnose im Kern des Frameworks der Pirate Metrics. Testen Sie dort, wo der Verlust entsteht, nicht dort, wo die Idee herkommt.
2. Diagnostizieren vor dem Entwerfen
Analytics sagen Ihnen, wo. Sie sagen Ihnen nie, warum. Bevor Sie eine Variante bauen, sehen Sie sich fünf Session-Aufzeichnungen von Nutzern an, die an diesem Schritt abgesprungen sind, oder führen Sie einen kurzen Usability-Test mit dem Flow durch.
Dieser Schritt unterscheidet einen Test mit echten Gewinnchancen von einem Münzwurf. Hinter einer Variante, die auf einer beobachteten Ursache beruht, steht ein Mechanismus; hinter einer Variante aus einem Brainstorming steht eine Hoffnung.
3. Eine falsifizierbare Hypothese formulieren
Das Format, das Teams ehrlich hält:
Weil [was wir beobachtet haben], glauben wir, dass [die Änderung] [erwarteter Effekt auf die primäre Kennzahl] bewirken wird. Wir wissen, dass wir recht haben, wenn [konkreter Schwellenwert].
Ausgefüllt: Weil vier von fünf Testpersonen beim Datenimport abgebrochen und gesagt haben, dass sie keine Datei bereit hatten, glauben wir, dass ein Beispieldatensatz die Aktivierung nach 7 Tagen steigern wird. Wir wissen, dass wir recht haben, wenn die Aktivierungsrate der Variante die der Kontrolle um mindestens 20% relativ übertrifft, bei 1.300 Nutzern pro Gruppe.
Ändern Sie genau eine Variable. Nicht den Text und das Layout und den Auslöser: Ein Gewinn aus einem Bündel von Änderungen lässt sich nicht zuordnen, und am Ende liefern Sie alle drei für immer aus.
4. Zuerst Stichprobengröße und Enddatum berechnen
Nehmen Sie Ihre Basis-Aktivierungsrate, legen Sie die kleinste Verbesserung fest, die eine Auslieferung wert ist, und berechnen Sie die nötigen Nutzer pro Gruppe. Teilen Sie das dann durch Ihr wöchentliches Signup-Volumen, um die Dauer zu erhalten. Liegt diese Dauer über acht Wochen, ist der Test nicht machbar: Testen Sie entweder etwas Größeres oder nutzen Sie eine der Alternativen weiter unten.
5. Beide Varianten bauen und die Aufteilung prüfen
Weisen Sie jeden Nutzer genau einmal über eine stabile Kennung zu und lassen Sie ihn für den gesamten Test in dieser Variante. Prüfen Sie dann: Ziehen Sie die Aufteilung nach den ersten fünfzig Nutzern und bestätigen Sie, dass sie nahe bei 50/50 liegt und beide Varianten für ein echtes Konto korrekt angezeigt werden.
Fehlerhafte oder falsch zugewiesene Varianten sind die häufigste Ursache für verschwendete Onboarding-Tests, und der Schaden bleibt unsichtbar, bis Sie auswerten. Weil die Touren, Checklisten und Tooltips von Kompassify per Segment ausgespielt und konfiguriert statt programmiert werden, können Sie beide Gruppen ohne Release aufsetzen. Das bedeutet auch, dass Sie eine unterlegene Variante in wenigen Minuten abschalten können.
6. Nach Segmenten auswerten, dann entscheiden
Sehen Sie sich zuerst das Gesamtergebnis an und schlüsseln Sie es dann nach Akquisekanal, Tarif und allen Merkmalen der ersten Session auf, die Sie erfassen. Ein aggregiertes "kein Effekt" verbirgt häufig einen starken positiven Effekt in einem Segment und einen negativen in einem anderen. Das ist dann eine Auslieferungsentscheidung (Ausrollen für ein Segment), kein Verwerfen.
Und dann entscheiden Sie wirklich. Ein Test, der mit "interessant, lassen wir ihn weiterlaufen" endet, hat Sie Traffic gekostet und nichts eingebracht.
Was tun, wenn Ihnen der Traffic fehlt
Die meisten SaaS-Produkte können keine validen A/B-Tests für ihr Onboarding durchführen, und wer etwas anderes vorgibt, produziert unterdimensionierte Tests, deren falsch negative Ergebnisse wirklich gute Änderungen blockieren. Die Alternativen sind keine Trostpreise; für kleine Teams sind sie meist die besseren Werkzeuge.
| Methode | Was Sie brauchen | Was Sie bekommen | Ideal für |
|---|---|---|---|
| Usability-Tests | 5 Teilnehmende | Die Ursache des Abbruchs, direkt beobachtet | Jeden Abbruch, den Sie nicht erklären können |
| Vorher-Nachher-Kohorten | Zwei vergleichbare Monate | Richtungsweisende Hinweise, verzerrt durch Saisonalität | Nur große strukturelle Änderungen |
| Painted-Door-Test | Ein Link und eine Nachricht | Belege für Nachfrage, bevor Sie bauen | Die Entscheidung, ob sich etwas überhaupt zu bauen lohnt |
| In-App-Umfrage beim Abbruch | Eine Frage | Genannte Gründe, in den Worten der Nutzer | Hypothesen günstig gewinnen |
| Session-Aufzeichnungen | 10–20 Sessions | Beobachtetes Zögern und Rage-Clicks | Reibung finden, von der Sie nichts wussten |
Die pragmatische Vorgehensweise für ein kleines Team: Entscheiden Sie mit qualitativen Methoden, was Sie ändern, liefern Sie die Änderung an alle aus und prüfen Sie mit einem Vorher-Nachher-Kohortenvergleich, dass sich nichts verschlechtert hat. Heben Sie echte A/B-Tests für die zwei oder drei Entscheidungen im Jahr auf, die teuer, umkehrbar und wirklich ungewiss sind. Eine klar beobachtete Ursache aus fünf Sessions ist mehr wert als ein unterdimensionierter Test, der zu keinem Ergebnis kommt.
Häufige Fehler bei Onboarding-A/B-Tests
✅ Richtig
- Das Aktivierungsereignis vor dem Start definieren
- Genau eine Variable ändern
- Stichprobengröße und Enddatum vorab festlegen
- Mindestens zwei volle Wochen laufen lassen
- Die Ergebniskennzahl vor der Auswertung ausreifen lassen
- Ergebnisse nach Segmenten aufschlüsseln
- Leitplanken-Kennzahlen für Support-Tickets und Retention beibehalten
- Ausrollen oder verwerfen; nie einen Test endlos laufen lassen
❌ Falsch
- Tour- oder Checklisten-Abschluss als Ziel optimieren
- Stoppen, sobald zum ersten Mal Signifikanz auftaucht
- Mehrere Änderungen in einer Variante bündeln
- Nutzer einbeziehen, die noch keine Zeit zum Aktivieren hatten
- Kosmetische Änderungen bei wenig Traffic testen
- Nutzer zwischen Sessions die Variante wechseln lassen
- Überlappende Tests im selben Flow durchführen
- Ein Nullergebnis als Beweis werten, dass die Idee falsch war
Der teuerste Fehler: das Falsche sorgfältig zu testen. Ein rigoros durchgeführter Test einer Buttonfarbe in einem Flow, dessen eigentliches Problem darin besteht, dass neue Nutzer auf einem leeren Bildschirm landen und nicht wissen, was sie tun sollen, liefert ein sauberes, vertrauenswürdiges und völlig nutzloses Ergebnis und verbraucht dabei den Traffic eines Quartals, den Sie für die Frage hätten nutzen können, die wirklich zählt.
Onboarding-Experimente ohne neues Release durchführen
Mit Kompassify erstellen Sie Produkttouren, Onboarding-Checklisten, Tooltips und Fortschrittsbalken, spielen sie gezielt an bestimmte Nutzersegmente aus und messen die Aktivierung mit integrierter Produktanalyse, alles ohne Code. Kostenlos für bis zu 100 monatlich aktive Nutzer, DSGVO-konform und in der EU gehostet.
Kostenlos starten →Häufig gestellte Fragen
Was ist ein A/B-Test im User Onboarding?
Ein A/B-Test im Onboarding teilt neue Nutzer zufällig auf zwei Versionen eines Onboarding-Erlebnisses auf und vergleicht sie anhand eines nachgelagerten Ergebnisses, meist der Aktivierungsrate. Eine Gruppe erhält den aktuellen Flow, die andere eine einzige, bewusste Änderung, und jeder Nutzer wird genau einmal zugewiesen und bleibt für den gesamten Test in dieser Variante. Der Hauptunterschied zum Landingpage-Test liegt in dem, was Sie messen: Das aussagekräftige Ergebnis kommt Tage nach dem Kontakt mit der Änderung, nicht Sekunden.
Was sollten Sie in einem Onboarding-A/B-Test messen?
Die Aktivierungsrate, definiert als Anteil der Nutzer jeder Variante, die ein konkretes Wertereignis erreichen, etwa die erste Rechnung versenden oder die erste Seite veröffentlichen. Schrittabschluss- und Klickraten sind als Diagnose nützlich, als Erfolgskriterium aber gefährlich, denn eine Variante kann problemlos den Tour-Abschluss steigern und gleichzeitig die Zahl der Nutzer senken, die tatsächlich einen Nutzen aus dem Produkt ziehen. Wenn Sie es sich leisten können zu warten, ist die Retention an Tag 30 ein besserer Schiedsrichter als die Aktivierung.
Wie viel Traffic brauchen Sie für einen A/B-Test im Onboarding?
Als grobe Orientierung: Um eine relative Verbesserung von 20% bei einer Basis-Aktivierungsrate von etwa 25% zu erkennen, brauchen Sie rund 1.000 bis 1.500 Nutzer pro Variante. Kleinere Effekte brauchen drastisch mehr: Halbieren Sie die Effektgröße, die Sie erkennen wollen, vervierfacht sich ungefähr die nötige Stichprobe. Die meisten SaaS-Produkte unter einigen Tausend Signups pro Monat können keine validen Onboarding-A/B-Tests für kleine Änderungen durchführen. Das ist ein Argument dafür, größere Änderungen zu testen, nicht dafür, gar nichts zu testen.
Wie lange sollte ein Onboarding-A/B-Test laufen?
Lange genug, um die nötige Stichprobengröße zu erreichen, mindestens zwei volle Wochen, um die wöchentliche Saisonalität abzudecken, und lange genug, damit die Ergebniskennzahl für jeden Nutzer der Stichprobe ausreifen konnte. Den letzten Punkt übersehen Teams: Wenn die Aktivierung typischerweise sieben Tage dauert, hatten Nutzer, die sich gestern registriert haben, noch keine Chance zu aktivieren. Sie einzubeziehen unterschätzt beide Varianten und kann das Ergebnis umkehren. Beenden Sie den Test bei einer vorab festgelegten Stichprobengröße, nicht dann, wenn das Diagramm gut aussieht.
Welche Onboarding-A/B-Tests sollten Sie zuerst durchführen?
Beginnen Sie mit strukturellen Experimenten statt mit kosmetischen, denn kleine Änderungen brauchen Traffic, den Sie wahrscheinlich nicht haben. Die wertvollsten ersten Tests sind meist: eine Onboarding-Checkliste gegen keine Checkliste, Signup-Felder auf später in der Customer Journey verschieben, ein neues Konto mit Beispieldaten statt mit einem Empty State füllen und eine vorgeschaltete Produkttour durch kontextbezogene Hilfe ersetzen, die dort ausgelöst wird, wo Nutzer hängen bleiben.
Kann man Onboarding ohne genug Traffic per A/B-Test prüfen?
Ja, und Sie sollten es tun. Bei geringem Volumen sind die ehrlichen Optionen: qualitative Usability-Tests mit fünf Teilnehmenden, um die Ursache eines Abbruchs zu finden, ein Vorher-Nachher-Kohortenvergleich für große strukturelle Änderungen und Painted-Door-Tests, die die Nachfrage messen, bevor etwas gebaut wird. Diese Methoden liefern weniger statistische Sicherheit als ein Split-Test, aber eine klar beobachtete Ursache aus fünf Sessions schlägt ein unterdimensioniertes Experiment, das ein falsch negatives Ergebnis liefert und eine gute Änderung blockiert.
Was ist der häufigste Fehler bei Onboarding-A/B-Tests?
Das Ergebnis zu früh auszurufen. Onboarding-Kennzahlen schwanken in den ersten Tagen eines Tests stark, und fast immer lässt sich ein Moment finden, in dem die Wunschvariante vorne liegt. Zusammen mit einer verzögerten Ergebniskennzahl entstehen so selbstsichere Schlüsse aus reinem Rauschen. Legen Sie Stichprobengröße und Enddatum vor dem Start fest und schauen Sie erst auf die Signifikanz, wenn beides erreicht ist. Knapp dahinter folgt, mehrere Dinge gleichzeitig zu ändern: Damit können Sie das Ergebnis garantiert keiner Ursache zuordnen.