Checkliste A/B-Testing

Bei A/B-Split-Tests ist es wichtig, möglichst frühzeitig mit den Tests zu beginnen. Als kleine Hilfestellung dient dazu die folgende Checkliste, die auch für alte Hasen lohnend sein könnte.

Richtige Auswahl Testvarianten

Wählen Sie ein klar definiertes Element und testen Sie Varianten davon. Je mehr Änderungen Sie auf einmal einbauen, desto schwieriger wird es, den Erfolg (oder Misserfolg) der Änderung auf eine Sache zurückzuführen.

Für Geschmacksfragen eigenen sich A/B-Tests nur bedingt. Welche Schriftart sie nutzen oder ob Ihr Logo besser blau oder grün sein sollte, das finden Sie besser mit anderen Methoden heraus. Ausnahme: Call-to-action-Elemente (siehe weiter unten).

Alle Elemente testen

Unterziehen Sie am besten alle Elemente Ihrer Mailings einmal einem Test. Damit haben Sie eine große Datenbasis um ihren gesamten Newsletter zu optimieren. Denken Sie an:

  • Versandzeit
    Immer wieder liest man von “den” optimalen Tagen oder Uhrzeiten zu denen Sie Ihre Mails verschicken sollten. Vergessen Sie das alles und testen Sie selbst, denn jeder Newsletter ist anders.
  • Absendername
    Der Name des Absenders entscheidet mit darüber, ob Ihre Mail geöffnet wird. Seien Sie hier aber vorsichtig, Sie experimentieren hier mit einem wichtigen Vertrauenselement.
  • Betreffzeile
    Probieren Sie Varianten bei der Formulierung aus. Werden Sie kreativ.
  • Pre-Header
    Probieren Sie aus, ob Kurzzusammenfassungen oder Aufforderungen hier funktionieren (siehe Höhere Öffnungsraten dank Snippets).
  • Inhalts-Bausteine
    Experimentieren Sie mit verschiedenen Kombinationen von Text- und Bildelementen.
  • Themen
    Auch verschiedenen Themenvarianten lassen sich gut testen. Hatte Ihre letzte Aussendung ungewöhnlich schlechte Klickraten, wissen Sie nicht, ob das am Thema lag, am Angebot oder an der Gestaltung des Call-to-action.
  • Überschriften
    Nachdem Überschriften entscheiden, ob Inhalte gelesen werden, lohnt es sich, auch hier zu optimieren.
  • Ansprache
    Was funktioniert besser? Der Vorname, der Nachname oder eine generische Ansprache (“Guten Tag, liebe Leser & Leserinnen”).
  • Schreibstil
    Einen Versuch wert ist es, ob der Stil einen Unterschied macht. Der muss aber natürlich immer der Zielgruppe angemessen sein.
  • Bilder
    Wie beim Text können Sie bei Bildern mit verschiedenen Arten spielen.
  • Video
    Ob Video in eMails akzeptiert wird, hängt immer noch von der Zielgruppe ab. Testen Sie Ihre.
  • Anordnung
    Die Reihenfolge und Platzierung der Elemente spielt auch eine Rolle. Welche, das können Sie überprüfen.
  • Anzahl Social-Media-Links
    Je mehr Links Sie am Ende Ihrer Mail haben, desto schwieriger wird die Wahl für alle, die mehrere Social Networks nutzen. Ist ihr Lieblinksnetzwerk aber nicht dabei, ist das auch nicht gut. Testen Sie daher aus, welche und wie viele Links am besten sind.
  • Call-to-Action/Handlungsaufforderung (CTA)
    Hier wird am meisten getestet, denn hier entscheidet es sich, ob das Mail letztlich erfolgreich war oder nicht. Grafische Gestaltung, Platzierung und Formulierung des CTA sind Dinge, die Sie am besten alle separat einmal testen.
  • Angebote
    Auch verschiedene Angebote, die Sie Ihren Newsletterempfängern machen, sind testbar. Klicken diese häufiger auf den 5%-Gutschein oder mehr auf die 10 Euro Rabatt?

Anzahl Teilnehmer

Leider lässt sich im Voraus nicht sagen, wie viele Teilnehmer Sie für ein statistisch relevantes Ergebnis brauchen. Denn das hängt davon ab, wie groß die Unterschiede bei Ihren beiden getesteten Varianten sind.

Als Faustregel kann man aber sagen: Sie brauchen mindestens einige hundert, besser noch tausend pro Variante.

Auswahl Teilnehmer

Wählen Sie die Teilnehmer immer zufällig aus. Also nie mit alphabetisch sortierten Listen arbeiten oder mit Listen, die nach Reihenfolge der Anmeldung geordnet sind.

Denken Sie auch daran, alle Teilnehmer immer zur gleichen Zeit zu testen. Sonst testen Sie mehr das Ausflugswetter oder die Qualität des Fernsehprogramms als Ihren Newsletter.

Erfolgskriterien

Definieren Sie den Erfolg immer vor dem Test. Sonst laufen Sie Gefahr, aus den Zahlen ein Ergebnis herauszulesen, das letztlich nicht dem entspricht, was Ihnen am wichtigsten ist. Gut ist es, wenn Sie konkrete Zahlen aus der Historie haben – zum Beispiel die bisherigen Öffnungsraten Ihrer Mails. Von diesen ausgehend können Sie etwa festlegen, dass die Gewinnervariante eine Öffnungsrate von mindestens 20 Prozent haben sollte, wenn Sie bisher deutlich darunter lagen.

Laufzeit

Geben Sie Ihrem Test Zeit. Nicht selten dreht sich ein zunächst beobachteter Trend wieder um. Statistische Tests sagen Ihnen, ab wann Sie ein signifikantes Ergebnis haben.

Signifikanz

Interpretieren Sie die Ergebnisse nie nach Gefühl. Nur weil eine Variante deutlich besser zu sein scheint, heißt das noch lange nichts (siehe letzter Blogpost). Machen Sie stets einen statistischen Test.

Richtige Schlüsse

Signifikanz sagt nichts über Gründe. Das heißt, bei der Interpretation, warum Variante A besser ist als Variante B, müssen sie immer Ihren kritischen Verstand bemühen. Wenn Sie aber den Test gut angelegt und durchgeführt haben und nur zwei Varianten testen, dann wissen Sie mit ziemlicher Sicherheit, woher der Unterschied kommt.

Optimierung

Ganz wichtig: Ziehen Sie nicht nur Schlüsse aus den Ergebnissen, sondern handeln Sie dann auch dementsprechend. Verbessern Sie Ihre zukünftigen Aussendungen mit dem, was Sie in den Tests gelernt haben.

Tests wiederholen

Wenn Sie einmal durch sind mit den oben genannten Varianten, dann fangen Sie von vorne an. Das klingt jetzt vielleicht etwas ernüchternd, ist es aber nicht. Denn Sie haben jetzt die Chance, Ihren Newsletter noch weiter zu optimieren, und gewinnen wieder neue Daten.

Durch die Optimierung einzelner Elemente kann es einen Einfluss auf andere Elemente geben, den Sie noch nicht erfasst haben. Haben Sie also etwa die Ansprache geändert, funktioniert zum Beispiel nun eine andere Formulierung des CTA besser.

Aber wie gesagt, das Wichtigste ist: Gleich anfangen mit Testen.

Die nächste Stufe ist dann die Implementierung einer Erweiterung für gezieltes Lead Management, evtl mit Marketing Automation.




Keine Kommentare möglich.