Erstellen und Durchführen eines A/B-Tests

Diese Seite erklärt, wie man einen A/B-Test erstellt, konfiguriert und durchführt.

Einen neuen A/B-Test erstellen

(1.) Klicken Sie auf Weitere Einstellungen… in der linken Navigation.

(2.) Klicken Sie auf A/B tests in der linken Navigation:

(3.) Um einen oder mehrere A/B-Tests zu erstellen, wählen Sie oben in der Leiste der Seite einen Channel aus und machen Sie ihn bearbeitbar. Bitte beachten Sie, dass Sie keine A/B-Tests für einen Parent-Channel erstellen können.

(4.) Wenn der Channel bearbeitbar ist, erscheint auf der Seite ein Button mit dem Text CREATE NEW TEST + sichtbar. Klicken Sie auf diesen Button.

Das folgende Fenster, in dem Sie Ihren A/B-Test konfigurieren, erscheint:

Den A/B-Test konfigurieren

(5.a.) Geben Sie dem Test einen Namen

(5.b.) Klicken Sie auf "UNTIL TARGET EFFECT REACHED" und legen Sie Ihren Ziel-Effekt fest. (Setzen Sie kein Enddatum. Mit einem Enddatum würde der Test genau für die angegebene Zeit laufen, aber Sie hätten keine Kontrolle über die statistische Validität der Ergebnisse. Die Enddatum-Option sollte nur verwendet werden, wenn die statistische Validität der Ergebnisse keine Rolle spielt oder wenn Sie die Validität der Ergebnisse selbst berechnen)

(5.c.) Legen Sie ein Startdatum und eine Startzeit fest, indem Sie "Start in 10 minutes" abwählen und ein Startdatum im Feld "Starts at" auswählen. Bedenken Sie, dass Sie nach dem Zeitpunkt, an dem die Startzeit verstrichen ist, keine Änderungen mehr an der Suchkonfiguration der B-Variante dieses A/B-Tests vornehmen können. Wir empfehlen, Ihren A/B-Test 30 Minuten oder 24 Stunden in der Zukunft beginnen zu lassen, oder einen Zwischenwert.

(5.d.) Lassen Sie die anderen Werte wie voreingestellt, da diese Werte in den meisten Fällen ideal sind.

(5.e.) Klicken Sie auf "CREATE TEST"

(6.) Speichern Sie Ihre Änderungen: Klicken Sie auf das "Häkchen"-Symbol rechts neben der Channel-Auswahlbox oben im Fenster. Siehe Beispiel-Screenshot unten.

Auswählen links, um die vorgenommenen Änderungen zu speichern und die Transaktion zu schließen. Eine Bestätigung ist erforderlich.

Beim Hinzufügen eines Backup-Kommentars werden Sie aufgefordert, einen Kommentar einzugeben, um die spätere Identifizierung des Backups zu erleichtern.

Auswählen rechts, um die vorgenommenen Änderungen rückgängig zu machen und die Transaktion zu schließen. Eine Bestätigung ist erforderlich.

Aktualisieren Sie dann Ihre Shop-Daten, indem Sie auf das schwarze Symbol vor gelbem Hintergrund klicken:

Nehmen Sie Ihre Konfigurationsänderungen vor

(7.) Wählen Sie die Suchkonfiguration der B-Variante Ihres A/B-Tests, indem Sie Ihren A/B-Test auswählen (im Beispiel unten heißt er "a-b-test-changed-thesaurus") und ihn bearbeitbar machen (siehe Beispiel-Screenshot unten). Nun können Sie viele der Parameter ändern, die in der UI verfügbar sind. Für eine vollständige Liste der verfügbaren Funktionen folgen Sie diesem link. Diese Änderungen werden nur auf die B-Variante angewendet und beeinflussen nicht Ihre normale Suchkonfiguration. Ändern Sie nicht zu viele Parameter auf einmal. So erhalten Sie klarere Ergebnisse in der Analytics Ihrer B-Variante.

Um den Umfang der A/B-Test-B-Variante zu verlassen und zur Basis-Variante zurückzukehren, wählen Sie in der A/B-Test-Auswahl "Base configuration".

Den A/B-Test starten

(8.) Fahren Sie fort, wenn alle notwendigen Änderungen an der Konfiguration Ihrer B-Variante vorgenommen wurden. Gehen Sie zu "Modules", dann zu "A/B-Tests", wählen Sie Ihren Channel und den A/B-Test und machen Sie ihn bearbeitbar. Beginnen Sie Ihren A/B-Test (es ist immer sicher, diesen Button zu drücken. Ihr A/B-Test wird nicht vor der konfigurierten Startzeit ausgeführt), indem Sie oben rechts auf das Symbol Ihres A/B-Tests klicken und "begin test" auswählen. Speichern Sie die Konfiguration, indem Sie auf das "Häkchen"-Symbol neben dem Namen des A/B-Tests oben auf der Seite klicken (siehe Beispiel-Screenshot unten)

Aktualisieren Sie dann Ihre Daten, indem Sie auf das schwarze Symbol vor gelbem Hintergrund klicken:

(9.) Der A/B-Test beginnt zum konfigurierten Startzeitpunkt mit der Ausführung. Ihr Test ist beendet, wenn Sie auf der A/B-Tests-Seite bei Ihrem Test "completed" und "Ended ... ago" lesen können (siehe Beispiel-Screenshot unten). Hinweis: Obwohl es möglich ist, 2 oder mehr A/B-Tests gleichzeitig laufen zu lassen, empfehlen wir, jeweils nur einen A/B-Test gleichzeitig laufen zu lassen.

A/B-Test-Ergebnisse analysieren

(10.) Wählen Sie oben auf der Seite den Channel aus, der den abgeschlossenen A/B-Test enthält. Machen Sie diesen Channel bearbeitbar. Nun wird Ihr A/B-Test so angezeigt und Sie können die Ergebnisse Ihres A/B-Tests sehen (siehe Beispiel-Screenshot unten). Sie sehen die Werte für "Search Count", "Click Through Rate %", "Conversion %" und "Sales per Search ∅". Für detailliertere Werte klicken Sie auf die Überschrift "Click Through Rate %", "Conversion %" oder "Sales per Search ∅".

(11.) Vergleichen Sie die Werte der Basis- und der B-Variante. Die relevanten Werte sind:

• Die Click-Through-Rate in %: Je höher dieser Wert ist, desto besser ist die Leistung Ihrer Konfiguration.

• Die Conversion in %: Je höher dieser Wert ist, desto besser ist die Leistung Ihrer Konfiguration.

• Der durchschnittliche Umsatz pro Suche: Je höher dieser Wert ist, desto besser ist die Leistung Ihrer Konfiguration.

Im obigen Beispiel-Screenshot sind die Vorteile der B-Variante eine bessere Click-Through-Rate und eine höhere Conversion im Vergleich zur Basiskonfiguration. Der Vorteil der Variante A (der Basisvariante) ist, dass in dieser Konfiguration mehr Umsatz pro Suche erzielt wird.

Sie können ein detaillierteres Ergebnis erhalten, indem Sie oben rechts beim A/B-Test auf "Start analysis" klicken (siehe Screenshot unten):

Den A/B-Test abschließen

(12.) Wählen Sie nun oben auf der Seite den Channel aus, der den abgeschlossenen A/B-Test enthält, und machen Sie diesen Channel bearbeitbar, falls er es noch nicht ist. Nun folgt der letzte Schritt: Klicken Sie auf "apply variant B", wenn Sie die B-Konfiguration auf alle Suchen anwenden möchten. Klicken Sie auf "retain variant A", wenn Sie bei Variante A bleiben möchten, welche die Basisvariante Ihres A/B-Tests ist. Wählen Sie die Variante mit der besseren Performance. Wenn Sie Zweifel an der Zuverlässigkeit Ihres Tests haben, wählen Sie die Basiskonfiguration und wiederholen Sie Ihren Test stattdessen mit der Funktion "UNTIL TARGET EFFECT REACHED" anstelle eines festen Enddatums. Speichern Sie Ihre Änderungen am Channel.