Erstellen und Durchführen eines A/B-Tests

Diese Seite erklärt, wie man einen A/B-Test erstellt, konfiguriert und durchführt.

Einen neuen A/B-Test erstellen

(1.) Klicken Sie auf Weitere Einstellungen… in der linken Navigation.

(2.) Klicken Sie auf A/B-Tests in der linken Navigation:

(3.) Um einen oder mehrere A/B-Tests zu erstellen, wählen Sie oben in der Seitenleiste einen Channel aus und machen Sie ihn bearbeitbar. Bitte beachten Sie, dass Sie keine A/B-Tests für einen übergeordneten Channel erstellen können.

(4.) Ist der Channel bearbeitbar, ist auf der Seite ein Button mit dem Text CREATE NEW TEST + sichtbar. Klicken Sie auf diesen Button.

Das folgende Fenster erscheint, in dem Sie Ihren A/B-Test konfigurieren werden:

Den A/B-Test konfigurieren

(5.a.) Geben Sie dem Test einen Namen

(5.b.) Klicken Sie auf "UNTIL TARGET EFFECT REACHED" und setzen Sie Ihren Ziel-Effekt. (Setzen Sie kein Enddatum. Mit einem Enddatum würde der Test genau für die angegebene Zeit laufen, Sie hätten jedoch keine Kontrolle über die statistische Validität der Ergebnisse. Die Enddatum-Option sollte nur verwendet werden, wenn die statistische Validität der Ergebnisse unwichtig ist oder wenn Sie die Validität der Ergebnisse selbst berechnen.)

(5.c.) Setzen Sie ein Startdatum und eine Startzeit, indem Sie "Start in 10 minutes" deaktivieren und ein Startdatum im Feld "Starts at" auswählen. Bedenken Sie, dass Sie nach dem Zeitpunkt, an dem die Startzeit verstrichen ist, keine Änderungen an der Suchkonfiguration der B-Variante dieses A/B-Tests mehr vornehmen können. Wir empfehlen, Ihren A/B-Test 30 Minuten oder 24 Stunden in der Zukunft beginnen zu lassen oder einen anderen Zeitraum dazwischen.

(5.d.) Lassen Sie die anderen Werte auf den Standardwerten, da diese Werte in den meisten Fällen ideal sein sollten.

(5.e.) Klicken Sie auf "CREATE TEST"

(6.) Speichern Sie Ihre Änderungen: Klicken Sie auf das "Häkchen"-Symbol rechts neben dem Channel-Auswahlfeld oben im Fenster. Siehe Beispiel-Screenshot unten.

Wählen Sie auf der linken Seite, um die vorgenommenen Änderungen zu speichern und die Transaktion zu schließen. Eine Bestätigung ist erforderlich.

Das Hinzufügen eines Backup-Kommentars wird vorgeschlagen, um die spätere Identifizierung des Backups zu erleichtern.

Wählen Sie auf der rechten Seite, um die vorgenommenen Änderungen rückgängig zu machen und die Transaktion zu schließen. Eine Bestätigung ist erforderlich.

Aktualisieren Sie dann Ihre Shop-Daten, indem Sie auf das schwarze Symbol auf gelbem Hintergrund klicken:

Nehmen Sie Ihre Konfigurationsänderungen vor

(7.) Wählen Sie die Suchkonfiguration der B-Variante Ihres A/B-Tests, indem Sie Ihren A/B-Test auswählen (im Beispiel unten heißt er "a-b-test-changed-thesaurus") und ihn bearbeitbar machen (siehe Beispiel-Screenshot unten). Jetzt können Sie viele der im UI verfügbaren Parameter ändern. Für eine vollständige Liste der verfügbaren Funktionen folgen Sie diesem link. Diese Änderungen werden nur auf die B-Variante angewendet und beeinflussen nicht Ihre normale Suchkonfiguration. Ändern Sie nicht zu viele Parameter auf einmal. Auf diese Weise erhalten Sie in der Analyse der B-Variante klarere Ergebnisse.

Um den Bereich der A/B-Test B-Variante zu verlassen und zur Basis-Variante zurückzukehren, wählen Sie in der A/B-Test-Auswahl "Base configuration".

Den A/B-Test ausführen

(8.) Fahren Sie fort, wenn alle notwendigen Änderungen an der Konfiguration Ihrer B-Variante vorgenommen wurden. Gehen Sie zu "Modules", dann "A/B-Tests", wählen Sie Ihren Channel und den A/B-Test und machen Sie ihn bearbeitbar. Beginnen Sie Ihren A/B-Test (es ist immer sicher, diesen Button zu drücken. Ihr A/B-Test wird nicht vor der konfigurierten Startzeit laufen), indem Sie in der oberen rechten Ecke auf das Symbol Ihrer A/B-Test klicken und "begin test" auswählen. Speichern Sie die Konfiguration, indem Sie auf das "Häkchen"-Symbol neben dem Namen des A/B-Tests oben auf der Seite klicken (siehe Beispiel-Screenshot unten)

Aktualisieren Sie dann Ihre Daten, indem Sie auf das schwarze Symbol auf gelbem Hintergrund klicken:

(9.) Der A/B-Test beginnt zur konfigurierten Startzeit mit der Ausführung. Ihr Test ist beendet, wenn Sie auf der A/B-Tests-Seite bei Ihrem Test "completed" und "Ended ... ago" lesen können (siehe Beispiel-Screenshot unten). Hinweis: Obwohl es möglich ist, 2 oder mehr A/B-Tests gleichzeitig laufen zu lassen, empfehlen wir, jeweils nur einen A/B-Test laufen zu lassen.

A/B-Test-Ergebnisse analysieren

(10.) Wählen Sie oben auf der Seite den Channel, der den abgeschlossenen A/B-Test enthält. Machen Sie diesen Channel bearbeitbar. Nun wird Ihr A/B-Test so angezeigt und Sie können die Ergebnisse Ihres A/B-Tests sehen (siehe Beispiel-Screenshot unten). Sie sehen die Werte für "Search Count", "Click Through Rate %", "Conversion %" und "Sales per Search ∅". Für detailliertere Werte klicken Sie auf die Überschrift "Click Through Rate %", "Conversion %" oder "Sales per Search ∅".

(11.) Vergleichen Sie die Werte der Basis- und der B-Variante. Die relevanten Werte sind:

• Die Click-Through-Rate in %: Je höher dieser Wert ist, desto besser ist die Performance Ihrer Konfiguration.

• Die Conversion in %: Je höher dieser Wert ist, desto besser ist die Performance Ihrer Konfiguration.

• Der durchschnittliche Wert der Sales per Search: Je höher dieser Wert ist, desto besser ist die Performance Ihrer Konfiguration.

Im obigen Beispiel-Screenshot sind die Vorteile der B-Variante eine bessere Click-Through-Rate und eine höhere Conversion im Vergleich zur Basiskonfiguration. Der Vorteil der Variante A (der Basisvariante) ist, dass es in dieser Konfiguration mehr Sales per Search gibt.

Sie können ein detaillierteres Ergebnis erhalten, indem Sie oben rechts beim A/B-Test auf "Start analysis" klicken (siehe Screenshot unten):

Den A/B-Test finalisieren

(12.) Wählen Sie nun oben auf der Seite den Channel, der den abgeschlossenen A/B-Test enthält, und machen Sie diesen Channel bearbeitbar, falls er nicht bereits bearbeitbar ist. Es folgt nun der letzte Schritt: Klicken Sie auf "apply variant B", wenn Sie die B-Konfiguration auf alle Suchanfragen anwenden möchten. Klicken Sie auf "retain variant A", wenn Sie bei Variante A bleiben möchten, der Basisvariante Ihres A/B-Tests. Wählen Sie die Variante mit der besseren Performance. Wenn Sie Zweifel an der Zuverlässigkeit Ihres Tests haben, wählen Sie die Basiskonfiguration und wiederholen Sie Ihren Test mit der Funktion "UNTIL TARGET EFFECT REACHED" anstelle eines festen Enddatums für Ihren Test. Speichern Sie Ihre Änderungen am Channel.