Einen A/B-Test erstellen und durchführen

Diese Seite erklärt, wie man einen A/B-Test erstellt, konfiguriert und durchführt.

Einen neuen A/B-Test erstellen

(1.) Klicken Sie auf Weitere Einstellungen… in der linken Navigation.

(2.) Klicken Sie auf A/B-Tests in der linken Navigation:

(3.) Um einen oder mehrere A/B-Tests zu erstellen, wählen Sie oben in der Leiste der Seite einen Channel aus und machen ihn bearbeitbar. Bitte beachten Sie, dass Sie keine A/B-Tests für einen übergeordneten Channel erstellen können.

(4.) Wenn der Channel bearbeitbar ist, ist auf der Seite ein Button mit dem Text CREATE NEW TEST + sichtbar. Klicken Sie auf diesen Button.

Das folgende Fenster, in dem Sie Ihren A/B-Test konfigurieren, erscheint:

Den A/B-Test konfigurieren

(5.a.) Geben Sie dem Test einen Namen

(5.b.) Klicken Sie auf "UNTIL TARGET EFFECT REACHED" und legen Sie Ihren Ziel-Effekt fest. (Setzen Sie kein Enddatum. Mit einem Enddatum würde der Test genau die angegebene Zeit laufen, aber Sie hätten keine Kontrolle über die statistische Gültigkeit der Ergebnisse. Die Enddatum-Option sollte nur verwendet werden, wenn die statistische Gültigkeit der Ergebnisse unwichtig ist oder wenn Sie die Gültigkeit der Ergebnisse selbst berechnen.)

(5.c.) Legen Sie ein Startdatum und eine Startzeit fest, indem Sie "Start in 10 minutes" deaktivieren und im Feld "Starts at" ein Startdatum wählen. Bedenken Sie, dass Sie nach dem Überschreiten der Startzeit keine Änderungen mehr an der Suchkonfiguration der B-Variante dieses A/B-Tests vornehmen können. Wir empfehlen, Ihren A/B-Test 30 Minuten oder 24 Stunden in der Zukunft beginnen zu lassen, oder einen Zeitraum dazwischen.

(5.d.) Lassen Sie die anderen Werte auf den Standardwerten, da diese Werte in den meisten Fällen ideal sein sollten.

(5.e.) Klicken Sie auf "CREATE TEST"

(6.) Speichern Sie Ihre Änderungen: Klicken Sie auf das "Haken"-Symbol rechts neben dem Channel-Auswahlfeld oben im Fenster. Siehe Beispiel-Screenshot unten.

{{snippet.Edit Confirm\Revert select}}

Aktualisieren Sie dann Ihre Shop-Daten, indem Sie auf das schwarze Symbol auf gelbem Hintergrund klicken:

Nehmen Sie Ihre Konfigurationsänderungen vor

(7.) Wählen Sie die Suchkonfiguration der B-Variante Ihres A/B-Tests, indem Sie Ihren A/B-Test auswählen (im Beispiel unten trägt er den Namen "a-b-test-changed-thesaurus") und ihn bearbeitbar machen (siehe Beispiel-Screenshot unten). Nun können Sie viele der Parameter ändern, die in der Oberfläche verfügbar sind. Für eine vollständige Liste der verfügbaren Funktionen folgen Sie diesem link. Diese Änderungen werden nur auf die B-Variante angewendet und beeinflussen nicht Ihre normale Suchkonfiguration. Ändern Sie nicht zu viele Parameter auf einmal. Auf diese Weise erhalten Sie in der Analyse Ihrer B-Variante klarere Ergebnisse.

Um den Bereich der A/B-Test B-Variante zu verlassen und zur Basis-Variante zurückzukehren, wählen Sie in der A/B-Test-Auswahl "Base configuration".

Den A/B-Test ausführen

(8.) Fahren Sie hier fort, wenn alle notwendigen Änderungen an der Konfiguration Ihrer B-Variante vorgenommen wurden. Gehen Sie zu "Modules", dann "A/B-Tests", wählen Sie Ihren Channel und den A/B-Test und machen Sie ihn bearbeitbar. Starten Sie Ihren A/B-Test (es ist immer sicher, diesen Button zu drücken. Ihr A/B-Test wird nicht vor der konfigurierten Startzeit laufen), indem Sie in der oberen rechten Ecke auf das Symbol Ihres A/B-Tests klicken und "begin test" auswählen. Speichern Sie die Konfiguration, indem Sie auf das "Haken"-Symbol in der Nähe des Namens des A/B-Tests oben auf der Seite klicken (siehe Beispiel-Screenshot unten)

Aktualisieren Sie dann Ihre Daten, indem Sie auf das schwarze Symbol auf gelbem Hintergrund klicken:

(9.) Der A/B-Test beginnt zur konfigurierten Startzeit mit der Ausführung. Ihr Test ist beendet, wenn Sie auf der A/B-Tests-Seite bei Ihrem Test "completed" und "Ended ... ago" lesen können (siehe Beispiel-Screenshot unten). Hinweis: Obwohl es möglich ist, 2 oder mehr A/B-Tests gleichzeitig laufen zu lassen, empfehlen wir, jeweils nur einen A/B-Test laufen zu lassen.

A/B-Test-Ergebnisse analysieren

(10.) Wählen Sie oben auf der Seite den Channel aus, der den abgeschlossenen A/B-Test enthält. Machen Sie diesen Channel bearbeitbar. Nun wird Ihr A/B-Test so angezeigt und Sie können die Ergebnisse Ihres A/B-Tests sehen (siehe Beispiel-Screenshot unten). Sie sehen die Werte für "Search Count", "Click Through Rate %", "Conversion %" und "Sales per Search ∅". Für detailliertere Werte klicken Sie auf die Überschrift "Click Through Rate %", "Conversion %" oder "Sales per Search ∅".

(11.) Vergleichen Sie die Werte der Basis- und der B-Variante. Die relevanten Werte sind:

• Die Click-Through-Rate in %: Je höher dieser Wert ist, desto besser ist die Leistung Ihrer Konfiguration.

• Die Conversion in %: Je höher dieser Wert ist, desto besser ist die Leistung Ihrer Konfiguration.

• Der mittlere Wert der Sales per Search: Je höher dieser Wert ist, desto besser ist die Leistung Ihrer Konfiguration.

Im obigen Beispiel-Screenshot sind die Vorteile der B-Variante eine bessere Click-Through-Rate und eine höhere Conversion im Vergleich zur Basiskonfiguration. Der Vorteil der Variante A (der Basisvariante) ist, dass es in dieser Konfiguration mehr Sales per Search gibt.

Sie können ein detaillierteres Ergebnis erhalten, indem Sie auf "Start analysis" (siehe Screenshot unten) in der oberen rechten Ecke des A/B-Tests klicken:

Den A/B-Test abschließen

(12.) Wählen Sie nun oben auf der Seite den Channel aus, der den abgeschlossenen A/B-Test enthält, und machen Sie diesen Channel bearbeitbar, falls er nicht bereits bearbeitbar ist. Was jetzt folgt, ist der letzte Schritt: Klicken Sie auf "apply variant B", wenn Sie die B-Konfiguration auf alle Suchen anwenden möchten. Klicken Sie auf "retain variant A", wenn Sie bei Variante A bleiben möchten, welche die Basisvariante Ihres A/B-Tests ist. Wählen Sie die Variante mit der besseren Leistung. Wenn Sie Zweifel an der Zuverlässigkeit Ihres Tests haben, wählen Sie die Basiskonfiguration und wiederholen Sie Ihren Test stattdessen mit der Funktion "UNTIL TARGET EFFECT REACHED" anstelle eines festen Enddatums für Ihren Test. Speichern Sie Ihre Änderungen am Channel.