Verwendung der neuen A/B-Tests-Benutzeroberfläche

Erstellen, ausführen, analysieren und abschließen eines A/B-Tests.

Für die klassische Anleitung siehe Erstellen und Ausführen eines A/B-Tests.

Für die klassische Funktionsliste und die technischen Grenzen siehe A/B-Test.

A/B-Tests sind praktische Werkzeuge, um Änderungen im Live-Traffic zu validieren, indem Ihre Basiskonfiguration mit einer Testvariante verglichen wird. Ihr Einsatz erfordert nur begrenzte zusätzliche Ressourcen, wodurch eine regelmäßige Implementierung vor vollständigen Rollouts möglich ist.

Bevor Sie beginnen

• Arbeiten Sie in einem bearbeitbaren Kanal (untergeordneter Kanal oder nicht-hierarchischer Kanal)

• Übergeben Sie den sid Parameter mit jeder Anfrage.

• Ändern Sie nur wenige Einstellungen in Variante B.

• Halten Sie die Basisvariante während des Testlaufs unverändert.

Ohne sidkönnen Anfragen nicht zuverlässig Variante A oder B zugeordnet werden.

Was Sie testen können

Vollständig unterstützt

Diese Funktionen unterstützen A/B-Tests ohne bekannte modulspezifische Einschränkungen:

• Thesaurus, Stoppwörter, Präprozessor, Papierkorb

• Kampagnen

• Ergebnislisting

• Semantic Enhancer

• Einzelwortsuche

• Atlas AI

• Vektorsuche

Eingeschränkte Unterstützung

Diese Funktionen unterstützen derzeit A/B-Tests mit Einschränkungen:

• Filter/Navigation — neu anordnen, bearbeiten und löschen

• Personalisierung

• Rankingregeln — Suche und Navigation

• GPT Synonyme

• Empfehlungen — nur manuell

• Suchalgorithmus — Standardsuche

Nicht unterstützt

Diese Funktionen unterstützen derzeit kein A/B-Testing:

• ASO

• Felder

• Geo

• CSI

• Vorschlagen

• Daten-Import und Datenbankeinstellungen

Einen neuen Test erstellen

1. Öffnen Weitere Einstellungen… → A/B-Tests.

2. Wählen Sie den Kanal aus, den Sie testen möchten.

1. Klicken Neuen Test erstellen.

2. Geben Sie einen aussagekräftigen Testnamen ein.

Sie finden sich im Tab „Details“ wieder.

Hier können Sie das Testziel festlegen. Sie können zwischen folgenden Optionen wählen:

• Klickrate

• Conversion-Rate — empfohlen

• In-den-Warenkorb-Rate

• Rate der Nullergebnisse

• Fallback-Rate

Entscheiden Sie sich für die Traffic-Verteilung

Legen Sie fest, wie viel des Traffics Ihres Kanals durch Ihren Test läuft:

Beginnen Sie einfach und kontrolliert:

• 50/50-Aufteilung — am besten für die meisten Tests

  • In der Regel wird so am schnellsten Signifikanz erreicht

  • So bleibt der Vergleich sauber

• Wann 50/50 nicht verwendet werden sollte

  • Riskante Änderungen können beginnen mit 90/10 oder 80/20

  • Shops mit sehr hohem Traffic können kleinere Prozentsätze sicher testen

Manchmal stehen weniger als 100 % des Traffics zur Verfügung.

Das bedeutet in der Regel, dass andere A/B-Tests bereits einen Teil des verfügbaren Traffics nutzen.

Der verbleibende Anteil von Variante A kann dann auf neue Testvarianten verteilt werden.

Legen Sie das Startdatum und die Dauer des Tests fest.

Sie können den Test auf zwei Arten planen:

• Dauer

  • Test manuell starten

  • Test nach der definierten Dauer automatisch beenden

• Benutzerdefinierte Daten

  • Start- und Enddatum im Voraus festlegen

Nachdem der Test gestartet wurde, können Sie Variante B nicht mehr ändern.

Bearbeiten Sie Variante B, bevor Sie den Test starten

Versuchen Sie, sich pro Test auf eine Änderung zu konzentrieren.

Vermeiden Sie es, mehrere A/B-Tests gleichzeitig in einem Kanal laufen zu lassen. Dies kann Ihre Ergebnisse beeinträchtigen.

Wenn Sie die Bearbeitung von Variante B abgeschlossen haben, speichern oder verwerfen Sie die Änderungen.

Verlassen Sie dann den Bearbeitungsmodus.

Sie kehren automatisch zur Seite „A/B-Tests“ zurück, auf der Sie den Test starten können.

Berichterstattung

Öffnen Sie den Berichterstattung Tab, um das aktuelle Testergebnis zu überprüfen.

Testziel

Der Tab wiederholt das ausgewählte Testziel.

Außerdem zeigt er die aktuelle Sicherheit für das Testziel:

• nicht signifikant

• signifikant positiv

• signifikant negativ

KPI-Performanceanalyse

Das KPI-Performanceanalyse Diagramm verwendet standardmäßig das ausgewählte Testziel.

Sie können es auf jedes andere verfügbare Testziel umstellen:

• Sitzungen

• Klickrate

• Conversion-Rate

• Umsatz/Sitzung

• In-den-Warenkorb-Rate

• Durchschnittliche Klickposition

Analytics

Die dem Diagramm beigefügte Tabelle liefert die Rohdaten: Positive Ergebnisse sind grün hervorgehoben, negative Ergebnisse rot.

Leistungskennzahlen auswerten

Bewerten Sie das Ergebnis anhand des Ziels, das Sie für den Test ausgewählt haben. Höhere Werte sind in der Regel besser.

Bei der Auswertung des Ergebnisses:

• Öffnen Sie die relevante Kennzahl, um weitere Details anzuzeigen.

• Konzentrieren Sie sich auf Kennzahlen, die zu Ihrem Ziel passen.

• Vermeiden Sie frühe Schlussfolgerungen, wenn das Suchvolumen niedrig ist.

Bewegen Sie den Mauszeiger über den Testunterschied, um die Signifikanz für jeden KPI anzuzeigen.

Test abschließen

In der Übersicht der A/B-Tests wählen Sie nach Ende des Tests eine der folgenden Aktionen:

• Variante B anwenden um die getesteten Änderungen auszurollen.

• Nichts tun um die aktuelle Baseline beizubehalten.

Übersichtsseite für A/B-Tests

Auf dieser Übersichtsseite können Sie Ihre A/B-Tests für Ihren aktuellen Kanal anzeigen und verwalten:

Aktionsschaltflächen

Diese Schaltflächen auf der rechten Seite der Übersichtsseite steuern den Teststatus und das Endergebnis.

Test starten startet den A/B-Test.

Diese Schaltfläche startet den Test sofort, auch wenn eine Startzeit konfiguriert ist.

Test pausieren stoppt den Test vorübergehend.

Verwenden Sie sie, wenn Sie den Traffic unterbrechen müssen, ohne das Ergebnis abzuschließen.

Test fortsetzen setzt einen pausierten Test fort.

Der Test läuft mit der vorhandenen Konfiguration weiter.

Test beenden stoppt einen laufenden Test dauerhaft.

Der Test endet und die getestete Variante kann angewendet werden.

Best Practices

• Testen Sie immer nur eine Hypothese gleichzeitig.

• Lassen Sie den Test statistische Signifikanz erreichen.

• Lassen Sie die Basisvariante A während des Laufs unverändert.

• Bevorzugen Sie einen aktiven A/B-Test pro Kanal.

• Verwenden Sie einen klaren Testnamen, der den erwarteten Effekt beschreibt.

• Verwenden Sie bei Bedarf das Beschreibungsfeld für detailliertere Informationen zum Test.