Die neue Benutzeroberfläche für A/B Tests verwenden

Erstellen, ausführen, analysieren und abschließen eines A/B-Tests.

Für die klassische Schritt-für-Schritt-Anleitung siehe Erstellen und Ausführen eines A/B-Tests.

Für die klassische Funktionsliste und die technischen Grenzen siehe A/B-Test.

A/B Tests sind praktische Werkzeuge, um Änderungen im Live-Traffic zu validieren, indem Ihre Basiskonfiguration mit einer Testvariante verglichen wird. Ihr Einsatz erfordert nur begrenzte zusätzliche Ressourcen, sodass eine regelmäßige Implementierung vor vollständigen Rollouts machbar ist.

Vor dem Start

• Arbeiten Sie in einem bearbeitbaren Kanal (untergeordneter Kanal oder nicht-hierarchischer Kanal)
• Übergeben Sie das sid Parameter mit jeder Anfrage.
• Ändern Sie in Variante B nur einige Einstellungen.
• Belassen Sie die Basisvariante während des Testlaufs unverändert.

Ohne sid, Anfragen können nicht zuverlässig Variante A oder B zugeordnet werden.

Was Sie testen können

Vollständig unterstützt

Diese Funktionen unterstützen A/B-Tests ohne bekannte modulspezifische Einschränkungen:

• Thesaurus, Stoppwörter, Präprozessor, Papierkorb
• Kampagnen
• Ergebnislisting
• Semantic Enhancer
• Einzelwortsuche
• Atlas AI
• Vektorsuche

Eingeschränkte Unterstützung

Diese Funktionen unterstützen derzeit A/B-Tests mit Einschränkungen:

• Filter/Navigation — neu anordnen, bearbeiten und löschen
• Personalisierung
• Rankingregeln — Suche und Navigation
• GPT Synonyme
• Empfehlungen — nur manuell
• Suchalgorithmus — Standardsuche

Nicht unterstützt

Diese Funktionen unterstützen derzeit kein A/B-Testing:

• ASO
• Felder
• Geo
• CSI
• Vorschlagen
• Daten-Import und Datenbankeinstellungen

Neuen Test erstellen

1. Öffnen Weitere Einstellungen… → A/B Tests.
2. Wählen Sie den Kanal aus, den Sie testen möchten.

1. Klicken Sie auf Neuen Test erstellen.
2. Geben Sie einen eindeutigen Testnamen ein.

Sie befinden sich im Tab „Details“.

Hier können Sie das Testziel festlegen. Sie können zwischen Folgendem wählen:

• Klickrate
• Konversionsrate — empfohlen
• Warenkorb-Hinzufügungsrate
• Rate ohne Ergebnisse
• Fallback-Rate

Entscheiden Sie sich für die Traffic-Verteilung

Entscheiden Sie, wie viel des Traffics Ihres Kanals durch Ihren Test läuft:

Beginnen Sie einfach und kontrolliert:

• 50/50-Aufteilung — am besten für die meisten Tests

  • Er erreicht in der Regel am schnellsten Signifikanz
  • So bleibt der Vergleich sauber
• Wann 50/50 nicht verwendet werden sollte

  • Riskante Änderungen können beginnen mit 90/10 oder 80/20
  • Sehr frequentierte Shops können kleinere Prozentsätze sicher testen

Manchmal stehen weniger als 100 % des Traffics zur Verfügung.

Dies bedeutet normalerweise, dass andere A/B Tests bereits einen Teil des verfügbaren Traffics nutzen.

Der verbleibende Anteil von Variante A kann dann auf neue Testvarianten verteilt werden.

Setzen Sie das Startdatum und die Dauer des Tests fest.

Sie können den Test auf zwei Arten planen:

• Dauer

  • Den Test manuell starten
  • Beenden Sie den Test automatisch nach der festgelegten Dauer
• Benutzerdefinierte Termine

  • Start- und Enddatum im Voraus festlegen

Nachdem der Test gestartet wurde, können Sie Variante B nicht mehr ändern.

Bearbeiten Sie Variante B, bevor Sie den Test starten

Versuchen Sie, sich pro Test auf eine Änderung zu konzentrieren.

Vermeiden Sie es, mehrere A/B Tests gleichzeitig in einem Kanal auszuführen. Das kann Ihre Ergebnisse beeinträchtigen.

Wenn Sie mit dem Bearbeiten von Variante B fertig sind, speichern Sie die Änderungen oder verwerfen Sie sie.

Beenden Sie dann den Bearbeitungsmodus.

Sie kehren automatisch zur Seite für A/B Tests zurück, wo Sie den Test starten können.

Berichte

Öffnen Sie das Berichte Registerkarte zur Überprüfung des aktuellen Testergebnisses.

Testziel

Die Registerkarte wiederholt das ausgewählte Testziel.

Sie zeigt außerdem die aktuelle Konfidenz für das Testziel:

• nicht signifikant
• signifikant positiv
• signifikant negativ

KPI-Leistungsanalyse

Der KPI-Leistungsanalyse Die Grafik verwendet standardmäßig das ausgewählte Testziel.

Sie können es auf jedes andere verfügbare Testziel umstellen:

• Sitzungen
• Klickrate
• Conversion-Rate
• Umsatz/Sitzung
• Warenkorb-Hinzufügungsrate
• Durchschn. Klickposition

Analytics

Die zugehörige Tabelle liefert die Rohwerte: positive Ergebnisse sind grün hervorgehoben, negative Ergebnisse rot.

Bewertung von Leistungskennzahlen

Bewerten Sie das Ergebnis anhand des für den Test ausgewählten Ziels. Höhere Werte sind in der Regel besser.

Bei der Bewertung des Ergebnisses:

• Öffnen Sie die relevante Kennzahl für weitere Details.
• Konzentrieren Sie sich auf Kennzahlen, die zu Ihrem Ziel passen.
• Vermeiden Sie vorschnelle Schlüsse, wenn das Suchvolumen gering ist.

Bewegen Sie den Mauszeiger über den Testunterschied, um die Signifikanz für jeden KPI anzuzeigen.

Test abschließen

Wählen Sie in der Übersicht der A/B Tests nach Ende des Tests eine dieser Aktionen:

• Variante B anwenden um die getesteten Änderungen auszurollen.
• Nichts tun um die aktuelle Basis beizubehalten.

Übersichtsseite für A/B Tests

Auf dieser Übersichtsseite können Sie Ihre A/B Tests für Ihren aktuellen Kanal anzeigen und verwalten:

Aktionsschaltflächen

Diese Schaltflächen auf der rechten Seite der Übersichtsseite steuern den Teststatus und das Endergebnis.

Test starten startet den A/B Test.

Diese Schaltfläche startet den Test sofort, auch wenn eine Startzeit konfiguriert ist.

Test pausieren stoppt den Test vorübergehend.

Verwenden Sie es, wenn Sie den Traffic unterbrechen müssen, ohne das Ergebnis abzuschließen.

Test fortsetzen setzt einen pausierten Test fort.

Der Test läuft mit dem bestehenden Setup weiter.

Test beenden stoppt einen laufenden Test dauerhaft.

Der Test endet und die getestete Variante kann angewendet werden.

Bewährte Vorgehensweisen

• Testen Sie jeweils nur eine Hypothese.
• Lassen Sie den Test statistische Signifikanz erreichen.
• Halten Sie die Basisvariante A während der Laufzeit unverändert.
• Bevorzugen Sie pro Kanal nur einen aktiven A/B-Test.
• Verwenden Sie einen klaren Testnamen, der die erwartete Wirkung beschreibt.
• Verwenden Sie bei Bedarf das Beschreibungsfeld für ausführlichere Informationen zum Test.