Wie wird die einfachste Methode des Experimentierens in der Online-Welt bezeichnet?
A/B-Tests (oder Split-Testing).
Was ist ein A/B-Test?
Ein Experiment, bei dem zwei Versionen (A = Original, B = neue Variante) miteinander verglichen werden,
um herauszufinden, welche Version bessere Ergebnisse erzielt.
Was repräsentiert die Variable 'A' in einem klassischen A/B-Test?
Die ursprüngliche Testvariable bzw. die Originalversion.
Was repräsentiert die Variable 'B' in einem A/B-Test?
Die neue Version der ursprünglichen Variablen.
Welches Ziel verfolgen A/B-Tests?
Die beste Variante einer Website oder Anwendung anhand messbarer Kennzahlen (Metriken) zu bestimmen.
Wie werden die Auswirkungen eines A/B-Tests gemessen?
Mithilfe von Web-Metriken wie Konversionsrate, Klickrate oder Anmeldequote.
Was ist eine Konversionsrate?
Conversion Rate ist eine wichtige Kennzahl im Online-Marketing.
Sie gibt an, wie viel Prozent der Besucher einer Website eine bestimmte, gewünschte Aktion ausführen.
Beispiele für solche Aktionen sind ein Kauf, eine Newsletter-Anmeldung oder das Ausfüllen eines Kontaktformulars. [1, 2, 3]
Wann sind A/B-Tests besonders sinnvoll?
Wenn Kennzahlen (z. B. Konversionsrate) schlechter sind als gewünscht.
Der A/B-Testablauf
Benne die 4 Schritte des A/B Testablaufs.
1. Schritt: Verstehen des Zwecks der Website
2. Schritt: Sammeln von Daten und Identifizieren möglicher Engpässe
3. Schritt: Definieren einer Hypothese
mögliche Wege zum Erreichen des eigentlichen Ziels der Website
4. Schritt: Starten der Tests
Was ist eine Konversion?
Der Moment, in dem Nutzende die gewünschte Aktion durchführen (z. B. Kauf, Anmeldung oder Spende).
Was versteht man unter der statistischen Siginikanz?
Ein Werkzeug zur Messung der Unsicherheit in den gesammelten Daten.
Nenne Beispiele für Erfolgsmetriken.
Konversionsrate
Klickrate (CTR)
Durchschnittliche Spenden
Durchschnittlicher Umsatz
Absprungrate
Was ist ein Engpass?
Eine Stelle auf der Website, an der viele Nutzer abspringen oder verloren gehen.
Was ist die Nullhypothese?
Die Annahme, dass zwischen den getesteten Varianten kein Unterschied besteht.
Womit wird die statistische Signifikanz eines Ergebnisses üblicherweise quantifiziert?
Mit einem p-Wert (Wahrscheinlichkeitswert).
Wie lautet die Grundannahme einer 'Nullhypothese' in der Teststatistik?
Es besteht keine Beziehung zwischen den untersuchten Daten.
Welche Schlussfolgerung lässt ein sehr niedriger p-Wert in einem A/B-Test zu?
Das Ergebnis gilt als statistisch signifikant und erlaubt die Ablehnung der Nullhypothese.
Was bedeutet ein p-Wert von 0,04?
Es besteht nur etwa 4 % Wahrscheinlichkeit, dass das Ergebnis zufällig entstanden ist (96 % Signifikanz).
Wann wird die Binomialverteilung verwendet?
Wenn es nur zwei mögliche Ergebnisse gibt (z. B. Klick oder kein Klick).
Welche Kennzahlen eignen sich für die Binomialverteilung?
Welche Vorteile haben A/B-Tests?
Einfach
Kostengünstig
Wenig Ressourcen nötig
Leicht verständliche Ergebnisse
Ideal für Einsteiger
Welche Nachteile haben A/B-Tests?
Es ist oft schwer zu erkennen, welches einzelne Element den Erfolg verursacht hat.
Welche Website-Bestandteile eignen sich besonders für A/B-Tests?
Überschriften
Inhalte
Design
Layout
Bilder
Videos
Buttons
Navigation
Bewertungen
Nennen Sie die vier wichtigsten Schritte, die bei der Durchführung eines A/B-Tests befolgt werden sollten.
Den Zweck der Website verstehen
Daten sammeln und mögliche Engpässe identifizieren
Eine Hypothese festlegen
Tests starten
Kreuzen Sie die richtigen Aussagen an.
Kennzeichnen Sie den folgenden Satz als wahr oder falsch.
Die Ergebnisse von A/B-Tests können diejenige Komponente einer Seite aufzeigen, die eine höhere Konversionsrate bietet.
Was bedeutet MVT?
MVT steht für Multivariate Testing (multivariate Tests).
Was ist ein multivariater Test (MVT)?
Ein MVT ist eine Form des A/B-Tests, bei der mehrere Elemente gleichzeitig verändert und die Leistung jeder möglichen Kombination bewertet wird.
Was ist das Hauptziel eines MVT?
Herauszufinden, welche Kombination der getesteten Elemente am besten abschneidet, z. B. die höchste Konversionsrate erzielt.
Wo können A/B-Tests und MVT eingesetzt werden?
Sowohl online als auch offline. Sie können beispielsweise die Nutzerbindung, gegenseitige Beeinflussung von Nutzenden oder die Erfüllung von Nutzerbedürfnissen untersuchen.
Was ist der grundlegende Unterschied zwischen A/B-Test und MVT?
A/B-Test: Vergleich einzelner Varianten bzw. eines Elements.
MVT: Mehrere Elemente werden gleichzeitig verändert und Kombinationen getestet.
Wie berechnet man die Anzahl der Variationen bei einem MVT?
Anzahl der Variationen = Versionen Element 1 × Versionen Element 2 × Versionen Element 3 × …
Was wird bei den verschiedenen Kombinationen eines MVT gemessen?
Die Leistung bzw. Konversionsrate jeder Kombination, um die erfolgreichste Variante zu bestimmen.
Welche zwei häufig verwendeten Methoden des multivariaten Testens gibt es?
Vollständiger Versuchsplan (Full Factorial Testing)
Teilfaktorplan (Fractional Factorial Testing)
Wie funktioniert ein vollständiger Versuchsplan?
Der eingehende Website-Traffic wird gleichmäßig auf alle möglichen Testkombinationen verteilt.
Was ist der Nachteil eines vollständigen Versuchsplans?
Bei vielen Kombinationen kann der Zeit- und Datenverkehrsaufwand sehr groß werden.
Wie funktioniert ein Teilfaktorplan?
Es wird nur eine kleinere Anzahl der möglichen Kombinationen getestet. Anschließend wird versucht, die Ergebnisse auf die übrigen Kombinationen zu übertragen bzw. zu extrapolieren.
Was ist der Vorteil eines Teilfaktorplans?
Er liefert schnellere Ergebnisse, benötigt weniger Datenverkehr und eignet sich daher auch für Websites mit geringem Traffic.
Was ist der Nachteil eines Teilfaktorplans?
Es gehen Informationen über nicht getestete Kombinationen verloren, wodurch die Ergebnisse weniger vollständig sind.
Welche MVT-Methode eignet sich besonders für Websites mit wenig Traffic?
Der Teilfaktorplan (Fractional Factorial Testing), da weniger Datenverkehr benötigt wird.
Was ist ein grundlegender Vorteil von MVT?
MVT ermöglicht es, mehrere Komponenten gleichzeitig zu testen und dadurch die optimale Kombination zu bestimmen.
Warum kann MVT gegenüber mehreren aufeinanderfolgenden A/B-Tests Zeit sparen?
Weil MVT alle relevanten Kombinationen gleichzeitig testen kann, anstatt mehrere A/B-Tests nacheinander durchführen zu müssen.
Welchen Vorteil hat MVT bei der Identifikation ungeeigneter Elemente?
MVT kann zeigen, welche Elemente keinen positiven Beitrag zur Konversionsrate leisten.
Was kann mit Elementen geschehen, die keinen positiven Beitrag leisten?
Sie können beispielsweise verschoben oder entfernt werden, damit die Aufmerksamkeit stärker auf wichtige Inhalte gelenkt wird.
Warum ist die Platzierung wichtiger Elemente auf einer Webseite entscheidend?
Die zuerst sichtbaren Elemente beeinflussen die Bereitschaft der Besucher, die Website weiter zu erkunden.
Warum benötigt MVT normalerweise viel Website-Traffic?
Weil zahlreiche Kombinationen getestet werden und für statistisch aussagekräftige Ergebnisse ausreichend Daten benötigt werden.
Was kann man bei einer Website mit geringem Traffic tun, wenn man trotzdem MVT einsetzen möchte?
Die Anzahl der getesteten Kombinationen reduzieren, beispielsweise durch einen Teilfaktorplan.
Warum ist MVT komplexer als ein A/B-Test?
MVT erfordert die Organisation und Auswertung vieler Kombinationen und benötigt daher mehr Planung und Fachwissen.
Warum ist MVT zeitaufwendiger als A/B-Testing?
Einrichtung und Durchführung sind aufgrund der größeren Anzahl an Kombinationen und der höheren Komplexität aufwendiger.
Warum besteht bei MVT ein höheres finanzielles Risiko?
MVT kann erhebliche Zeit-, Personal- und sonstige Ressourcen benötigen. Bei einem schlecht geplanten Test können die Kosten daher sehr hoch sein.
Warum sollte MVT gut geplant werden?
Wegen des hohen Aufwands und der Kosten besteht ein größeres Risiko des Scheiterns. Ein durchdachter Testplan ist daher wichtig.
Was ist ein Multi-armed-Bandit-Test?
Eine Experimentiermethode, bei der der Datenverkehr dynamisch auf die besser abschneidende Version einer Website gelenkt wird.
Was ist der wesentliche Unterschied zwischen klassischen A/B-Tests und Multi-armed-Bandit-Tests?
A/B-Test: Datenverkehr wird gleichmäßig auf die Varianten verteilt.
Multi-armed Bandit: Datenverkehr wird dynamisch stärker zu der Variante gelenkt, die besser abschneidet.
Was bedeuten Exploration und Exploitation?
Exploration (Erkundung): Neue bzw. unbekannte Möglichkeiten ausprobieren.
Exploitation (Ausbeutung): Die aktuell beste bekannte Möglichkeit möglichst stark nutzen.
Wie unterscheiden sich A/B-Tests und Multi-armed-Bandit-Tests hinsichtlich Exploration und Exploitation?
A/B-Tests dienen hauptsächlich der Exploration, um statistisch signifikante Ergebnisse zu erhalten.
Multi-armed-Bandit-Algorithmen kombinieren Exploration und Exploitation und lenken einen Großteil des Traffics zur erfolgversprechendsten Variante
Wie wird bei A/B-Tests der Traffic verteilt?
Wie wird der Traffic bei einem Multi-armed-Bandit-Test verteilt?
Der Traffic wird gleichmäßig auf die getesteten Varianten aufgeteilt.
Die Verteilung wird abhängig von der Erfolgsrate der getesteten Varianten dynamisch angepasst. Erfolgreichere Varianten erhalten mehr Traffic.
Wann sind A/B-Tests besonders geeignet?
Wann sind Multi-armed-Bandit-Algorithmen besonders geeignet?
Wenn ein Unternehmen statistische Erkenntnisse über jede Variante gewinnen und diese Erkenntnisse beispielsweise für die Entwicklung anderer Produkte nutzen möchte
Wenn ein Unternehmen schnell eine Kennzahl optimieren möchte und nicht genügend Zeit hat, umfangreiche statistische Erkenntnisse zu sammeln.
Was bedeutet Konvergenz bei einem Multi-armed-Bandit-Algorithmus?
Der Algorithmus gelangt im Laufe der Zeit zu einem Punkt, an dem er sich zunehmend auf die leistungsstärkste Version konzentriert.
Was ist ein gieriger (greedy) Algorithmus?
Ein Algorithmus, der die im jeweiligen Moment beste Aktion auswählt, ohne die langfristigen Konsequenzen zu berücksichtigen.
Ein Epsilon-Greedy-Algorithmus testet Bild A und Bild B. Was passiert bei Exploitation?
Das Bild mit der bisher höheren Konversionsrate wird ausgewählt.
Was passiert bei Exploration?
Bild A oder B wird zufällig ausgewählt, sodass beide Varianten weiter getestet werden.
Was ist der Epsilon-Greedy-Algorithmus?
Ein nahezu gieriger Algorithmus, der zufallsbasiert zwischen Exploration und Exploitation wechselt.
Wie kann man die Funktionsweise des Epsilon-Greedy-Algorithmus vereinfacht verstehen?
Wie einen Münzwurf, bei dem zufällig entschieden wird, ob exploriert oder die bisher beste Option genutzt wird.
Was passiert bei der Exploitation im Epsilon-Greedy-Algorithmus?
Der Algorithmus betrachtet die bisherigen Informationen und wählt die Variante mit der bisher höchsten Konversionsrate.
Was passiert bei der Exploration im Epsilon-Greedy-Algorithmus?
Eine Variante wird zufällig ausgewählt, um weitere Informationen über die möglichen Varianten zu sammeln.
Was ist die Bedeutung von Epsilon (ε) beim Epsilon-Greedy-Algorithmus?
Epsilon bestimmt, wie häufig zwischen Exploration und Exploitation gewählt wird
Woher stammt der Begriff „Multi-armed Bandit“?
Er stammt von Casino-Spielautomaten, die als „einarmige Banditen“ bezeichnet werden. Der Algorithmus versucht sinngemäß, den Spielautomaten mit der höchsten Gewinnchance auszuwählen.
Was bedeutet „Belohnung“ (Reward) bei Multi-armed-Bandit-Algorithmen?
Ein erfolgreiches Erreichen eines Ziels, beispielsweise ein Klick, eine Neukundenanmeldung oder ein anderes positives Ergebnis.
Was ist eine Schwäche des Epsilon-Greedy-Algorithmus?
Er kann auch weiterhin Zeit mit der Exploration einer bereits als schlecht bekannten Variante verbringen. Dies wird als Over-exploring (Übererkundung) bezeichnet.
Was ist der Vorteil des Epsilon-Greedy-Algorithmus gegenüber anderen Bandit-Algorithmen?
Er ist einfach zu verstehen und zu implementieren und bildet eine Grundlage für weitere wichtige Algorithmen.
Last changed16 days ago
