Page tree
Skip to end of metadata
Go to start of metadata

Wie funktioniert Testing?

BlackTri Optimizer liefert nach einem Zufallsprinzip neben der Originalseite weitere Varianten aus, und misst deren Konversionsrate im Vergleich zum Original. Dabei können die Varianten entweder als eigene alternative Seiten auf dem Webserver liegen (“Split-Testing”), oder Elemente einer Seite – Bilder, Copytexte, Überschriften, Buttons – werden durch sogenannte “DOM-Manipulation” variiert. Wie erfolgreich eine Seitenvariante ist, bemisst BlackTri an definierbaren Konversionszielen. 

Erstellt das System für mich automatisch Varianten meiner Seiten?

Nein, aber BlackTri Optimizer unterstützt sie durch einen visuellen Editor, in dem eine Seite geladen und bearbeitet werden können. Eine serverseitige Programierung unter Einbeziehung der IT-Abteilung ist nicht notwendig.

Was muss ich tun, um optimieren zu können?

Technisch gesehen muss lediglich der BlackTri Tracking-Code in die Website eingebaut werden, das Erstellen von Tests ist dann sofort möglich. Website Testing erfordert aber wie jede andere Disziplin des Online Marketings idealerweise eine gewisse Planung und die Mitarbeit unterschiedlicher Qualifikationen, wie Copywriting, Screendesign, Webdevelopment und Analytiics. Unser Consulting unterstützt diesen Prozess gerne.

Kann BlackTri Optimizer auch Multivariates Testing?

Multivariates Testing ist zwar verfügbar, allerdings kann der Kunde das Projekt nicht selber anlegen, das muss BlackTri Consulting tun. Bitte kontaktieren Sie uns gerne dazu.  

Funktioniert das AB-Testing und Targeting auch mit einem Tag-Management System?

Das kommt auf das Tag Management System an und kann nicht pauschal beantwortet werden. Der Tracking Code von BlackTri Optimizer content muss als erstes Tag ausgespielt werden und auch die Möglichkeit haben, Javascript-Code in die Seite zu injizieren. Wir empfehlen, durch einen Test mit dem in Frage kommende Tag Management System sicherzustellen, dass Projekte korrekt ausgespielt werden.

Nutzt das BlackTri Optimizer eine DOM-Injection beim Anpassen der Varianten?

BlackTri Optimizer kann Projekte über zwei Verfahren ausspielen: DOM-Injection (d.h. Verändern der HTML/CSS-Struktur der zu testenden Seite) und Split-Testing (d.h. Umleiten von der zu testenden Seite auf alternative Seiten mit anderer URL). 

Wie stellt BlackTri Optimizer sicher, dass der gleiche User immer die gleiche Variante sieht, und wieso tut BlackTri Optimizer das?

Damit Besucher ein konsistentes Nutzererlebnis haben, wird Ihnen bei mehrfachem Öffnen einer Seite immer die gleiche Variante angezeigt, falls dort ein Test läuft. Dies wird realisiert, indem auf dem Rechner der Besucher ein Cookie mit einer Besucher-ID gespeichert wird. Anhand dieser Information kann BlackTri Optimizer für jede Seite und jeden Besucher ermitteln, welche Variante in der Vergangenheit ausgespielt wurde. 

Können die unterschiedlichen Variatianten eines Split-Test auf unterschiedlichen Servern laufen?

Ja, das ist problemlos möglich. 

Wie bewertet BlackTri Optimizer, welche Variante gewinnt?

BlackTri Optimizer identifiziert eine Variante als Gewinner, wenn sie mit einer statistischen Signifikanz von mindestens 95% eine höhere Konversionsrate hat als das Original. Dabei wird die Konversionsrate aus der Zahl der Konversionen und der Zahl der eindeutigen Besucher ermittelt, d.h. ein Besucher und seine Konversion wird jeweils nur einmal in einem Test gezählt.

Die Signifikanz wird bestimmt indem der sog. Z-Score berechnet wird, eine Darstellung des Verfahrens findet sich uterhttp://20bits.com/article/statistical-analysis-and-ab-testing.

Zusätzlich ist die Mindestlaufzeit eines Tests 7 Tage und es müssen eine Mindestzahl von Besuchern und Konversionen für jede Variante vorliegen (aktuell 7 Konversionen und 200 Besucher). 

Funktioniert das Testing und Targeting definitiv im CMS XYZ?

Ob das Testing funktioniert hängt nicht vom verwendeten CMS ab, sondern einerseits vom Frontend der Seite, die man testen will, und andererseits davon, auf welche Art man die Varianten der Seite erstellt. Der Visuelle Editor basiert sehr stark auf Javascript, in seltenen Fällen gibt es Wechselwirkungen zwischen dem HTML/CSS/Javascript der Seite und unserem Editor, was ein Bearbeiten im Editor erschwert oder unmöglich macht. Dies lässt sich leicht ermitteln, indem man die Seite testweise im Editor öffnet, was keinerlei Auswirkungen auf die Website hat.

Wie lange läuft ein A/B-Test?

Ein Test läuft per default so lange, bis für alle Varianten statistisch signifikant ausgesagt werden kann ob sie eine schlechtere oder bessere Konversionsrate haben als das Original, mindestens aber 7 Tage. Er wird dann vom System automatisch angehalten, zusätzlich erhalten einzelne Varianten schon vorher keinen Traffic mehr, wenn für sie die Signifikanz bereits erreicht ist, um den Traffic auf den anderen Varianten möglichst gut auszunutzen. Dieses Verhalten kann im Projekt aber deaktiviert werden.

Die tatsächliche Laufzeit hängt ab vom Traffic, d.h. von der Zahl der eindeutigen Besucher der getesteten Seiten/n - je höher der Traffic umso schneller kommt der Test zu einem Ergebnis. Sehr grob kann man sagen dass jede Seitenvariante (inkl. Original) einige Tausend eindeutige Besucher erfordert.

Die Laufzeit ist zudem umso länger, je näher die Konversionsraten der Seitenvarianten beieinander liegen, denn dann wird mehr Trennschärfe und damit Traffic benötigt bis das Ergebnis signifikant ist.

Wie groß muss mein Paket sein damit ich testen kann?

Wieviele Besucher ein Test benötigt, damit er statistisch signifikant ein Ergebnis liefert, hängt nicht von der Größe oder Art der Website ab, sonder nur davon wie sehr die Konversionsrate des Originals und der Varianten sich unterschieden. Wenn der Traffic der Website es zulässt, zahlt es sich jedoch aus, so viele Tests damit durchzuführen wie möglich, denn die durchschnittlichen Werbekosten für einen Besucher sind um ein Vielfaches höher sind als die Kosten eines Besuchers in einem Dynamic-Content-Paket (teilweise um einen Faktor von mehr als 1000). Eine nur geringe Steigerung der Konversionsrate macht die Kosten des A/B-Testings wett.

Beispiel: Margenschwaches Geschäft mit 4% Gewinnmarge, 3% Konversionsrate, 1€ Kosten pro Besucher. Eine Steigerung von 3% auf 4% Konversionsrate bewirkt eine Steigerung der Gewinnmarge auf über 9%.

Beschädigt Testing mein SEO-Ranking?

Nein, denn die verwendeten Verfahren sind kein "Cloaking", was atsächlich eine Gefahr darstellen würde. Aber die Steigerung der Konversionsrate ist im Sinne der Suchmaschinenbetreiber, und Google selber bietet ein Produkt für A/B-Testing an (Content Experiments), das nach ähnlichen Verfahren wie etracker arbeitet.

  • No labels