Przewodnik po testach A/B. Lekcje od Netflixa, Baracka Obamy i Optimizely

Testy A/B. Która wersja bardziej spodoba się użytkownikom?

Dobry marketing jest ufundowany na testach i eksperymentach: dzięki nim uwalniasz się od klisz i obiegowych mądrości, nie musisz podążać bezpieczną drogą, którą idą wszyscy, ale możesz eksplorować to, co działa na Twojej publiczności i kształtować swoje decyzje w oparciu o dane. Innymi słowy, zyskujesz kontrolę nad marketingiem: będziesz w stanie zrozumieć, dlaczego dane działania przyniosły określone efekty, a potem powtórzyć sukces bądź unikać marnowania pieniędzy.

Jesteś na to gotów?

Definicja testów A/B

Test A/B to badanie polegające na weryfikacji hipotezy. Przedstawiasz dwóm grupom dwa warianty, różniące się tylko jednym elementem i sprawdzasz, która z wersji przynosi lepsze efekty.

Hej! Wygraj Zerowy Moment Prawdy! Pobierz darmowego ebooka 

Klasycznym przykładem jest wysyłka tego samego newslettera z dwoma różnymi tematami i jednakową nazwą nadawcy, by zbadać, który będzie częściej otwierany. W ten sposób ustalasz, który temat jest lepszy.

Hej! Chcesz wygrać Zerowy Moment Prawdy? Pobierz darmowego ebooka!

Możesz też testować więcej niż 2 warianty badanego elementu.

5 kroków do skutecznego testu A/B: gdzie zacząć

Pewnie zastanawiasz się, co miałbyś testować. Najlepiej jednak cofnąć się jeszcze o krok, według metody zaprezentowanej w świetnej książce „A/B Testing. The Most Powerful Way to Turn Clicks into Customers” Dana Sirokera i Pete’a Koomena, założycieli Optimizely. Proponują oni formułę złożoną z 5 kroków.

Zdefiniuj sukces (i jego mierzalne wskaźniki)

Co jest najważniejszym celem Twojej strony www? Po co ją masz? Czy ma dostarczać leady? A może sprzedawać produkty? Ułatwiać rezerwację wizyt w salonie stacjonarnym? Określ precyzyjnie ten główny cel, a następnie ustal dla niego konkretną metrykę – wskaźnik, który pozwala to precyzyjnie mierzyć. Może to być ilość leadów, wartość sprzedaży czy ilość umówionych wizyt.

Znajdź wąskie gardło

OK, kiedy wiesz już, co jest Twoim głównym celem, przejdźmy do analizy strony. Gdy przyjrzysz się przepływowi odwiedzających przez witrynę, na pewno znajdziesz takie momenty, gdzie tracisz sporo użytkowników: miejsca, gdzie wyciekają leady albo gdzie potencjalni klienci napotykają przeszkodę, opór na tyle duży, by zniechęcić ich do kontynuacji podróży. Na przykład może być tak, że klienci ochoczo ładują produkty do koszyka, ale już niechętnie kończą transakcje i notorycznie porzucają koszyki. Oznacza to, że właśnie check-out jest Twoim wąskim gardłem: podstawową przeszkodą na drodze do sukcesu (większej sprzedaży).

Postaw hipotezę

Poprzednie kroki powinny naprowadzić Cię na hipotezę, co należałoby poprawić. To naukowe podejście, więc będziemy eksperymentować, by tę hipotezę zweryfikować. Znajdź element, który najprawdopodobniej będzie miał wpływ na podstawowy problem (wąskie gardło). To jego przetestujemy w pierwszej kolejności.

Pamiętaj, że testujemy tylko jedną jakość na raz: gdy testujesz kolor przycisku, niech poszczególne wersje różnią się tylko nim, nie CTA czy kształtem. W przeciwnym wypadku nie będziesz wiedzieć, co jest odpowiedzialne za końcowy efekt.

Hipoteza powinna brzmieć mniej więcej tak:

Gdy zmienię …  z … na …, osiągnę …

Np.: Jeśli zmienię kolor przycisku z czerwonego na żółty, osiągnę wyższą konwersję.

Nasza hipoteza zawiera:

• Element testowany
• Jak go zmienić
• Jakie rezultaty to przyniesie

Ustal priorytety

Masz ograniczoną ilość czasu na próby (każda z nich trwa), więc oceń, co będzie mieć największy wpływ na sukces. Najpierw testuj kluczowe elementy czy funkcje.

Testuj

Jesteś gotowy! Przygotuj kreacje i działaj!

Co mogę testować?

Wszystko! Eksperymentuj z każdym elementem emaili, treści strony (m. in. formularze kontaktowe, strony docelowe, ramki rekomendacji) i UI. To obejmuje cennik, zakres funkcji, czas ładowania się strony … Co tylko przyjdzie Ci go głowy. Testuj rozkład, przyciski, kolory, teksty, CTA…

Testy treści dynamicznych z wykorzystaniem systemu Marketing Automation

W 2007 roku Dan Siroker rzucił pracę w Google, by dołączyć do zespołu Baracka Obamy. Zajął się optymalizacją stron docelowych zawierających formularz zapisu na newsletter. Zaczął od testowania CTA na przycisku, potem sprawdzał skuteczność różnych zdjęć i video (co ciekawe, materiały video działały dużo gorzej niż zdjęcia). Zwycięska kombinacja (zdjęcie kandydata z żoną i córką + hasło „change we believe in” + przycisk z CTA „Learn more”) zwiększył ilość zapisów o 40,6%.

Netflix z kolei z zasady eksperymentuje ze wszystkim, włączając w to rzeczy, które teoretycznie wiedzą z opinii klientów, co pozwala zobaczyć interesującą niespójność między działaniami użytkowników a ich deklaracjami. Na przykład wielu odwiedzających zgodnie zgłaszało tę sama prestensję: denerwuje ich, że nie mogą przeglądać zasobów Netflixa zanim się zarejestrują. W sumie to logiczne: ktoś chce najpierw sprawdzić, jakie korzyści będzie miał z zapisu, zanim poda swoje dane kontaktowe. Ale Netflix, mimo że miał poważne przesłanki za wdrożeniem zmian, postanowił najpierw je zweryfikować.

Dlatego postawiono hipotezę:

Jeżeli użytkownicy będą mogli przeglądać zawartość portalu zanim się zarejestrują, zwiększy się liczba zapisanych.

Następnie przygotowano 5 wariantów strony z różnymi stopniami wyszukiwalności zawartości witryny, z których każdy pozwalał dowiedzieć się więcej o zasobach Netflixa niż wersja oryginalna. Wyniki? Wbrew deklaracjom odbiorców, najlepsze efekty (czyli ilość zapisów) przyniósł wariant pierwotny, gdzie widać najmniej treści przed zapisem.

Podsumowując

Testuj wszystko, ale umiejętnie ustalając priorytety.

Zacznij od elementów fundamentalnych, mających bezpośredni wpływ na sukces strony, a następnie zwróć uwagę na pomniejsze. Pamiętaj też, by nie optymalizować mniejszych funkcji kosztem większych (np. wprowadzając zmianę, która zwiększy oglądalność bloga, ale zmniejszy sprzedaż).