Często na webinarach pytacie o szczegółowe wskazówki dotyczące przeprowadzania testów A/B w email marketingu. Dlatego przedstawiamy Wam 6 podstawowych zasad, którymi warto się kierować, by wykorzystać w pełni potencjał tego narzędzia oraz najczęściej popełniane błędy.
Zasady przeprowadzenia dobrego testu A/B
- Zacznij od hipotezy
Nie rób testów losowo. Zawsze zaczynaj od sformułowania hipotezy, osnutej na researchu, feedbacku od klientów czy analityce.
- Jeśli zmienię … z …. na …. , uzyskam ………….
Taki mniej więcej kształt powinna mieć Twoja hipoteza. Np.: Jeśli zmienię kształt buttona z płaskiego na wypukły, uzyskam wyższe CTR.
Hipoteza powinna zawierać:
- Element zmieniany
- Jak należy go zmienić
- Planowany efekt
W ten sposób możesz być pewien, ze wiesz, co testujesz.
- Tylko 1 różnica
Następnie przygotowujesz 2 kreacje, które różnią się tylko tym 1 elementem, który oznaczyłeś w hipotezie. Nie testuj większej ilości elementów.
- Rozmiar grup testowych
Aby wyliczyć, ile powinna mieć Twoja grupa testowa, użyj kalkulatora Evana Millera lub innego narzędzia do szacowania rozmiaru próbki. Dzięki temu będzie ona dostatecznie duża, by zapewnić znaczenie statystyczne, ale nie za duża.
- Kryterium
Zdecyduj, co będzie dla Ciebie kryterium sukcesu. Najbardziej popularnymi z nich są otwarcia lub kliknięcia (OR lub CTR). Dopasuj kryterium do elementu, który testujesz: jeśli badasz temat bądź nazwę nadawcy, wybierz kryterium OR, zaś jeśli badasz elementy samej kreacji, wybierz CTR.
- Ciągłość akcji i monitorowanie efektów
Raz zrobiony test A/B nie zbroi Cię w uniwersalną wiedzę na zawsze. Musisz testy przeprowadzać regularnie, ale jednocześnie nie chaotycznie. Dlatego warto prowadzić dokumentację przeprowadzanych testów – masz kontrolę nad całością procesu.
Najczęściej popełniane błędy przy testach A/B
- Testowanie bez hipotezy, na oślep
- Hipoteza jest oparta na luźnych intuicjach czy przeczuciach
- Brak planowania testów
- Nieprowadzenie dokumentacji przeprowadzonych testów
- Testowanie kilku elementów kreacji jednocześnie
- Źle zdefiniowane kryterium sukcesu (np. CTR dla tematu)
- Uogólnianie wniosków z testów prowadzonych w nietypowym okresie (święta, wyprzedaże, szczyt sezonu)
- Brak regularności.
Follow
