- AB тестування: що це таке і як працює
- Крок 1. Сформулюйте гіпотезу
- Крок 2. Визначте метрику та критерій успіху
- Крок 3. Підготуйте два варіанти та аудиторію
- Крок 4. Розрахуйте вибірку та тривалість тесту
- Крок 5. Запустіть спліт тестування без втручання
- Крок 6. Проаналізуйте результати та визначте переможця
- Крок 7. Зробіть висновок і заплануйте наступний тест
- А б тестування: які помилки найчастіше спотворюють результат
- AB тестування: що можна тестувати
- Висновок
A/B testing — це метод порівняння двох версій сторінки, листа, реклами чи іншого елемента, щоб визначити, яка з них краще виконує потрібну дію. Частина аудиторії бачить поточний варіант A, інша — змінений варіант B, після чого результати порівнюють за заздалегідь визначеною метрикою.
Такий підхід допомагає ухвалювати маркетингові рішення на основі даних, а не припущень. Наприклад, замість того щоб просто змінити заголовок на сайті й чекати на зростання конверсії, можна перевірити дві версії одночасно й оцінити, чи справді зміна дала результат.
Нижче — як це робити, де найчастіше помиляються і що тестувати першим.
AB тестування: що це таке і як працює
AB тестування (або ж спліт-тестування) — це простий спосіб порівняти два варіанти одного елемента й перевірити, який працює краще. Частині аудиторії показують поточний варіант A, а іншій — змінений варіант B. Наприклад, половина відвідувачів бачить старий заголовок сторінки, а половина — новий. Потім результати порівнюють за заздалегідь визначеною метрикою: наприклад, кількістю кліків, заявок або покупок.
Простими словами, AB тестування це — це можливість перевірити припущення на реальних користувачах, а не вгадувати, яка версія спрацює краще. Обидва варіанти працюють одночасно в однакових умовах, тому на результат менше впливають сезонність, зміни трафіку чи інші зовнішні фактори.
Крок 1. Сформулюйте гіпотезу
Гіпотеза задає напрям тесту: вона визначає, що саме ви хочете перевірити, який результат очікуєте та чому зміна може на нього вплинути. Без чіткої гіпотези A/B-тест перетворюється на просте порівняння двох варіантів без розуміння, що саме дало результат.
Гіпотезу зручно сформулювати за схемою:
«Якщо ми [змінимо X], то [метрика] [зросте/зменшиться] на [очікувану величину], тому що [причина]».
Хороший для AB тестування приклад — інтернет-магазин одягу. Аналітика показує, що на сторінці товару люди довго шукають таблицю розмірів. Гіпотеза: «Якщо винести посилання на таблицю під назву товару, частка додавань у кошик зросте на 10%, бо не доведеться гортати сторінку».
Гіпотезу варто формувати на основі даних: веб-аналітики, записів сесій, відгуків або звернень у підтримку. Так тест перевіряє конкретне припущення, а не перетворюється на перебір випадкових змін.
Крок 2. Визначте метрику та критерій успіху
Оберіть одну основну метрику, яка прямо пов'язана з гіпотезою: конверсія в покупку, клік по кнопці, відкриття листа, подання заявки. Якщо стежити за десятьма показниками одразу, один із них майже напевно «виграє» випадково.
До старту зафіксуйте:
- основну метрику та її поточне значення;
- мінімальний ефект, який вам цікавий (MDE), наприклад +10% до конверсії;
- рівень значущості — зазвичай 5% (α = 0,05), що відповідає 95% рівню довіри для стандартного двостороннього тесту;
- захисні метрики, які не мають просісти: середній чек, частка повернень, швидкість завантаження.
Так ви не підлаштуєте критерій під результат, коли цифри вже відомі.
Крок 3. Підготуйте два варіанти та аудиторію
Підготуйте контрольний варіант A і версію B, у якій буде одна запланована зміна. Усе інше має залишатися однаковим: аудиторія, пропозиція, джерело трафіку та умови взаємодії. Якщо у варіанті B одночасно змінити заголовок, колір кнопки й ціну, результат покаже лише те, що нова версія працює інакше, але не пояснить, яка саме зміна на це вплинула.
Визначте, хто братиме участь у тесті. Не варто змішувати в одну групу аудиторії з принципово різною поведінкою, якщо для них змінюються умови пропозиції. Наприклад, нові й постійні клієнти можуть реагувати на одну й ту саму зміну по-різному.
Розподіл між варіантами має бути випадковим і без перетинів: одна людина повинна бачити один варіант протягом усього тесту. Для ab тестування сайту це зазвичай забезпечує спеціальний сервіс, як-от VWO чи Optimizely, а для розсилок — email-сервіс.
Перед запуском перевірте обидві версії на телефоні й комп'ютері, у потрібних браузерах і на різних етапах сценарію. Кнопки мають працювати, сторінки — завантажуватися коректно, а події та конверсії — правильно передаватися в аналітику. Інакше тест може показати різницю через технічну помилку, а не через зміну, яку ви перевіряєте.
Крок 4. Розрахуйте вибірку та тривалість тесту
Чим менший ефект ви шукаєте, тим більше людей потрібно. Для розрахунку потрібні чотири числа:
- поточна конверсія,
- мінімальний ефект,
- значущість 5%,
- потужність тесту 80%.
Їх вводять у калькулятор, наприклад від Evan Miller.
Приклад: конверсія 3%, шукаємо зростання до 3,6%. Потрібно близько 14 тисяч відвідувачів на кожен варіант, тобто майже 28 тисяч загалом. Якщо на сторінку заходить 1000 людей на день, тест триватиме 28 днів — чотири повні тижні.
Мінімум — один повний тиждень, а краще два: поведінка в будні та вихідні відрізняється, і короткий тест цього не охопить. Якщо розрахунок видав кілька місяців, збільште мінімальний ефект або тестуйте сторінку з більшим трафіком.
Крок 5. Запустіть спліт тестування без втручання
Запустили — і не чіпайте. Не зупиняйте тест, щойно один варіант вирвався вперед: значущість розрахована на одну перевірку в запланований день, а кожне «підглядання» підвищує шанс побачити перемогу, якої насправді немає. Це називають peeking problem.
Поки триває тест:
- не змінюйте варіанти й розподіл трафіку;
- не запускайте на ту саму сторінку нові акції чи рекламні кампанії.
Крок 6. Проаналізуйте результати та визначте переможця
Дочекайтеся запланованої дати й лише тоді відкривайте цифри. Перевірте за порядком:
- Чи досягнуто потрібну вибірку та 95% значущості.
- Яка різниця в основній метриці та який довірчий інтервал. Якщо він охоплює нуль, переможця немає.
- Чи не просіли захисні метрики. Конверсія зросла, а середній чек упав — це не перемога.
- Як варіант працює на мобільних і десктопі, у нових і постійних клієнтів. Сегменти дають матеріал для нових гіпотез, але не рятують невдалий тест.
Нічия — теж результат: ця зміна не впливає на рішення клієнта, тож час можна витратити на інше.
Крок 7. Зробіть висновок і заплануйте наступний тест
Занесіть у спільну таблицю гіпотезу, дати, вибірку, результат і рішення: впровадити, відхилити чи повторити. За пів року такий журнал стає базою знань і не дає двічі тестувати те саме.
Переможний варіант покажіть усій аудиторії, а наступний тест будуйте на тому, що дізналися.
А б тестування: які помилки найчастіше спотворюють результат
Більшість невдач А Б тестування трапляється не через слабку ідею, а через порушення методики. Найчастіше зустрічається таке:
- Зупинка на «гарних» цифрах — рання перемога часто зникає, коли тест доходить до розрахованої вибірки.
- Замала вибірка — результат на кількох десятках конверсій — випадковість, а не закономірність.
- Нетиповий період — чорна п'ятниця, свята чи запуск великої реклами спотворюють поведінку.
- Купа метрик і гіпотез одразу — що більше порівнянь, то вищий шанс хибного переможця.
- Нехтування бізнес-ефектом — статистично значуще зростання на 0,1% може не окупити розробку.
AB тестування: що можна тестувати
Усе, що впливає на рішення клієнта, можна перевірити через спліт тестування, але починайте з місць, де багато трафіку і є пряма метрика.
|
Що тестувати |
Що міняти |
Основна метрика |
|
Сторінка сайту |
заголовок, головне зображення, порядок блоків |
конверсія в заявку чи покупку |
|
Кнопка |
текст, колір, розташування |
частка кліків |
|
Email-розсилка |
тема листа, час відправки, довжина тексту |
відкриття, кліки |
|
Реклама |
креатив, текст, заклик до дії |
CTR, вартість конверсії |
|
Пропозиція |
формат знижки, безкоштовна доставка |
конверсія, середній чек |
Для малого бізнесу найпростіший старт — тема листа в розсилці: для цього не потрібні розробники, а результат видно за кілька днів.
Висновок
AB тест — це метод, щоб перевіряти маркетингові рішення на реальних даних, а не покладатися на припущення. Щоб тест дав корисний результат, до запуску потрібно визначити гіпотезу, основну метрику, необхідну вибірку та умови проведення експерименту.
Візьміть сторінку чи розсилку з найбільшим трафіком, сформулюйте гіпотезу за формулою з кроку 1 і запустіть перший тест. Навіть нічия дасть знання про клієнтів, якого раніше не було.
Реєструйтесь на навчання від Школи бізнесу Нова пошта
ЗареєструватисьТебе також можуть зацікавіти