A/B testing — це метод порівняння двох версій сторінки, листа, реклами чи іншого елемента, щоб визначити, яка з них краще виконує потрібну дію. Частина аудиторії бачить поточний варіант A, інша — змінений варіант B, після чого результати порівнюють за заздалегідь визначеною метрикою.

Такий підхід допомагає ухвалювати маркетингові рішення на основі даних, а не припущень. Наприклад, замість того щоб просто змінити заголовок на сайті й чекати на зростання конверсії, можна перевірити дві версії одночасно й оцінити, чи справді зміна дала результат. 

Нижче — як це робити, де найчастіше помиляються і що тестувати першим.

AB тестування: що це таке і як працює

AB тестування (або ж спліт-тестування) — це простий спосіб порівняти два варіанти одного елемента й перевірити, який працює краще. Частині аудиторії показують поточний варіант A, а іншій — змінений варіант B. Наприклад, половина відвідувачів бачить старий заголовок сторінки, а половина — новий. Потім результати порівнюють за заздалегідь визначеною метрикою: наприклад, кількістю кліків, заявок або покупок.

Простими словами, AB тестування це — це можливість перевірити припущення на реальних користувачах, а не вгадувати, яка версія спрацює краще. Обидва варіанти працюють одночасно в однакових умовах, тому на результат менше впливають сезонність, зміни трафіку чи інші зовнішні фактори.

Крок 1. Сформулюйте гіпотезу

Гіпотеза задає напрям тесту: вона визначає, що саме ви хочете перевірити, який результат очікуєте та чому зміна може на нього вплинути. Без чіткої гіпотези A/B-тест перетворюється на просте порівняння двох варіантів без розуміння, що саме дало результат.

Гіпотезу зручно сформулювати за схемою: 

«Якщо ми [змінимо X], то [метрика] [зросте/зменшиться] на [очікувану величину], тому що [причина]».

Хороший для AB тестування приклад — інтернет-магазин одягу. Аналітика показує, що на сторінці товару люди довго шукають таблицю розмірів. Гіпотеза: «Якщо винести посилання на таблицю під назву товару, частка додавань у кошик зросте на 10%, бо не доведеться гортати сторінку».

Гіпотезу варто формувати на основі даних: веб-аналітики, записів сесій, відгуків або звернень у підтримку. Так тест перевіряє конкретне припущення, а не перетворюється на перебір випадкових змін. 

Крок 2. Визначте метрику та критерій успіху

Оберіть одну основну метрику, яка прямо пов'язана з гіпотезою: конверсія в покупку, клік по кнопці, відкриття листа, подання заявки. Якщо стежити за десятьма показниками одразу, один із них майже напевно «виграє» випадково.

До старту зафіксуйте:

  • основну метрику та її поточне значення;
  • мінімальний ефект, який вам цікавий (MDE), наприклад +10% до конверсії;
  • рівень значущості — зазвичай 5% (α = 0,05), що відповідає 95% рівню довіри для стандартного двостороннього тесту;
  • захисні метрики, які не мають просісти: середній чек, частка повернень, швидкість завантаження.

Так ви не підлаштуєте критерій під результат, коли цифри вже відомі.

Крок 3. Підготуйте два варіанти та аудиторію

Підготуйте контрольний варіант A і версію B, у якій буде одна запланована зміна. Усе інше має залишатися однаковим: аудиторія, пропозиція, джерело трафіку та умови взаємодії. Якщо у варіанті B одночасно змінити заголовок, колір кнопки й ціну, результат покаже лише те, що нова версія працює інакше, але не пояснить, яка саме зміна на це вплинула.

Визначте, хто братиме участь у тесті. Не варто змішувати в одну групу аудиторії з принципово різною поведінкою, якщо для них змінюються умови пропозиції. Наприклад, нові й постійні клієнти можуть реагувати на одну й ту саму зміну по-різному.

Розподіл між варіантами має бути випадковим і без перетинів: одна людина повинна бачити один варіант протягом усього тесту. Для ab тестування сайту це зазвичай забезпечує спеціальний сервіс, як-от VWO чи Optimizely, а для розсилок — email-сервіс.

Перед запуском перевірте обидві версії на телефоні й комп'ютері, у потрібних браузерах і на різних етапах сценарію. Кнопки мають працювати, сторінки — завантажуватися коректно, а події та конверсії — правильно передаватися в аналітику. Інакше тест може показати різницю через технічну помилку, а не через зміну, яку ви перевіряєте.

 - Фото

Крок 4. Розрахуйте вибірку та тривалість тесту

Чим менший ефект ви шукаєте, тим більше людей потрібно. Для розрахунку потрібні чотири числа: 

  • поточна конверсія, 
  • мінімальний ефект, 
  • значущість 5%, 
  • потужність тесту 80%. 

Їх вводять у калькулятор, наприклад від Evan Miller.

Приклад: конверсія 3%, шукаємо зростання до 3,6%. Потрібно близько 14 тисяч відвідувачів на кожен варіант, тобто майже 28 тисяч загалом. Якщо на сторінку заходить 1000 людей на день, тест триватиме 28 днів — чотири повні тижні.

Мінімум — один повний тиждень, а краще два: поведінка в будні та вихідні відрізняється, і короткий тест цього не охопить. Якщо розрахунок видав кілька місяців, збільште мінімальний ефект або тестуйте сторінку з більшим трафіком.

Крок 5. Запустіть спліт тестування без втручання

Запустили — і не чіпайте. Не зупиняйте тест, щойно один варіант вирвався вперед: значущість розрахована на одну перевірку в запланований день, а кожне «підглядання» підвищує шанс побачити перемогу, якої насправді немає. Це називають peeking problem.

Поки триває тест:

  • не змінюйте варіанти й розподіл трафіку;
  • не запускайте на ту саму сторінку нові акції чи рекламні кампанії.

Крок 6. Проаналізуйте результати та визначте переможця

Дочекайтеся запланованої дати й лише тоді відкривайте цифри. Перевірте за порядком:

  1. Чи досягнуто потрібну вибірку та 95% значущості.
  2. Яка різниця в основній метриці та який довірчий інтервал. Якщо він охоплює нуль, переможця немає.
  3. Чи не просіли захисні метрики. Конверсія зросла, а середній чек упав — це не перемога.
  4. Як варіант працює на мобільних і десктопі, у нових і постійних клієнтів. Сегменти дають матеріал для нових гіпотез, але не рятують невдалий тест.

Нічия — теж результат: ця зміна не впливає на рішення клієнта, тож час можна витратити на інше.

Крок 7. Зробіть висновок і заплануйте наступний тест

Занесіть у спільну таблицю гіпотезу, дати, вибірку, результат і рішення: впровадити, відхилити чи повторити. За пів року такий журнал стає базою знань і не дає двічі тестувати те саме.

Переможний варіант покажіть усій аудиторії, а наступний тест будуйте на тому, що дізналися.

А б тестування: які помилки найчастіше спотворюють результат

Більшість невдач А Б тестування трапляється не через слабку ідею, а через порушення методики. Найчастіше зустрічається таке:

  • Зупинка на «гарних» цифрах — рання перемога часто зникає, коли тест доходить до розрахованої вибірки.
  • Замала вибірка — результат на кількох десятках конверсій — випадковість, а не закономірність.
  • Нетиповий період — чорна п'ятниця, свята чи запуск великої реклами спотворюють поведінку.
  • Купа метрик і гіпотез одразу — що більше порівнянь, то вищий шанс хибного переможця.
  • Нехтування бізнес-ефектом — статистично значуще зростання на 0,1% може не окупити розробку.

AB тестування: що можна тестувати

Усе, що впливає на рішення клієнта, можна перевірити через спліт тестування, але починайте з місць, де багато трафіку і є пряма метрика.

Що тестувати

Що міняти

Основна метрика

Сторінка сайту

заголовок, головне зображення, порядок блоків

конверсія в заявку чи покупку

Кнопка

текст, колір, розташування

частка кліків

Email-розсилка

тема листа, час відправки, довжина тексту

відкриття, кліки

Реклама

креатив, текст, заклик до дії

CTR, вартість конверсії

Пропозиція

формат знижки, безкоштовна доставка

конверсія, середній чек

Для малого бізнесу найпростіший старт — тема листа в розсилці: для цього не потрібні розробники, а результат видно за кілька днів.

Висновок

AB тест — це метод, щоб перевіряти маркетингові рішення на реальних даних, а не покладатися на припущення. Щоб тест дав корисний результат, до запуску потрібно визначити гіпотезу, основну метрику, необхідну вибірку та умови проведення експерименту.

Візьміть сторінку чи розсилку з найбільшим трафіком, сформулюйте гіпотезу за формулою з кроку 1 і запустіть перший тест. Навіть нічия дасть знання про клієнтів, якого раніше не було.

Реєструйтесь на навчання від Школи бізнесу Нова пошта

Зареєструватись

Тебе також можуть зацікавіти