Маркетинг та аналітика
A/B тест двох QR-плакатів: що ви насправді порівнюєте
Майже кожне питання «який плакат кращий» вирішується смаком, а смак коштує дорого: ви друкуєте тисячу примірників програшного варіанта й дізнаєтесь про це через пів року. Альтернатива — справжній експеримент, але його чесна версія порівнює не два плакати між собою, а дві однакові ситуації з однією зміненою змінною.
Те, що ви тестуєте, — не плакат
Повісьте варіант A біля входу, а варіант B біля вбиральні — і результат уже визначений: повз вхід просто проходить більше людей. Поставте A на рівні очей, а B на рівні колін — і ви виміряли висоту, а не дизайн. Повісьте A у липні, а B у вересні — і ви виміряли сезон.
Саме тому більшість тестів плакатів дають упевнене число й хибний висновок. Порівняння, якому можна вірити, — це не A проти B. Це A проти A з однією зміненою деталлю, у тому самому місці, у той самий час дня, на такому самому папері.
Чотири умови чесного розподілу
Якщо місце лише одне, використовуйте схему з перестановкою: A тиждень, B тиждень, знову A, знову B. Чотири періоди — і видно, чи різниця пережила перестановку, чи це був просто тиждень.
Що міряти замість кількості сканів
Скан — не результат. Це момент, коли хтось навів камеру. Вам потрібна частка сканів, що перетворилися на те, що обіцяв плакат: бронювання, замовлення, заповнену форму, відгук.
Це число має ще одну корисну властивість: воно не росте лише тому, що ви надрукували більше плакатів. Сто сканів без замовлень — не перемога над п'ятдесятьма сканами з дванадцятьма замовленнями, хоч перша колонка й виглядає більшою.
Якщо досягнень у вашій аналітиці не видно, беріть наступний чесний показник: що сталося з виторгом або бронюваннями за тижні, коли висів кожен варіант, у перерахунку на тиждень і в тому самому залі. Грубо, але обманути складніше, ніж лічильник сканів.
Не робіть висновків першого дня
Перші п'ятдесят сканів покажуть різницю, і ця різниця буде шумом. Люди сканують купками: столик на шість осіб сканує той самий код, а тихий вівторок не сканує нічого. Ранні числа виглядають як тенденція лише тому, що на графіку поки нічого іншого немає.
Тому правило вирішують до початку й записують: «через чотири тижні, якщо B кращий за часткою досягнень на скан більш ніж на двадцять відсотків, залишаємо B». Записане правило — це те, що не дає тихо переносити фініш, коли програє варіант, який вам подобався.
Три способи, якими тест вам збреше
Той самий код двічі
Два різні на вигляд плакати ведуть на те саме коротке посилання. Аналітика зливається, і ви не можете сказати, який плакат що дав. Кожному варіанту потрібен власний пункт призначення — два динамічні коди й позначка в посиланні, яка переживе редирект.
Зупинка, коли «вже видно»
Перевіряти цифри щоранку й заморозити тест того дня, коли B вийшов уперед. Це найпоширеніший спосіб, у який малий тест виготовляє собі переможця. Правило має бути встановлене заздалегідь, а тривалість — зафіксована до першого скану.
Два коди на одному плакаті
«Нехай клієнт обере» звучить нейтрально й не є таким: на плакаті перемагає код з того боку, з якого підходять люди, і ви виміряли ліво-праву позицію, а не повідомлення. Один плакат — один код.
Неприємна математика малих чисел
Якщо потрібну дію робить приблизно один із двадцяти скануючих, то для помітних десяти відсотків покращення потрібні тисячі сканів на варіант, а не десятки. Кав'ярня з вісімдесятьма сканами на місяць не розрізнить такої різниці, і вдавання, що розрізняє, дає дуже впевнену нісенітницю.
Це не привід відмовитися від цифр. Це привід витрачати сили на змінні з великим ефектом, де різниця видно за дні, а не за сезони: де плакат висить, на якій висоті й чи є на ньому хоч один рядок тексту.
Тестуйте за величиною ефекту
На практиці місце перемагає розмір, розмір перемагає напис, а напис перемагає кольорову гаму. Майже ніхто в це не вірить, і майже всі починають із кольорів.
Тож розумний порядок для малого бізнесу такий: чи код там, де люди справді стоять і чекають? Чи на висоті, до якої рукою дістатись зручно? Чи є один короткий рядок про те, що буде далі? І лише потім порівнюйте формулювання, і ще пізніше — дизайн.
Обидва варіанти мусять працювати до початку тесту
Наймарніший результат — виявити на третій день, що один варіант погано сканується в реальному світлі реального приміщення. Подряпаний ламінат, відблиск від вікна, замалий код, логотип, що з'їв тиху зону — будь-яке з цього робить варіант B кодом, який провалюється з причин, що не мають нічого спільного з вашим повідомленням.
Тому перевірте обидва друки до того, як вішати: з відстані, з якої люди справді стоять, у світлі, яке там справді є, і телефоном, який не є найновішим у приміщенні.
Що варто виправити ще до будь-якого тесту
Не все потребує контрольованого експерименту, і деякі зміни настільки ймовірно допоможуть, що їх треба просто зробити, а вимірювання лишити на наступний раз.
Перевісити плакат зі стіни за прилавком на столик, де чекають. Додати просту адресу під кодом, щоб він працював для того, чия камера відмовляється. Збільшити код на десять міліметрів. Замінити глянсовий ламінат на матовий. Прибрати другий код, який ніхто не сканує. Кожне з цих рішень дешеве, і кожне має більший очікуваний ефект, ніж будь-який вибір кольору.
Як виглядає завершений тест
Одна сторінка, чотири рядки: яку змінну змінили, який пункт призначення був у кожного варіанта, скільки висів кожен варіант і яка частка досягнень на кожен варіант. Плюс одне речення про те, що ви зробите інакше. Якщо результат — нічия, напишіть і це: нічия, яка зупиняє повторювану суперечку, коштує більше, ніж фальшивий переможець, що почне її знову наступного кварталу.
І збережіть програшний макет. Через рік те саме питання повернеться, і наявність файла, дат і чисел — це різниця між рішенням і ще однією думкою.
Помилки, які коштують дорого
- Змінені водночас текст, розмір і місце — і висновок про «дизайн».
- Обидва плакати ведуть на те саме посилання, тому аналітика їх не розрізняє.
- Тест зупинили того ранку, коли один варіант вийшов уперед.
- Два коди на одному плакаті й це назвали розділеним тестом.
- Порівняли кількість сканів з кількістю досягнень і оголосили переможця.
- Тижневий тест, який насправді порівнював сонячний тиждень із дощовим.
Як зробити два варіанти на практиці
У генераторі QR зробіть два динамічні коди, по одному на варіант, і дайте кожному власний пункт призначення або власну позначку — інакше вся вправа декоративна. Тримайте обидва посилання в одному акаунті, щоб наприкінці вивантажити цифри поруч в одній таблиці.
У QR-студії зробіть один макет і продублюйте його. Змініть рівно один елемент — напис над кодом, розмір або тло — і залиште рамку, папір і висоту кріплення ідентичними, бо саме ці речі тест потім не зможе врахувати.
Потім перевірте обидва файли QR-сканером до замовлення друку: відскануйте пробний друк, відскануйте його фото й відскануйте в тому світлі, де плакат справді висітиме. Варіант, який провалюється тут, не мав шансу перемогти.