В IT-Agency прошла «стратегическая пицца» — мероприятие, где собираются люди послушать доклад и потом обсудить его за пиццей и вином. На доклад о сплит-тестах заявок было большое, чем мест в зале, поэтому ребята выложили запись выступления.

Я был среди тех, кому место не досталось, поэтому посмотрел запись и сделал заметки.

Анкетирование и интервью помогает в поиске гипотез. Сейчас в беклоге сто гипотез.

Автор гипотеза обычно очень в ней уверен. В среднем на 8 из 10. По факту выстреливает только одна из десяти. Чтобы проверить реальность идеи, проводят коридорные тесты и опросы людей. К методам опросов следует подходить внимательно — если сделать неправильно, можно внести в результаты искажения.

Все крупные изменения на десятки процентов были раньше. Сейчас идёт бой за очень маленькие изменения.

Чтобы добиться статистической значимости в таких изменениях, нужно много трафика. Поэтому если ты не Яндекс, можно успеть за месяц проверить две гипотезы. И желательно быть в них уверенными.

Надо понимать что изменения может занять недели и месяцы работы команды. Потому каждую гипотезу хорошо бы проверить до этого всеми возможными способами, чтобы повысить уверенность (confidence).

Стоимость гипотезы может достигать миллион(ы?) рублей. Поэтому лучше не мелочиться с изменениями — не менять шрифт и его размер, не двигать блоки туда-сюда.

Изменения дальше второго экрана вообще не трогают. Туда большая часть пользователей не долистывает.

Опережающая метрика. У Фейсбука это 7 друзей за 10 дней для новых клиентов.
У Скайенг это вторая продажа. Они играют вдолгую и главная метрика это LTV. Ученик должен много вкладывать усилий в обучение иначе быстро забьёт. Вторая продажа лучше других метрик коррелирует с LTV. Поэтому все тексты меряют до второй продажи.

Если тест не подтвердил гипотезу это хороший повод провести анализ как к ней пришли. Почему ее не отменили раньше. Это помогает с анализом будущих гипотез.

Любую гипотезу можно очень грубо прикинуть на коленке. Какой охват, какая конверсия, сколько займет разработка и какие будут расходы. Сравнить предполагаемую выручку и затраты. Иногда разница на порядок даже после простых расчётов. Например, как было с разработкой механики классного репоста в соцсети.

Есть база на 100к человек. Как активировать? Рассылка? Если посчитать открытие на холодной, то цифры не сойдутся. А если позвонить, то конверсия точно будет выше. и стоить будет не сильно больше. Вывод: иногда стоит сменить инструмент.

Большая ошибка не учитывать в расчетах похолодание трафика.

Ухудшающий эксперимент, чтобы изменить горячий трафик. Волатильность трафика. Горячий, теплый и холодный. Если на странице вообще не будет ничего стимулирующего к покупке, то сколько людей заполнят заявку?

Оффтоп: в Skyeng машинное обучение советует кому и когда звонить. В разработке маски и улучшатель голоса для учителей. В будущем общаться будет уже неотличимая от человека машина.

Вопросы из зала.