2 posts tagged

аналитика

Доклад Светланы Аюповой из Skyeng про А/Б тесты

В IT-Agency прошла «стратегическая пицца» — мероприятие, где собираются люди послушать доклад и потом обсудить его за пиццей и вином. На доклад о сплит-тестах заявок было большое, чем мест в зале, поэтому ребята выложили запись выступления.

Я был среди тех, кому место не досталось, поэтому посмотрел запись и сделал заметки.

Светлана Аюпова из Skyeng на стратпицце в IT-Agency 12 сентября 2019

Анкетирование и интервью помогает в поиске гипотез. Сейчас в беклоге сто гипотез.

Автор гипотеза обычно очень в ней уверен. В среднем на 8 из 10. По факту выстреливает только одна из десяти. Чтобы проверить реальность идеи, проводят коридорные тесты и опросы людей. К методам опросов следует подходить внимательно — если сделать неправильно, можно внести в результаты искажения.

Все крупные изменения на десятки процентов были раньше. Сейчас идёт бой за очень маленькие изменения.

Чтобы добиться статистической значимости в таких изменениях, нужно много трафика. Поэтому если ты не Яндекс, можно успеть за месяц проверить две гипотезы. И желательно быть в них уверенными.

Надо понимать что изменения может занять недели и месяцы работы команды. Потому каждую гипотезу хорошо бы проверить до этого всеми возможными способами, чтобы повысить уверенность (confidence).

Стоимость гипотезы может достигать миллион(ы?) рублей. Поэтому лучше не мелочиться с изменениями — не менять шрифт и его размер, не двигать блоки туда-сюда.

Изменения дальше второго экрана вообще не трогают. Туда большая часть пользователей не долистывает.

Опережающая метрика. У Фейсбука это 7 друзей за 10 дней для новых клиентов.
У Скайенг это вторая продажа. Они играют вдолгую и главная метрика это LTV. Ученик должен много вкладывать усилий в обучение иначе быстро забьёт. Вторая продажа лучше других метрик коррелирует с LTV. Поэтому все тексты меряют до второй продажи.

Если тест не подтвердил гипотезу это хороший повод провести анализ как к ней пришли. Почему ее не отменили раньше. Это помогает с анализом будущих гипотез.

Любую гипотезу можно очень грубо прикинуть на коленке. Какой охват, какая конверсия, сколько займет разработка и какие будут расходы. Сравнить предполагаемую выручку и затраты. Иногда разница на порядок даже после простых расчётов. Например, как было с разработкой механики классного репоста в соцсети.

Есть база на 100к человек. Как активировать? Рассылка? Если посчитать открытие на холодной, то цифры не сойдутся. А если позвонить, то конверсия точно будет выше. и стоить будет не сильно больше. Вывод: иногда стоит сменить инструмент.

Большая ошибка не учитывать в расчетах похолодание трафика.

Ухудшающий эксперимент, чтобы изменить горячий трафик. Волатильность трафика. Горячий, теплый и холодный. Если на странице вообще не будет ничего стимулирующего к покупке, то сколько людей заполнят заявку?

Оффтоп: в Skyeng машинное обучение советует кому и когда звонить. В разработке маски и улучшатель голоса для учителей. В будущем общаться будет уже неотличимая от человека машина.

Вопросы из зала.

 3   1 mon   IT-Agency   Skyeng   аналитика

Экстраполяция данных

На уроках по аналитике рассказали о методе прогнозирования — экстраполяции данных.

Когда запускаешь новый канал рекламы и по плану он окупается за год. Но окупится он или нет надо знать сейчас. Иначе есть шанс целый год платить за убыточный канал.

Экстраполяция позволяет делать выводы на основе данных за прошлые периоды. Берем данные , которым уже больше года. Сравниваем два показателя: за неделю и за год. Строим формулу и получаем результат с некоторой точностью.

Например, каналы с показателем за первую неделю в 6% за год не окупаются. А вот в 8% — окупаются.

На основе этих результатов уже можно с некоторой вероятностью прогнозировать окупаемость новых каналов через год по данным за первую неделю.

 1   2017   аналитика   школа менеджеров