…или как я нашёл пользователя по данным фитнес-трекера

В январе 2020 я активно искал работу по новой специальности аналитика данных, которую не за долго до этого получил в Яндекс.Практикуме. Среди ~30 компаний, с кем мне пришлось пообщаться в процессе поиска работы, больше всего мне запомнились Welltory.

Welltory делают мобильное приложение, где с помощью камеры можно измерить вариабельность сердечного ритма. Это небольшие изменения временно́го интервала между соседними сердечными сокращениями. На основе этих данных приложение делаeт выводы об общем самочувствии.

Ребята искали нового сотрудника, кто бы помог работать с данными. Для начала нужно было выполнить тестовое задание: проанализировать данные по количеству пройденных шагов одного пользователя.

Рассказажу про одну особенность задания — как я вышел на конкретного пользователя, с чьего трекера были выгружены эти данные. Эта история до сих пор греет меня каждый раз когда её вспоминаю.

По результатам этого тестового меня выбрали для «следующего тура» среди «гораздо больше 100»© соискателей. Не знаю, за счёт ли самого́ анализа или за моё «открытие» или ещё почему-то: предположу, что за совокупность факторов.

Анализ

В качестве тестового задания дали выгрузку с фитнес-трекера одного пользователя и надо было разметить дни как обычные и необычные (выше или ниже нормы). В признаках ничего необычного: начало и конец «сессии», ID пользователя и, собственно, количество шагов. Время дополнительно дублировалось в едином часовом поясе.

Поскольку данные по шагам были разбиты по «сессиям», надо было их сагригировать по дням. Дело нехитрое: просто взять сумму шагов за каждый день.

Но что делать с колонкой с часовым поясом? не складывать же их так же по дням. Я решил проверить, в какие дни часовой пояс отличался от предыдущего дня. Получилась четыре таких дня: один день 29 июня и недельная поездка с 1 по 7 июля. И это показалось мне очень интересным.

Цепочка умозаключений

Welltory скорее всего предоставили реальные данные — ведь зачем париться и синтезировать стерильные данные. Хорошо бы взять реальные, чтобы в них действительно что-то можно было бы найти.

Раз данные реальные, значит — и человек реальный. Но персональные данные — дело щепетильное; нельзя просто так раздавать данные клиентов. Проще взять данные одного из сотрудников.

И часовой пояс подходит: как раз в Питере есть офис компании, значит, там живёт сколько-то сотрудников. Шанс повышается.

Как можно это подтвердить? Скольких сотрудников надо «проверить»?

Я не какой-то там частный детектив из фильма — я не умею находить людей по фото или работодателю. Из Welltory я знал только тех, кто был связан с тестовым заданием:

1. Павел Правдин, на Твитер которого была ссылка в вакансии.
2. Евгения Смородникова, кому надо было прислать результат тестового.

Повезло, что Евгения активно ведёт Фейсбук. Зашёл на её страницу и просто отмотал на период предполагаемой поездки — и вуаля! — там был пост про поездку в Хельсинки.

В том же фесбуке можно найти подсказки по названию файлов и личных качествах

Всё сошлось: поездка из московского часового пояса на один часовой пояс на запад. Ха! Почувствовал себя настоящим data-детективом.

Сопроводительное письмо

Итоги анализа надо было оформить в удобном виде. Так, чтобы заинтересовать человека на той стороне, чтобы ему было интересно продолжить разговор. Поскольку результат тестового надо было отправить в Телеграм, пришлось оформить всё в виде отдельных сообщений.

Потратил какое-то время, формулирую и отсылая сообщения самому себе, чтобы представить, как их будут читать. Важное вперёд, повыше; последний график и кратко вывод достать из тетради и поставить прямо тут.

в черновиках Телеграма подбираю нужные слова и их порядок

В конце добавить «вишенку»: почему именно я — в моём случае это тяга к quantified-self. К тому же не за долго до этого слушал подкаст с Евгенией и даже сделал конспект.

кстати, ещё слушал подкасты с одним из фаундеров; очень понравилось и это послужило ещё один фактором, почему я захотел там работать.

Нежданчик в конце

Свой отточенный отчёт по тестовому я отправил вечером. На следующее утро в 06:02 (!) пишет Евгения «ну нифига себе» (!!) первым (!!!) же сообщением, чем сражу неимоверно располагает к себе.

Она сходу указывает на недостаток моей работы — решение не будет адаптироваться, если данных будет больше, ведь я размечал кластеры вручную. Но тем не менее, они хотели бы со мной поговорить. Прохожу, так сказать, в следующий тур.

Мне уже приходилось назначать такие встречи с другими компаниями. По отлаженному сценарию я предлагаю на выбор несколько дней на предстоящей неделе, в каждом дне несколько удобных мне часов. Всё, чтобы им было удобнее найти подходящее для себя время.

Ответ Евгении меня удивил: «а можешь вот прямо сейчас?» — то есть полседьмого утра :-) вот это скорость! Вот что значит, общаться с небольшим продвинутым стартапом, а не огромной корпорацией. Как будет «бюрократия» наоборот?

Финальные титры

Саша прошёл собеседование — много волновался, каждое предложение из него вытаскивали клещами с нескольких попыток, но всё же минут за 30 он смог назвать все необходимые термины и рассказать порядок применения статистических критерирев. Потом, правда, интервьюер подвёл итог беседы и повторил всю логическую без запинок: у него на это ушло 30 секунд :-)

После собеседования был второй тур. Там был датасет покруче. Одних только признаков — 45. У меня ушёл день только на то, чтобы это переварить. А поскольку, у меня нигде не появилось значка «proud junior data engineer at Welltory», можно сделать вывод, что дальше второго тура я не прошёл.

По результатам ребята дали подробную обратную связь: сильные стороны и что ещё подкачать. Отдаю честь ребятам — обратная связь была открытой, полной и оперативной. До сих пор это был самый приятный опыт общения с другой компанией.

Выводы, которые я сделал для себя

1. Незначительная второстепенная деталь может вывести на интересные выводы.
2. Данные для анализа не ограничиваются датасетом, который тебе прислали.
3. Хорошие компании и приятные люди существуют, надо только их найти.

P.S.: работу в итоге нашёл: в роли единственного дата-инженера в небольшой компании пишу ETL-пайплайны на Python.

==[====>

больше такого — в моём Телеграм-канале data будни

Обычно затрачиваемые усилия коррелируют с результатом: чем больше усилий — больше результат. Но между усилиями и результатом есть ещё несколько элементов, которые при тех же усилиях могут кратно влиять на результат.

На типовой приборной панели автомобиля есть две круглых шкалы: тахометр и спидометр. Первый частоту вращения двигателя — прикладываемые автомобилем усилия; второй — скорость автомобиля или результат этих усилий. Например, при скорости вращения двигателя в 2000 оборотов в минуту скорость автомобиля может быть как 10 километров в час, так и 110! Всё зависит от выбранной передачи в коробке передач.

Приземлю метафору:

Вот есть токарь из Екатеринбурга. Он отучился по профессии и с тех пор по ней 40 лет работает. Не халявит. И честно зарабатывает свои 40 000 рублей.

А есть программист из Москвы. Тоже учился по специальности и честно работает. Потом замутил стартап и получил свои миллионы денег.

И токарь, и программист работали честно и усердно. Но их усилия дали разный результат. Так же, как и разная скорость машины при одинаковых оборотах двигателя. Видимо, в обычной жизни между усилиями и результатами тоже есть какая-то «коробка передач».

* * *

Рассуждения после просмотра фильма Юрия Дудя про Кремниевую долину. Место, где c 1849 года культивировалась особая атмосфера активности и предпринимательства, что у каждого водителя такси есть свой стартап или хотя бы идея для него.

В фильме Юрий говорит с людьми, которые специально приезжают в долину, чтобы использовать её как рычаг для получения бо́льших результатов. Те же усилия, но в другом месте, приносят кратно бо́лший результат.

Это как один из примеров «коробки передач». Бывают и другие.

* * *

UPD: брат тоже думал в эту сторону и додумал даже дальше.

его комментарий в Фейсбуке.

В декабре 2019 закончил курс «Аналитик данных» в Яндекс.Практикуме; делюсь впечатлениями и результатами.

Вводный курс начал в марте, закончил — в мае, аккурат к дедлайну на первый набор. 27 июня начались занятия по основному курсу, а 21 декабря был дедлайн к финальному проекту. Между этим было 13 двухнедельных спринтов и двое каникул по одной неделе.

После первого модуля писал небольшой отчёт.

Начало: прошлый опыт и цель учёбы

До Практикума я почти не писал код. Проходил начальные курсы по HTML, CSS и даже JavaScript, но дальше базовых вещей никогда не доходил. Никак не мог перейти от теории в учебнике к практике в реальном мире. Энтузиазм от первых успехов быстро проходил и при первых трудностях я бросал курсы.

Для прохождения Практикума оказалось достаточным вводный курс по Python в его первом «спринте».

Поскольку у меня в середине вводного курса Практикума образовалась пауза на месяц, то пришлось воспользоваться другим курсом, чтобы пройти этот курс до конца: первые уроки уже совсем забылись. Для этого я за оплатил месяц премиума на CodeCademy и прошёл там вводный курс по Data Science. Премиум нужен для доступа к практическим заданиям, теорию можно изучить и на бесплатной версии.

Кроме того, месячный «курс» на CodeCademy я использовал как тестовый вариант Практикума: если вдруг через две недели Python бы наскучил, то я бы сэкономил 60 000 ₽ на Практикуме... но не наскучил :-)

Целью учёбы я ставил смену профессии и отрасли — «войти в айти», как говорят в интернетах.

«Нужно бежать со всех ног, чтобы только оставаться на месте, а чтобы куда-то попасть, надо бежать как минимум вдвое быстрее!»

Мне было не интересно «бежать» в отрасли логистики — я пробовал читать статьи или учебники и даже прошёл один курс для повышения квалификации. Понял, что это вообще не моё и мне совершенно не интересно развиваться в этой профессии. А без этой мотивации не будет развития. И тогда в свои 35-40 лет я буду заниматься тем же самым, чем и в 25; и на том же общем уровне развития.

Как проходит учёба в Практикуме

Весь курс разделён на двухнедельные спринты: неделя на теорию и неделя на практику.

На первой неделе в понедельник в 10 утра открывается «теория»: текстовые лекции с иллюстрациями в кабинете Практикума и там же онлайн-тренажёр для кода. В конце темы — список дополнительных статей почитать.

кусочек «теории» из спринтов про бизнес-показатели и машинное обучение

В четверг той же недели открывается «пркактика» — блок с встроенной в кабинет Jupyter тетрадью. Там один или несколько файлов csv с данными и задание. Задание разбито на блоки: проверь доступные данные, приведи к нужными форматам, проверь на аномалии и пропуски, и ответь на 10 вопросов.

По ходу выполнения заданий обычно возникает много вопросов: от банального использования функций до багов в тренажёре. Со всем этим мы шли в Slack. Там нас ждали кураторы, наставники и готовили свои жилетки работники деканата сотрудницы Практикума.

В конце каждого спринта конспект курса в pdf.

Мне сильно помогал конспект всех занятий: пока слушаешь вроде всё понятно, а как надо написать функцию — так сразу пустота в голове. Так что практику я делал по своим записям после курса теории.

Работа с кураторами и наставниками

Есть преподаватель — один на поток (нас было ~60 человек). Он дежурил в Слаке и в рабочие часы обычно отвечал в считанные минуты (если, конечно, не забывали его @тегнуть). Его можно было спросить как правильно вывести график в matplotlib в нужном виде, как работает какая-то функция или почему не стоит применять критерий Стьюдента к ненормально распределённым данным.

На последний вопрос он на следующий день подготовил мини-доклад и всё подробно расписал.

У нас куратором был Вячеслав Зотов и в конце мы даже шутили, что это какая-то искусственная нейросеть — настолько он быстро и регулярно отвечал на все запросы.

типичная студенческая активность в Слаке

Ещё есть наставники — их назначали одного на группы по ~10 студентов на каждый модуль плюс отдельный на выпускной проект. Получилось, что за всё время учёбы у меня было четыре наставника.

Наставник проверял практические задания и оставлял персональные комментарии к каждой работе. Если что-то по заданию непонятно, наставника можно было поймать в личке в том же Слаке.
Наставников спрашивал что-то по проекту. Какие пропуски в данных следует заполнить (и как), а какие — удалить. В каком порядке обрабатывать результаты А/Б тестов. Наставник прямо в коде мог посоветовать обернуть кусок кода в отдельную функцию, скинуть ссылку на пример крутого кода или полезного графика. И поддержать морально, похвалить за достижения!

комментариии наставников в Jupyter тетрадях

Наставники не дежурили в Слаке и отвечали обычно в течение дня. По личным ощущениям, в среднем это было раз в день: утром до работы или вечером после. Старался не пропускать эти «сеансы связи»: показывать текущий прогресс задач и получать обратную связь.

И ещё, конечно же, команда проекта — это гуру эмпатии и переговоров. Некоторые задания давались труднее других, у всех есть другие дела помимо курса, и поэтому эмоции накалялись. И тут приходит Марина Левушкина и каким-то магическим образом снимает все заботы и волнения. Всё снова хорошо и можно продолжать учиться.

На выпускном ребята рассказывали, что кто-то даже хотел уходить с курса из-за сложности или отставания, но команда всегда помогала.

Консультации

В посте с отчётем за первый модуль я рассказывал, как происходили консультации и показывал, как выглядела обычная.

В ноябре 2019 года Практикум поменял подход: вместо одной консультации раз в две недели, стало по несколько каждую неделю.

Раньше наставник собирал консультацию для своей мини-группы, где проходил по темам спринта и отвечал на вопросы. Теперь консультацию смогли вести все: наставники, кураторы, а также приглашённые гуру аналитики и другие хорошие специалисты (например, HR).

Расписание и темы консультаций объявлялись заранее и можно было составить себе график по вкусу. Записи консультаций доступны.

темы консультаций за ноябрь

Комьюнити

На Практикуме собрались классные ребята: все разные, но со схожими ценностями. У всех одна цель — научиться новому. Они понимают ценность дополнительного образования и готовы тратить на него деньги и свободное время (!).

Новые крутые знакомства — это отдельный большой плюс Практикума.

Ребята всегда помогали советом: как пройти бездушную машину онлайн-тренажёра, что ещё интересного почитать по теме, кто какие курсы проходил. Ещё вместе веселее ходить на митапы по А/Б тестам.

обмениваемся впечатлениями от только что закончившийся учёбы

Последние «новости» в Телеграме и Фейсбуке

ещё посты по теме:

• Почему анализ данных, а не Data Science

В докладе Дима рассказывает, что узнал за 10 лет изучения работы мозга и его влиянии на наше мышление, привычки и поведение.

В начале коротко о базовых вещах:

1. Состояние потока и его научное обоснование на примере музыкантов. Успешные музыканты играют в состоянии потока; и, соответственно, кайфуют от самого процесса.
2. Если разрезать человеческий мозг, можно проследить его эволюцию: в самом центре ствол и «мозг рептилии», а вокруг уже более современная часть — неокортекс.

Основная часть — про мотивацию.

Дима рекомендует осознать и составить список вещей, на которые мозг тратит энергию и те, которые дают эту энергию.

Примеры того, что забирает энергию:

• зарытые эмоции (как давно открытые процессы в винде)
• переживание насчёт правильности целей
• непрощение и вина
• вредные привычки
• негативное восприятие
• принятие решений

Мы все привыкли жить через внешнюю мотивацию: двойки и пятёрки в школе, повышение и штрафа на работе. Никто не учит находить внутреннюю мотивацию.

Мозг легко обучается видеть паттерны за сравнительно малые периоды времени. (отсылка к исследованию, где люди много играли в Тетрис и уже через пару недель в окружающем мире видели эти фигурки).

Ещё одна особенность мозга: он гораздо лучше замечает плохое в окружающем мире.

И этих двух особенностей — легкость обнаружения паттернов и склонность к негативным паттернам — порождает замкнутый цикл. Мозг видит плохое, мы расстраиваемся, мозг ещё больше видит плохого, мы ещё больше расстраиваемся. Это прямой путь к депрессии.

Здесь нужно применить осознанное ментальное усилие, чтобы прервать этот круг. Понять, почему настроение испортилось и попытаться найти в этом позитив. Например, воспринимать не работаюзий лифт как отличный повод для зарядки, а не ещё одну возможность покритиковать ЖЭК, администрацию и правительство.

Отдельный навык — полюбить свою работу. Мозг сам распределяет мощности; и тому, что ему не нравится, он отдаст меньше всего энергии. Поэтому на нелюбимой работе так хочется смотреть видосики и сидеть в Инстаграм.

Четыре шага к перестроению мышления и привычек:

1. Meet yourself — познай себя; что сейчас происходит, почему ты чувствуешь то, что чувствуешь.
2. Rational choice — осознанное решение изменить поведение.
3. Toolkit — выбрать подходящий инструмент для изменения.
4. Mental practice — применить инструмент и отслеживать результат. При необходимости повторить с начала.

Новое дело начинать лучше на внешней мотивации. Но она быстро иссякает, поэтому продолжать лучше на внутренней мотивации. То есть учиться получать кайф от самого процесса, а не стремиться к какой-то цели (тем более, если она в далёком будущем).