Rose debug info
---------------

Later Ctrl + ↑

Книга Элиезера Юдковского «Гарри Поттер и методы рационального мышления»

«Гарри Поттер и методы рационального мышления» — фанфик по вымышленной вселенной Джоан Роулинг, написанный специалистом по искусственному интеллекту Элиезером Юдковским. Автор публиковал главы по мере готовности с 2010 по 2015 год. На русский язык переводили поклонники-энтузиасты.

Сюжет покрывает первый год обучения Гарри Поттера в школе чародейства и волшебства Хогвартс и опирается на события из оригинальных книг. Расхождение с оригиналом заложено ещё в предыстории: приёмная мать главного героя, Петуния Эванс, выходит замуж за университетского профессора, в результате чего Гарри растёт в любящей семье и получает хорошее образование. К началу событий фанфика главный герой владеет методами научного познания мира и готов критически оценивать происходящие события.
Википедия

Сайт перевода https://hpmor.ru/ — со ссылками на электронную книгу в разных форматах, аудиокнигу и рассказ о процессе перевода книги на русский. Я читал книгу на Bookmate.

Удивительная книга. 10 из 10.

Получилось такое введение в рациональность и пособие по её применению в ежедневных мирских делах. Гарри сталкивается с новым и ко всему подходит критчески: ничему не верит на слово и всё проверяет. И автор приводит рассуждения героя шаг за шагом, чтобы читатель мог понять принципы, лежащие в основе принимаемых решений.

С художественной стороны книга тоже получилась отлично: сражения армий учеников, Азкабан, инциденты в школе — эти сцены читаются на одном дыхании и мне буквально приходилось делать усилие, чтобы отложить книгу.

Далее несколько разрозненных цитат с моими впечатлениями. В конце — список литературы.

* * *

Хотя в этой версии вселенно Гарри жил в любящей семье, Дамблдор говорит ему, что ощущение, как будто он «вырос в маленькой каморке под лестницей». На что Гарри замечает, что действительно чувствует себя одиноко в мире, где никто не понимает рацинональсти и не осознаёт всех опасностей не-рациональности.

подобно Гарри Поттеру ощущаю одиночество и массовое непонимание вокруг

* * *

полное рациональное разбитие расизма и ксенофобии:

«…представь что мы полетели в космос и встретили инопланетян, которые произошли от кристаллов. Они вообще не отличат двух людей друг от друга»

и действительно с этой точки зрения любые возможные различия между людьми кажутся совершенно несущественными по сравнению с какими-нибудь разумными кристаллами.

* * *

Положительная обратная связь для одаренных учеников: стоит в начале чуть выделиться и тебе оказывают внимание — менторы дают полезные советы, передают мощные артефакты. Это помогает добаваться ещё бо́льших упехов и подкрепляется репутация одарённого ученика, что привлекает новых мудрых советчиков и более мощные артефакты…

* * *

неприятие смерти и желание жить вечно:

  • «…я не хочу умирать сегодня, а завтра будет такой же день; значит, по простому закону логики я хочу жить вечно…»
  • «…представь что было бы люди, которые не умирали; и вот ты к ним приходишь и расписываешь прелести смерти и рассказываешь как много они упускают…»

* * *

трансгуманистические ценности: любая жизнь ценнее всего и как следствие тотальное неприятие Азкабана как пыточной по своей сути.

* * *

Подавляющее большинство магов не понимает магию, не хочет разбираться в ней. Кажется, что в среднем они ограничиваются 1% от всех возможностей. Люди типа авроров доходят процентов до пяти и оттого «обычным» магам кажутся супер-магами. Но если покопаться в предмете поглубже и получается Дамблор… или Волдеморт.

(У меня такое ощущение сложилось от этой книги и темы рациональности в целом: читаю про методы рационального мышления и ощущение, как будто читаю свитки с древней мудростью — вот где действительная сила, вот как работает мир.)

* * *

Чтобы узнать новое, надо много путешествовать. Что тут данность, там будет по-другому; а тамошние базовые штуки могут быть из ряда вон.

* * *

Интересно, как Гарри использовал байесовкие методы для расчёта вероятности возвращения к жизни Волдеморта с использованием априрной вероятности.

* * *

«Вокруг все сумасшедшие. Ты уже это понял и пути назад нет»

* * *

Порадовала отсылка к Эндрю Виггинзу из книги «Игра Эндера» Орсона Скотта Карда. Ждал её с самого начала темы с Гарри в роле генерала армии — уж слишком много совпадений; и дождался! Первая отсылка была неявная: когда в битве в озере (та же невосомость, ага) Гарри выстраивал свой Легион специальным образом. Во второй раз Гарри и его отец уже напрямую брали метафоры из книги, упоминая и названия, и имя главного героя.

* * *

Ещё нельзя не отметить Дамблдора, цитирующего «Властелина колец».

* * *

Список литературы

Книги, на которые Гарри Поттер опирается, принятии решений (те, которые я опознал):

Если интересно дальше копать в тему рациональности, на сайте сообщества рационалистов есть продвинутый список литературы.

Другие посты по теме рациональности:

Обучение на синтетических данных

Чтобы автомобили научились управлять сами собой, алгоритмы автопилотов обучают на видео, как ездят обычные водители. Таких видео надо очень много и они должны быть «размечены»: там должны быть отмечены и подписаны все важные элементы.

Эти обучающие видео можно брать с настоящих машин, но это долго и дорого. Умные ребята смекнули и сгенерировали такие видео прямо из компьютера: взяли условный Need for Speed и послали накатывать часы по условному Сан-Франциско. Получились синтетические данные, пригодные для обучения настоящих автопилотов.

Когда читал «Гарри Поттер и методы рационального мышления» Юдковского
подумал, что мы учимся точно так же: вместо того, чтобы самим строить лунные фермы и спасать страну от белых ходоков, мы читаем про то как вымышленные герои ведут себя в разных условиях. Те же синтетические данные, пригодные для обучения и применения навыков в реальном мире.

Только пример одиннадцатилетнего Гарри Поттера, дающего советы зрелому Северусу Снейпу по поводу отношения с девушками, показывает, что всё-таки «на практике есть разница между теорией и практикой».

2021  

книга «Принцип ставок», Энни Дьюк

прочитал книгу про то как чемпионы покера принимают решения и, кажется, это лучшая книга после «Thinking Fast and Slow» Канемана-Тверски.

Почему?

Во-первых, покер — это идеальная среда для тренировки принятия решений. Ты делаешь ставку и сразу получаешь обратную связь: ты забрал банк или проиграл свои фишки. Плюс там присутствует элемент случайности, нельзя просто выучить стопицот комбинаций, как шахматах.

Во-вторых, автор проделала большую работу: как над своим навыком принятия решений, так и над книгой. В книге присутствует большой список литературы (я не считал, но по ощущениям там пара сотен книг и статей — ниже приведу несколько знакомых имён оттуда).

Судя по тексту, Энни не просто прочитала источники, но лично разговаривала со многими их авторами и обсуждала свои тезисы.

подробный конспект, как всегда, есть на сайте Багузина. Можно ознакомиться с основными тезисами. Но книга небольшая и можно прочитать её полностью.

чаще всего теперь думаю о «группах поиска истины» (глава 5): чтобы оттачивать навык принятия решений, Энни обсуждала сыгранные руки с коллегами по покеру.

в этой группе применяются стандарт деятельности научного сообщества, разработанный Робертом Метроном:

  • коммунизм (данные принадлежат группе; не имеет никакого отношения к общественному строю);
  • универсализм (единые требования к утверждениям и аргументам, независимо от их источника);
  • беспристрастность или бескорыстие (бдительность в отношении потенциальных конфликтов интересов, которые могут повлиять на оценки);
  • организованный скептицизм (поощрение дискуссионной активности).

а принцип мысленного путешествия во времени уже даже применял несколько раз — сам думал о чём-то таком, а теперь нашёл хорошо сформулированный принцип.

Бизнес-журналист и писатель Сюзи Уэлч разработала так называемый метод 10-10-10, который помогает привлекать нас-в-будущем к принятию текущих решений. Для этого нужно задать себе вопросы: «Каковы будут последствия решения через десять минут? Через десять месяцев? Через десять лет?»

несколько имён из огромного списка литературы:

  • Дэн Арейли
  • Йоги Берра
  • Роберт Чалдини
  • Рей Дало
  • Ричард Докинз
  • Чарльз Дахигг
  • Ричард Фейнман
  • Малькольм Гладвелл
  • Даниель Канеман и Амос Тверски
  • Насим Талеб
  • Джон Фон Нейнманн
2020   книги

Ротация книжных жанров

раньше читал только «полезные» книги: например, книги по менеджементу, переговорам и всяким когнитивных наукам. Я считал, что жизнь слишком коротка, чтобы «читать придуманные кем-то сказки».

Столько всего «надо было» прочитать: лист чтения был года на два.

Потом заметил, что чтение как-то не заладилось: надо было сделать усилие над собой, чтобы открыть очередную умную книгу. Ведь должно совпасть много условий: ведь надо не просто почитать, а подумать над этим, а ещё записать и сделать конспект.

Чаще всего книга так и оставалась закрытой и я шёл читать ещё один канальчик в телеге)

Заметив такое поведение, я попробовал другой подход: разрешил себе не быть типа таким умным и потратить какое-то время на художественную литературу. Всё-таки читать книги чуток полезнее, чем сто каналов в телеграме.

Удивился, насколько быстро пролетела целая книга, а за ней и два продолжения: до этого уходило два месяца на нонфикшн и всего четыре дня на художку.

Кажется, это потому что художку удобно читать в любой момент: есть свободная минутка — достал телефон, открыл приложение и читаешь. Хоть 1.5 минуты, хоть час. Никаких особых приготовлений, сюжет течёт сам собой, когнитивных усилий особо не требует.

А после этого, кстати, появились силы дочитать брошенный на половине нонфикшн. Теперь стараюсь чередовать жанры литературы и по очереди читать книги для работы, для семьи и для себя.

Получился такой список:

[для работы] «кому нужна математика?» один месяц
[для работы] «Удовольствие от Х» один месяц
[для работы] «Moneyball» — 50% ← здесь случился сбой
[для себя] «Задача трёх тел» 4 дня (!)
[для работы] «Moneyball» — 50% ← таки дочитал и даже сделал конспект
[для себя] «Задача трёх тел 2» неделя
[для себя] «Задача трёх тел 3» неделя
[для семьи] «азбука НО» — 30%
[для семьи] «Секреты спокойствия ленивой мамы» две недели
[для себя] «Просто Маса» неделя
[для работы] «Принцип ставок» месяц
[для себя] «Гипперион» ← сейчас я здесь

Получается, что художка пролетает где-то за неделю, а на нонфикшн уходит в среднем месяц.

Ещё заметил, что когда за «умной» книжкой следует что-то попроще, то мысли из умной успевают уложится и обдуматься в голове. А, если повезёт, ещё и конспект напишется :-)

2020   книги

Data Engineering в Яндекс Такси

посмотрел запись доклада Евгения Ермакова —архитектора Data Management Platform Яндекс. Делюсь заметками и слайдами.

Ссылка на видео и презентацию на сайте митапа

Хранилище данных разделено на слои:

  1. RAW — собрать всё, что даёт источник. Система сбора автоматизирована и нечувствительная к изменению доступных полей (кроме первичных ключей)
  2. ODS — стандартизировать, привести к единому формату
  3. DDS — сохранить и версионировать данные
  4. CDM — предоставить доступы, витрины данных, оптимизация доступа (вход в данные для аналитиков)
  5. REP — проанализировать; отчётные срезы.

(аббревиатуры, кроме разве что RAW, списываю без понимания смысла ¯\_(ツ)_/¯ надо будет загуглить)

Подходы к проектированию:

  1. Никакого — полная денормализация; неустойчиво к изменению.
  2. Звезда и снежинка — нормализация; неудобно перестраивать
  3. Data Vault — строгая нормализация
  4. Anchor modeling — ультра нормализация (прим. как в Авито)

люди и роли

между «бизнесом» и дата инженером есть «партнёр по данным» — по сути это проджект менеджер, который переводит с языка бизнеса на язык даных. А «под» дата инженером (ближе к ядру данных) есть разработчик платформы. Над всем этим стоит Архитектор — в данном случае это Евгений Ермаков.

Всё автоматизируется

(Особенно мне сложно представить сбор данных, нечувствительный к изменению полей и последующий разбор этих [нестабильных] полей по объектам внутреннего хранилища)

Любой менеджер в Яндексе должен уметь «программировать» — при необходимости залезьть под капот и понять что там происходит.

Итоговая система работы с данными в Такси:

Практика — приложение для медитации

Последние два года стараюсь медитировать каждый день. Начинал с Headspace и трёхминутных подходов; сейчас сижу по 15 минут.

Когда пропускаю день, то прям чувствуется, что не хватает какого-то спокойствия: так и тянет просто посидеть с закрытыми глазами.

Успел попробовать разные приложения — Headspace, Waking Up, 10% Happier — каждое чем-то привлекало в своё время. Может быть своей новизной: хотелось просто поменять голос в наушниках :-)

Из поста Димы Черненькова узнал о «Практике». Почти прошёл там базовый курс — и пока всё нравится. У автора приятный голос и он умеет говорить неспешно и без напряга.

Рекомендую и приложение, и канал Димы.

Можно ли учиться в рабочее время?

Когда пришёл на новую работу, смотрел туториалы, чтобы погрузиться в стэк технологий. И всё время боялся, что начальник спалит, что я вместо РАБОТЫ занимаюсь не пойми чем.

И, в целом, есть какое-то внутреннее ощущение, что на работе надо работать: например, писать код или хотя бы отчёты. А почитать профильные статейки или (о, ужас!) книгу — это уже в какое-то другое время.

С другой стороны, полученные знания я применяю для той самой работы
чтобы делать её быстрее и лучше — всеобщий профит очевиден.

Я задумался, как найти баланс и спросил совета Фёдора Борщёва: он не дал священного, единственного верного ответа, а поделился своим опытом и мыслями.

2020   подход

Устал сбрасывать спам-звонки — перевёл телефон в круглосуточный режим «не беспокоить»

Работа требует сосредоточенности: надо сесть, вникнуть в вопрос, придумать решение и реализовать его. Это всё требует времени — и не просто обрезков, а прямо какого-то достаточного непрерывного отрезка.

Любой звонок вытаскивает из рабочего состояния: «алло? Нет. Нет, спасибо. Не интересно. Пожалуйста, больше не звоните». И всё! — контекст задачи потерян, надо начинать заново.

И ничего, если бы звонки были полезные — нет. Кажется, сейчас звонят только банки, интернет провайдеры и телефонные опросы. Все важные вещи решаются в телеграме и слаке; даже в почте остались только рассылки и служебные письма.

Добавлять номера в общий контакт «спам» уже бессмысленно: звонить каждый раз с нового номера — кажется вообще не проблема. Чёрный список уже не работает.

Устал сбрасывать — ведь даже это вытаскивает из потока! — и поставил в телефоне расписание «не беспокоить» с 10:00 до 9:59 каждый день. И теперь звонки не сбивают рабочий процесс. Просто потом видишь пропущенные — всегда ведь можно перезвонить, если что.

2020   подход

Мультидневные таски

Разобрались с приоритетами, начали делать. Хорошо, когда дело небольшое: взял и сделал. Написал письмо, сделал отчёт — поставил галочку.

Сложнее, когда дело большое: когда его нельзя просто сделать. Не получится взять и за один присест стать спортивным или выучить новый язык. Такие дела надо делать больше одного дня — такие мультидневные таски.

Когда сменяется день, память будто обнуляется. Уже на следующий бывает трудно вспомнить, чего я там хотел вчера. Да мало ли чего: новый день сваливает кучу новых привлекательных триггеров. Могут пройти месяцы прежде чем вспомню про своё давнее желание быть спортивнее.

Напоминать себе завтрашнему о сегодняшних планах мне помогают два инструмента:

  1. Повторяющиеся задачи в трекере задач Things. Там на меня вываливается конкретная задача: заполнить форму, открыть сайт с уроком. Важно, чтобы в задаче было сразу всё необходимое — обычно это прям ссылка.
  2. Ежедневный чек лист в обычной Гугл-таблице. Там есть список дел, которые я бы хотел делать почаще: спорт и зарядка, книги и лекции, медитации и антихрупкость. Каждый день я открываю Гугл-таблицу (да, по ссылке из таски в Things) и ставлю галочки напротив совершенных за день активностей.
  1. повторяемая задача в Things со всем необходимым; 2. Ежедневный чеклист со списком на делать
2020   подход

История Яндекса: книга Дмитрия Соколова-Митрича

Мне трудно представить мир без интернета, а интернет — без поиска в нём. И ещё труднее вообразить путь Яндекса как череду удачных решений без чёткого плана.

Яндекс — это стартап; и как многие стартапы он много лет был убыточен и развивался на ивесторские деньги без какой-либо чёткого плана. Чисто на внутреннем понимании, что хороший поиск может кому-то когда-то пригодится.

О книге

Книга разделена на части — хронологические этапы в развитии Яндекса. Между главами привоядтся небольшие интервью с другими известными IT-предпринимателями. Читается легко: нет воды, короткие главы — ничего лишнего.

Если верить Википедии, то идея книги принадлежит самому автору и первый год он собирал материал единолично. После чего отправил его в Яндекс и смог договориться на интервью с руководителями.

CompTek и «Аркадия»

Основа всего — Аркадий Волож. Он умел собрать вокруг себя правильных людей и как-то их организовать. Пришёл в бизнес по разнорядке.

В бизнес Волож попал <…> добровольно-принудительно. В 1988 году в стране по указке сверху началось кооперативное движение. ЦК разослал письма по всем министерствам с рекомендацией к такому-то числу создать кооперативы. В научных учреждениях эту директиву восприняли как неизбежное зло, с которым придется мириться. Разумеется, удовольствие заниматься позорной коммерческой деятельностью досталось самым слабым и беззащитным — молодым сотрудникам, еще не успевшим нагулять «аппаратного веса».

Первая компания — CompTek — торговала компьютерами. Хороший и стабильный бизнес. Не слишком большой, чтобы не привлекать внимание, и достаточно прибыльный, чтобы можно было инвестировать в команду и исследования. Компаньон по бизнесу — американец Роберт Стабблбайн, с которым Аркадий учил английский язык.

—У начальника моего отдела был знакомый, который вывозил тыквенные семечки в арабские страны через Австрию, — вспоминает Волож. — Шли эшелоны с Кубани, австрийцы, обжарив, перепродавали семечки арабам, которые почему-то оказались большими ценителями этого продукта. На вырученную валюту мы там же, в Австрии, закупали компьютеры и обратно эшелонами везли сюда. В России «заряжали» их программным обеспечением — это как раз был мой участок работы — и продавали уже как АРМ, автоматизированные рабочие места. А на вырученные деньги, замыкая цикл, закупали семечки.

— На эти деньги я привез в Россию партию компьютеров и установил их заказчику, — продолжает Роберт Стабблбайн. — Но в программном обеспечении я разбирался плохо, поэтому получилось все ужасно криво. Я обратился за помощью к Аркадию, и он пришел меня спасать как друг и товарищ. Все поправил, и мы поняли, что нужны друг другу. У него тогда уже тоже была фирма «Магистр», которая поставляла тайваньские компьютеры. Мы решили объединить усилия.
Американец хорошо умел продавать, а Аркадий взял на себя техническую сторону дела. Так родилась компания CompTek International, которой было суждено со временем превратиться в колыбель для «Яндекса»

—Те, кто начал с компьютеров, а потом вышли в олигархи, были лет на 5–10 старше нас, мы просто не успели к этому большому пирогу, — снижает градус пафоса сам Волож. — Поэтому мы заняли более высокотехнологичную нишу — не просто коробки продавали, а компьютерные сети под ключ, системные компьютерные решения. К нам даже бандиты не приходили. Они, во-первых, не совсем понимали, чем мы тут занимаемся, а во-вторых, объемы не те, ведь мы не лезли в большую оптовую продажу, мы были для них, что называется, ниже радара

Вторая компания — «Аркадия» — занималась софтом: разрабатывала индексатор больших массивов текста с учётом морфологии русского языка.

— Мы тогда занимались разными проектами. Идея совместить поиск и лингвистику была лишь одной из многих, — говорит Волож. — В то время вообще все занимались всем. Никто тогда не мог даже представить, какая из этих идей окажется более востребованной. Говоря современным языком, мы занимались посевными инвестициями, с той лишь разницей, что сеяли не деньги, а собственные усилия

...Благодаря своей работе в трубопроводном НИИ Аркадий имел представление о примерном круге заказчиков, которые нуждаются в поисковых программах и в состоянии за них платить. Одним из поставщиков данных для отдела автоматизации того самого Трубопроводного института, в котором до 1989 года формально работал Волож, был НИИ патентной информации.
—Они располагались на Раушской набережной, за гостиницей «Балчуг» следующий дом. В какой-то момент этот НИИ стал искать партнера, который смог бы сделать поиск по Международному классификатору изобретений. Это и стало нашим первым заказом. Именно тогда оформилась идея, что можно искать по большим текстам и зарабатывать на этом.
С самого начала конкурентным преимуществом «Аркадии» стало то, что ее поисковый индекс учитывал морфологию русского языка, а не довольствовался англоязычными языковыми конструкциями. Даже будучи в зачаточном состоянии, поисковая машинка будущего «Яндекса» уже соображала, что «пойти» и «пошел» — это одно и то же слово, а наречие «пошло» — вообще другое слово.

Илья Сегалович присоединился к Воложу уже в «Аркадии» на должности обычного программиста:

—В своем советском НИИ я работал «от и до». Приходил в девять, уходил в шесть и никогда не испытывал вот этого ощущения: «Умри, но сделай». Когда я пришел к Аркаше, я вдруг увидел, как можно гореть. Он мгновенно заразил меня. Я не хочу ничего плохого сказать про людей, с которыми я работал в институте, но, видимо, они горели так же в шестидесятые годы, а к моему приходу уже успели погаснуть. А Аркаша просто сидел и вкалывал, он работал не потому, что время рабочее, он работал на результат — хоть до часу ночи, хоть до двух. И я понял: черт подери, вот так надо жить! Я сразу переключился. Это было настолько моим! Я вдруг вспомнил нашу физико-математическую школу — как серьезно мы там ко всему относились. В общем, когда я уходил в «Аркадию», я не столько переходил в другую сферу деятельности, сколько возвращался к самому себе, к тому детскому знанию, что такое правильно.

Клиенты «Аркадии» — большие государственные компании. Продажи представляли собой поездки к клиентам с последующей демонстрацией.

Для «Аркадии» вопрос выживания был философским: за ней стоял набирающий силу CompTek. Впрочем, работать все равно предпочитали так, будто никакого CompTek не было. Весь 91-й и начало 92-го года Аркадий, Татьяна и Илья провели на чемоданах — ныряя из одной командировки в другую.
—Точнее, на процессорах и мониторах, — поправляет «мать» «Яндекса». — Их мы закидывали на третьи полки купе и таким образом объездили почти всю страну. Иногда искали клиентов на выставках, иногда ехали напрямую к крупным заказчикам — таким как АвтоВАЗ или Ижорский завод в Ленинграде. Для нас это было счастливейшее время. Мы любили друг друга, мы понимали друг друга с полуслова, часто спорили так, что искры сыпались, но все равно оставались своими людьми

Пока программу «Аркадии» покупали за бюджетные деньги, всё было хорошо; как только «бюджета» не стало — продажи прекратились, всем стало не до софта. Волож не закрыл компанию, а перевёл её под финансирование CompTek; став своеобразным отделом R&D.

К концу перестройки эта условная финансовая реальность окончательно превратилась в фантасмагорию. Безналичные деньги стали бесконечными, их не было жалко никому — ни заводам, ни научно-исследовательским институтам, ни нарождающимся кооперативам. Именно поэтому первые пару лет «Аркадия» неплохо зарабатывала: «Поисковая программа? Почему бы нет! Берем. Безнал принимаете?»

После всеобщего обвала «Аркадия», конечно, перестала всерьез зарабатывать, но все равно было понятно, что поиск — это та услуга, которая рано или поздно будет востребована. Поэтому было решено посадить «Аркадию» на шею CompTek, сделав ее одним из подразделений более сильного бизнеса.

Наконец стало ясно, что дальше так жить невозможно. Надо было либо закрывать проект, либо браться за него по-настоящему. Волож запросто мог скинуть «Аркадию» как ненужный груз. Это был бы поступок по всем правилам эпохи: пусть выживает сильнейший. Но он не только не закрыл убыточную фирму, а наоборот — поднял сотрудникам зарплаты, взял на работу еще одного человека, переселил всех в новый офис на улице Губкина и запустил проект «Цифровая Библия»

Компьютерный бизнес шёл отлично, компания привлекала инвестиции, а вместе с ними и партнёров. Именно «партнёров», а не «владельцев». Позиция Воложа изначально была оставить контроль над компанией в своих руках. Как показал опыт конкурентов — Рамблера, Апорт и других — это был единственно верный путь развития ИТ-компании.

Первая ошибка, которую сделали почти все, — это продажа контрольного пакета акций. Причем это была ошибка не только продавцов, но и покупателей. Охотничий инстинкт подсказывал неопытным инвесторам, что надо настаивать на полном контроле за покупкой. Но, как показал дальнейший опыт развития отрасли, выиграли как раз те, кто сумел набраться мудрости и оставить управление команде, в которую вложены деньги. Таких оказалось совсем немного. Большинство, поддавшись ажиотажу на рынке доткомов, купили то, в чем сами ничего не понимали, да еще и попытались этими бизнесами рулить. Результат получился примерно такой же, как если бы прекрасного водителя КамАЗа посадили управлять сверхзвуковым лайнером

Яндекс

О названии:

Среди пользователей операционной системы Unix тогда появилась традиция — называть новые продукты через оборот yet another — и далее какое-то слово, характеризующее программу. «Еще один сайт», «еще один переводчик», «еще один инструмент», «еще один индексатор». Yet Another Indexer — именно так можно звать «Яндекс» «по имени-отчеству».
— Когда Илюша подошел к Воложу с очередной идеей, никто даже не обратил внимания, — продолжает вспоминать тот вечер Татьяна Логинова. — Но на этот раз у Аркадия вспыхнули глаза, как это бывает с ним каждый раз, когда у него включается интуиция и он предчувствует что-то очень важное. Увидев первый раз слово Yandex, Волож лишь добавил последний штрих: желая подчеркнуть русское происхождение продукта, он предложил вместо первых двух английских букв поставить одну русскую — так и получился Яndex.

Сейчас сложно предствить интернет без поиска, контекстной рекламы, карт и пробок. Но тогда никто об этом не задумывался. Не было единого плана разработки поисковой машины для интернета. Компания развивалась поэтапно и несколько раз была на грани закрытия.

— Мы вообще на тот момент не собирались сами искать в интернете, мы хотели быть всего лишь технологами, потому что на Западе была такая модель: у вас есть портал, а мы вам дадим поисковый сервис или поможем его усовершенствовать, — говорит Елена Колмановская. — Но в России эта система не сработала. «Рамблер» считал, что ему и без морфологии хорошо. Вот есть AltaVista. «Рамблер» лучше, чем AltaVista? Лучше. Он что-то знал про кодировки, индексировал гораздо грамотнее и не путал русский с болгарским. Да и вообще «Рамблер» считал, что Tор-100 — это более важный продукт, чем поиск

Впервые запуская свою поисковую машину в интернет, никто из ее создателей вовсе не ощущал величия момента. Теперь в это трудно поверить, но сайт Yandex.ru появился вообще не как продукт. Изначально он был просто «демонстрашкой» технологических возможностей поисковой программы для ее потенциальных покупателей. Просто нужно было где-то найти целую кучу информации, гораздо больше, чем Библия, причем в цифровом виде. Где ее взять? А в интернете. Пусть люди заходят на сайт, тестируют программу в сети, радуются, а потом бегут покупать «поисковую приставку» уже для своего сайта

Основа монетизации поиска — продажа баннеров на главной странице сайта. Это было сложно, немасштабируемо и не очень прибыльно.

У нас на тот момент было еще ощущение, что мы пока развиваем технологию, а там видно будет. И вот стали приходить какие-то внешние люди: «Давайте мы разместим рекламу». — «Рекламу?» — «Ну, как же, у вас такой большой сайт, такой известный, 55 тысяч показов страниц в сутки». Ну, мы посидели, подумали и решили, почему бы и не зарабатывать на этом. Но сразу выдвинули два принципа: во-первых, эта реклама должна быть контекстной — то есть соответствовать тематике запроса. А во-вторых, никаких флешей, анимации, самовольного раскрытия баннера на всю страницу — в общем, всего того, что в те времена так любили рекламодатели и ненавидели пользователи

Над креслом гендиректора «Яндекса» в скромной рамочке на стене висит бумажка. На ней весь тогдашний «Яндекс» как на ладони: в 1999 году потратили 280 тысяч долларов, заработали 72 тысячи долларов. Чистый убыток — 218 тысяч долларов.

Яндекс.Директ

Идея Директа — прямого выхода на рекламодателей — была очень кстати.

Когда его запускали, еще без меня, это мыслилось как небольшое подспорье основным медийным продажам, — утверждает Евгений Ломизе. — Просто было решено сделать этакий бонус — предоставить мелким рекламодателям интерфейс самообслуживания. Не нужно заказывать баннер у студии, не нужно даже созваниваться с отделом продаж: зашел на сайт, зарегистрировался, написал текстик, ввел ключевые слова — и вперед. Собственно, отсюда и название «Директ»

Вообще идея продавать слова была придумана не нами и даже не Google. Впервые ее взяла на вооружение компания Overture Services, которую позже купила Yahoo!. Идея действительно гениальная, поскольку слов в любом языке великое множество, а вместе со словосочетаниями это и вовсе неисчерпаемый ресурс.
Overture Services — партнерский сервис контекстной рекламы в интернете по ключевым словам. Самый известный российский аналог — сервис Begun. Первым новое явление на интернет-рынке заметил Илья Сегалович — как самый умный и осведомленный о том, что происходит в IT-отрасли. Идея применить ее в поиске возникла практически сразу

О плагиате в IT-индустрии:

если кто-то говорит, что в сегодняшней IT-индустрии кто-то у кого-то что-то спер, — он просто не разбирается в вопросе. Когда отрасль бурно развивается, ничего чужого нет. Все смотрят на всех, берут идеи, улучшают их, возникает новая версия идеи, она идет дальше, ее снова кто-то улучшает — заимствование в такой обстановке становится главным инструментом развития. Но просто слизать, скопировать в нашем деле невозможно. Идеи не плодоносят сами по себе, все зависит от execution, от команды, от стремительно меняющейся реальности. Мы увидели, что можно продавать слова и что это работает — клиенты в Overture шли косяками. Наша версия этой идеи была следующая: можно совместить продажу слов с поиском — и посмотреть, что получится

О преимуществах контекстной рекламы:

В отличие от навязчивых рекламных пауз на ТВ, которые прерывают первый бал Наташи Ростовой прокладками и виагрой, контекстная реклама не противоречит интересам пользователя. В некотором смысле она даже улучшает поисковый продукт: человек ведь сам набрал запрос «диваны и кресла», так почему бы ему не воспользоваться рекламным предложением производителей, которые вложением в поисковую рекламу лишний раз подтверждают серьезность своих намерений.

Таким образом, фирмы, торгующие в интернете, за небольшие по сравнению с рекламой в СМИ деньги теперь смогли продвигать свой бизнес. А «Яндекс» научился зарабатывать — причем не на гигантах типа Procter & Gamble, а на сотнях тысяч мелких фирм, которые раньше просто не интересовали серьезный рекламный рынок.

У Сегаловича была мысль такая: мы сделаем прямой интерфейс рекламного самообслуживания, заработаем все деньги, а посредников-дармоедов пустим побоку.

Но несмотря на все плюсы новой рекламы никто на рынке не понимал как это работает. Волож на неделю закрылся в переговорке и лично обзванивал потенциальных рекламодателей, чтобы рассказать им о новом виде рекламы.

тогда он сел за телефон, надел наушники с микрофоном и на неделю превратился в рядового сотрудника отдела продаж. Потом встал и сказал: «Я все понял».
—Я просто взял в руки справочник «Товары и цены», открыл Excel и стал собирать нашу статистику запросов по словам, которыми назывались разделы этого справочника: пластиковые окна, стройматериалы и т. д., — уточняет Аркадий Волож. — Потом я звонил по тем объявлениям, в которых упоминались веб-адреса, ведь если у тебя уже есть адрес в интернете, значит ты в нем хоть что-то понимаешь. Отвечала, как правило, секретарь, но тут я немного злоупотреблял положением, представлялся и просил соединить меня напрямую с начальником.
—И что вы ему говорили? «Я вас как гендиректор гендиректора прошу: „Купите у нас рекламу“»?
—Наоборот. Я говорил примерно так: ‘Вам не надо покупать у нас рекламу, мы ее разместим бесплатно. Просто скажите, что нам про вас показать людям. И имейте в виду, что за прошлый месяц наши пользователи искали краску для обоев 3245 раз. Мы можем сделать так, чтобы все эти люди видели ваше объявление, и вы будете платить только за клик. Согласны?

Результаты звонков Аркадий тоже заносил в Excel: сколько не ответили вообще, сколько ответили, но с ходу послали, сколько поговорили и обещали подумать, сколько реально заинтересовались, сколько купили. Несмотря на всю тугодумность рынка, результаты обзвона были все-таки обнадеживающими. Осталось лишь посчитать, сколько при таких темпах продаж надо посадить людей на телефон и через какой примерно отрезок времени ждать полной и безоговорочной монетизации.

— У этой рабочей недели Воложа были два серьезных последствия, — резюмирует Евгения Завалишина. — Во-первых, Аркадий сам понял, как строить разговор с клиентами, чего они не понимают и как им это объяснять. А во-вторых, его поступок имел большой воспитательный эффект в самом «Яндексе». Даже самые рядовые сотрудники вдруг осознали: если сам гендиректор на неделю запирается в переговорке и тупо обзванивает клиентов, значит это действительно важно, а мы все тут просто конченые двоечники.

Как итог — продажа поисковых слов с аукционом стала для Яндекса основным источником дохода.

Народ валил в «Яндекс.Директ» валом, а уже через год динамика роста этого продукта стала чудовищной. В последующие годы доходы от контекстной рекламы увеличивались бешеными темпами: 5,6 млн, 2 млн, 67 млн. В 2008 году доля рекламы, идущей через «Директ», достигла 00 млн — это 85 процентов в общем объеме доходов компании.

Google

... yandex.ru был запущен на год раньше, чем google.com, и многие сервисы он разрабатывал с большим опережением. Выигрывать опаздывая Google удавалось лишь за счет того, что он изначально стартовал и развивался на гораздо более перспективной и масштабной площадке: английский язык вместо русского, американская экономика вместо российской, возможности Кремниевой долины вместо осколков советской науки.

Сергей Брин и Ларри Пейдж прилетали в Москву обсудить дела. Встреча прошла хорошо и оставила тёплые впечатления.

За встречей последовала переписка. Слово за слово — стало понятно, что Google не прочь купить «Яндекс». Переговоры начались уже летом 2003-го. Мысль о том, что можно подняться до задач мирового масштаба, реально вдохновляла, особенно технарей во главе с Ильей Сегаловичем. Многие из них искренне верили, что вот сейчас они со своими замечательными, уникальными идеями, которые часто опережают гугловские идеи, вольются в Google и сделают его сильнее.

У тебя в стране могут быть самые замечательные идеи, но ты не сможешь их реализовать — тебе просто не хватит масштаба. Именно поэтому «Яндекс» был морально готов войти в империю Сергея Брина. Но не наемным персоналом, а в качестве партнеров с правом влияния

Дело застопорилось, когда за дело взялись юристы. Стало понятно, что доступа к управлению Гугла никто не получит, и разговор не идёт о равноправном партнёрстве.

Разговоры с первыми лицами Google оставались столь же прекрасными, но потом приехали их юристы, и они в достаточно категоричной форме объяснили, что речь идет не о слиянии, а о поглощении и мы будем просто наемными сотрудниками, — говорит несостоявшийся работник Google Аркадий Волож. — Мы звоним Сергею и Ларри, они говорят: «Да ладно, да бросьте вы, да чего нам делить — мы же все братья-программисты, айда в Калифорнию! Сколько вас там — 8–10 человек? Мы сейчас за вами самолет вышлем

В конце концов стало совершенно ясно, что в случае союза с Google желающие поедут в Кремниевую долину гастарбайтерами, а не желающим отведена роль московского сейлз-офиса, который будет заниматься продажами рекламы, подчиняться промежуточному звену в Цюрихе или Женеве и выполнять поручения какого-нибудь гугловского клерка среднего звена. Никакого тесного рабочего контакта с Ларри Пейджем и Сергеем Брином, никаких разработок мирового уровня — забудьте

Изначально нам было сказано, что компания с десятимиллионной годовой выручкой должна стоить 30 миллионов долларов. И все. С их точки зрения.
—За год расценка выросла до 130 миллионов акциями и деньгами. Если бы мы тогда согласились, сегодня наша доля в Google стоила бы миллиарда два, — подсчитывает Волож. — А сами мы за это время выросли гораздо больше. В общем, получается, правильно сделали, что не приняли их предложение.

Так Гугл, не купив местного играка, сам пришёл на рынок поиска в России. Это пошло на пользу Яндексу — он научился продвигать себя, с чем до этого не сталкивался.

О внутренней культуре

В какой-то момент на Вавилова появился обычай: новички должны были публично выступать перед «стариками», рассказывать им, кто они такие и зачем пожаловали. С каждым месяцем таких одиночных выступлений становилось все больше. И с каждым выступлением все яснее становилось, что культура компании складывается сама собой: на работу берут почему-то людей, слепленных из одного и того же теста

Вообще кадровая политика раннего и даже зрелого «Яндекса» способна погрузить в адское недоумение поборника традиционных корпоративных ценностей. Здесь запросто могли взять на серьезную должность человека не то что без опыта работы, а даже без малейших признаков компетенции в той области, в которой его собирались применять. Например, бессменный главный бухгалтер компании CompTek, а потом и «Яндекса» Лена Чебунина как-то призналась, что первый раз увидела книжку про бухгалтерию в метро по дороге на собеседование

Конечно, мы берем человека на работу под определенную задачу. Но, выполнив ее, не нужно ждать, когда придет начальник и скажет, что делать дальше. А нужно оглядеться по сторонам, увидеть какое-то несовершенство бытия и попытаться как-то организовать себя, а еще лучше — людей вокруг себя с целью это несовершенство устранить. Такая инициатива всячески приветствуется. Она есть способ познания мира, инструмент карьерного роста и метод развития компании

Офисное пространство в «Яндексе» похоже на дом с привидениями: только подумаешь, о какой-то задаче — а рядом как раз материализовался человек, который для ее обсуждения жизненно необходим. Переговорки, кофе-пойнты, места для досуга, какие-нибудь закутки — все эти «ловушки креативной энергии» в офисе «Яндекса» придуманы неспроста, и они делают свое дело. Фраза «О, иди сюда, мы как раз сейчас про тебя говорим» — одна из самых распространенных в коридорах компании. Один человек шел в переговорку, другой на кофе-пойнт, третий в туалет — в результате получился новый сервис

О менеджерах в командах программистов:

—Долгое время наши программисты чистосердечно считали менеджеров паразитами на их трудовом теле, — говорит первый в истории «Яндекса» менеджер Елена Колмановская. — Но время шло, увеличивались масштабы задач, усложнялись технологии, и вскоре технари уже сами не могли себе представить, как они раньше работали автономно. Теперь все чаще они приходили и требовали: «Ну все, я так больше не могу, зовите менеджера, пусть он мне поставит задачу!»

Про «хозяюшек»:

Очень скоро помимо «угрюмых» программистов и возбужденных менеджеров на Вавилова, 40 появились тетеньки с ярко выраженной материнской заботой на лице.
—Сначала нас так и называли — тётеньки, но потом появилось более приятное «хозяюшки», и это уже было знаком признания, — рассказывает Светлана Микаэлян, которая теперь большой начальник — руководитель отдела обеспечения и управления. — Я пришла еще в CompTek, в 90-е, через знакомых.

Помимо чистоты и уюта на «хозяюшек» была возложена организация бесплатного питания. Такие излишества офисной жизни и сейчас-то не в порядке вещей, а в те времена это было и вовсе «в гостях у сказки». Новичков предупреждали заранее, чтобы они не впадали в культурный столбняк
Поначалу все было скромненько: две булочки на человека, растворимый кофе, чай самый простой, два пакета молока на всех. Но душа требовала большего, — вспоминает «хозяюшка № 1». — Пошла к Лене Чебуниной, нашему главному бухгалтеру, выпросила еще один пакет молока. Подкараулила Аркадия Юрьевича в коридоре, он говорит: «Хорошо, пусть булок будет больше». Вскоре тем же методом добилась бутербродиков. Причем все это лишние заботы на собственную голову, мы ведь сами на рынок с сумками бегали. Зато бутербродики стали пользоваться бешеной популярностью, люди караульных назначали следить, когда мы их приготовим

О влиянии государства

Когда Яндекс стал достаточно большим, где-то наверху стали им интересоваться как стратегическим активом.

— Я думаю, что это была комбинация из политики и экономики, — резюмирует Волож. — С одной стороны, «Яндекс» — это хороший бизнес, который много кто хочет иметь. С другой — у государства действительно назрела озабоченность: что это такое выросло у нас тут под боком и кто эти люди, можно ли им доверять? А рядом кто-нибудь стоит и шепчет: им доверять нельзя, доверяйте нам, мы правильные, мы хорошие, а за то, что нам можно доверять, помогите нам купить этот бизнес. Обычная такая комбинация.

И тогда от государства пришло предложение.

Суть предложения, от которого нельзя было отказаться, заключалась в следующем: вы очень важная для страны компания, и мы боимся, что вы можете оказаться в недружественных руках. А у нас вот есть понятный нам инвестор, он проводит в Рунете нужную нам политику. Сейчас вашей компанией владеют люди, которые нам не очень понятны. Так что возьмите, пожалуйста, понятного нам инвестора, а то хуже будет

проблема с Кремлем в конце концов была решена примерно в той же манере: «Яндексу» удалось вовлечь государство в позитивный диалог, заинтересовать «партнера» в собственном развитии. Руководство компании не стало бить в набат, лезть на баррикады и взывать к мировому сообществу. «Яндекс» изначально отнесся к национальным интересам с уважением и пониманием

Всё, что нужно было сделать команде «Яндекса», — это донести до правильных ушей свою позицию: мы не рупор пропаганды и не собираемся им становиться. Мы вообще не медиа, мы никто, мы посредники, комок алгоритмов, которые помогают людям находить ответы на вопросы и решать их повседневные задачи, все стерильно. Даже новости мы не сами даем, они попадают в топ автоматически, из разных СМИ

—Во время очередного раунда переговоров мы спросили чиновников: о’кей, вас устроит такой вариант, при котором на консолидацию больше 25 процентов акций в одних руках требуется разрешение государства? Нам отвечают: годится. Отлично, нас это тоже устраивает. И дальше мы уже просто механику придумывали, — подытоживает Волож.
Механика получилась следующая. «Яндекс» выпускает приоритетную акцию — «золотую», «бриллиантовую», «платиновую», назвать можно как угодно. Ключевым правом держателя этой акции является возможность наложить вето на любую сделку, в результате которой свыше 25 процентов акций концентрируется в руках одного человека или связанной между собой группы лиц. При этом «золотая акция» не дает права на место в совете директоров и участие в принятии решений, влияющих на деятельность компании. А ее передача не может быть осуществлена без согласия совета директоров «Яндекса».
Держателем этой акции станет ОАО «Сбербанк России», который приобретет ее по номинальной стоимости — 1 евро.
При чем тут Сбербанк?
А ни при чем. В этом и смысл. «Яндексу» в качестве гаранта нужна была структура достаточно мощная и стабильная для того, чтобы не стать объектом авантюр, и в то же время — совсем из другого бизнеса, чтобы у нее не было соблазнов воспользоваться ситуацией в свою пользу

Аркадий Волож об отношении к деньгам

Аркадий, а какова судьба той квартиры на Брянской улице, которую вы купили в 1991 году за два компьютера?
—Я ее продал, добавил все накопленные на тот момент деньги и купил трехкомнатную квартиру на улице Марии Ульяновой, там сейчас родители живут. В начале нулевых снова поскреб по сусекам и по какой-то бешеной на тот момент цене купил квартиру на Остоженке. 2800 долларов за квадратный метр, кажется. Примерно тогда же у меня появилась первая хорошая машина — Volvo S80. До этого была Skoda Felicia

С тех пор как я пошел в бизнес и в руках появилась первая пачка трехрублевых купюр, деньги перестали быть инструментом потребления. Их было всегда больше, чем я успевал про них думать. Просто сначала это были сотни долларов, потом тысячи, сегодня миллиарды, но ощущение то же самое — что потратить их нельзя никак, они какие-то бесконечные.
Яхты, самолеты, дорогие увлечения?
—Тут мне тоже очень помог Эл Феноти, наш председатель совета директоров. Он, например, научил меня, что не надо яхты покупать — арендуй, если тебе надо. Но и в этом, честно говоря, особой надобности нет. Самолеты? Во время роуд-шоу я научился пользоваться бизнес-авиацией. Это не роскошь, а единственное возможное в таких случаях средство передвижения. Когда за мало дней нужно посетить много мест, других вариантов просто нет.
—Бизнес-авиация — это собственный самолет?
—Ты летишь в персональном самолете, но на правах пассажира, а не хозяина. Есть экономкласс, есть бизнес-класс, а есть еще уровень бизнес-авиации

О больших данных как полезном ископаемом

Интервью для книги брали в феврале 2014 года. Через шесть лет всё актуально — поражает горизонт мышления.

На прошлогоднем чемпионате мира по программированию в Санкт-Петербурге вы с большим воодушевлением рассказывали про индустрию обработки данных. Можно о ней подробнее? Это похоже на начало какой-то глобальной истории.
—Так оно и есть. Для меня сейчас это крайне важная тема, я занимаюсь ею очень внимательно. Понимаете, в истории человечества интернет стал первой средой, где появился огромный массив информации. Разве что в финансах еще было сопоставимое количество данных, но именно интернет научился очень активно с ними работать. Сначала это были просто потоки данных, потом оказалось, что это огромный ресурс.

Вообще тема машинного обучения в науке существует уже лет тридцать, но, едва зародившись, она вскоре достигла своего локального оптимума и немного заглохла, не найдя действительно серьезного экономического применения. Перевод, распознавание — все это требует огромных массивов данных, система обучается на собственном информационном потоке, а раньше таких потоков не было. Теперь же, с их появлением, машинное обучение резко рвануло вперед

стало понятно: чтобы перевести текст, вообще не обязательно понимать смысл. Человечество столько всего уже напереводило, что вероятность найти в сети два аналогичных текста на разных языках достаточно велика. Как определить, что это одинаковые тексты? Очень просто. В них много одинаковых слов. Если в документе из 1000 слов 800 представляют собой словарные пары, то, скорее всего, это перевод с одного языка на другой. И дальше уже можно разбивать тексты на абзацы, на предложения и как-то с этим работать. То есть машина переводит не словами, а готовыми кусками, машина на это способна

Есть такая российская международная компания ParaScript, она, в частности, занимается распознаванием рукописного текса. Ее софт присутствует сегодня почти в любом приборе, которым мы пользуемся. Лет десять назад ParaScript получила задачку распознавать текст на конвертах для американской почты. У почты США тогда были гектары сортировочных бараков, где сидели тетеньки, читали конверты и раскладывали их по адресам. Ребята из ParaScript пришли и сказали: давайте мы вам это безобразие ликвидируем — 10 процентов экономии нам. И с 2002 по 2007 год они оптимизировали американскую почту, получали огромные деньги

Экскаватор копает быстрее, чем человек лопатой, а мы лопатой копаем быстрее, чем руками, — это нормально. Лифт нас поднимает на двадцатый этаж, мы к этому привыкли, нам не кажется, что машины нас поработили. То же самое сейчас начинается в области замены человеческой головы. Машины будут лучше нас переводить, распознавать и делать еще много чего

именно поисковые технологии сидят сегодня на больших объемах данных и умеют с ними работать.
—Вы говорите о больших объемах данных как о полезных ископаемых.
—Это почти не является преувеличением. Большие массивы информации в совокупности с технологиями их обработки — это огромный возобновляемый ресурс

мы сотрудничаем с банками в области антифрода (борьба с мошенничеством при помощи пластиковых карточек). Сегодня, например, банки вынуждены отказывать в транзакциях владельцам карт, которые приезжают из США в Европу и пытаются там ими расплачиваться. Глупая система видит в этих действиях признаки мошенничества. Количество отказов — до 30 процентов. Если снизить его хотя бы до 25 процентов, это огромные миллиарды. А если мы кому-то экономим миллиарды, значит мы сами зарабатываем сотни миллионов
У мобильных операторов куча данных о поведении клиентов, эти данные пока лежат мертвым грузом. А на них можно много чего делать — например, подбирать правильный тариф, чтобы пользователю было удобно и пользователи не уходили. Еще пример
Современные самолеты сегодня оснащены сотнями сенсорных датчиков. Все замеряется, пишется и тоже лежит мертвым грузом. А если на эти данные посмотреть, то выяснится, что с их помощью можно решать много полезных задач. Например, у самолетов 10 процентов простоя из-за несвоевременного подвоза вышедших из строя запчастей. Полетел насос — надо ждать час, пока подвезут новый. А можно научить самолет заранее предугадывать выход детали из строя. И тогда насос привезут заранее, пока самолет еще на подлете, и пассажиры не опоздают

…Тотальный подсчет — это уже объективная вещь. Человечество сегодня производит огромное количество информации, она вся пишется, поделать с этим ничего нельзя. Нас невозможно заставить вытащить из кармана смартфон и выкинуть его на помойку. Мы все согласны с тем, что везде — в метро, на подъездах, на улицах, в аэропортах — стоят камеры, сотни тысяч камер. Не то чтобы их все время кто-то отсматривал, но если что-то произошло, всегда можно открутить назад и посмотреть — это как черный ящик в самолете. И мы, люди, так хотим. Не знаю почему. Мы так устроены. Так же как мы хотим подниматься на лифте. Наверное, для здоровья полезнее пешком, но мы предпочитаем лифт. То же самое и с подсчетом. Мы бы хотели, чтобы это не использовалось во зло, но нам все труднее отказаться от новых удобств. Между свободой и удобством, свободой и безопасностью мы выбираем удобство и безопасность
то есть мы уже родились в этом супе. Страховка заключается в том, что доступ к данным может получить очень ограниченная группа лиц, а информации пишется очень-очень много, всю не прочитаешь. Есть закон о персональных данных, есть дискуссия по этому поводу, мы стараемся не хранить лишнего. Но есть и объективная реальность: пользователи хотят, чтобы мы угадывали их желания, а для этого их нужно считать. Вот вы набираете в поисковой строке две буквы, а «Яндекс» подсказывает остальные шесть. По реакции пользователей видно, что им это очень нравится. А значит, вода течет в эту сторону

Фабрики данных — это тоже пока достаточно дешевая вещь. Почему мы этим занимаемся? Потому что мы уже и так этим занимаемся. Нам не нужно придумывать новые методы, возводить гектары железа — у нас все это есть. Научиться использовать эти мощности для решения еще некоторых задач — это не очень дорого. Взять 5–10 человек, которые будут бегать по заказчикам, и еще 20 человек, чтобы что-то перепрограммировать. И если процесс пошел, это просто постепенно выстраивается в бизнес.

Илья Сегалович: Яндекс всего лишь монетизирует математику.

2020   книги

Паралич выбора

Иногда бывает, что передо мной 10 задач, но никак не получается приступить к делу: не могу решиться, за какую именно взяться.

Вроде это называется паралич выбора. По-английски звучит даже в рифму — analysis paralysis.

Сын сталкивается с такой же проблемой: надо собрать 10 игрушек на свои места. И вот он стоит и в нерешительности смотрит на них. И вроде уже можно было два раза их всех собрать за время стояния... но нет.

Чтобы сдвинуть с места процесс, предлагаю ему начать с одной игрушки: давай возьмём кораблик. Берёт. Отлично! давай теперь пчёлку. Ещё одна есть. Теперь пингвина. И вот уже почти половина игрушек на местах, динамика налицо, процесс запущен, дальше уже собирает сам.

Со «взрослыми» задачами работает так же: надо назначить приоритеты. Можно прикинуть, без чего точно нельзя обойтись. Или же просто тыкнут в таск и назначить его самым главным — конкретный метод приоритизации не важен, главное сам факт приоритета. Хоп! и дело пошло.

Курсы для начинающего аналитика

Собрал курсы, которые мне дополнили знания по аналитике после Практикума.

SQL

«Сиквел» — основа работы всех сортов аналитиков. И даже видел рекомендации осваивать сиквел продакт-менеджерам. Задачи на SQL мне встречались почти во всех тестовых.

Простота SQL обманчива. Помню как радовался, когда наконец «изучил SQL», пройдя курс по базовым запросам; и как потом «прозрел», когда неделю делал тестовое в SkyEng с оконными функциями и вложенными запросами.

Навык никогда не будет лишним и «перекачать» его сложно. По-моему стоит его делать каждый день по небольшому подходу — мне тут помогает поставить на повтор в трекере задач.

  • Продвинутый уровень — понимание работы запросов в контексте баз данных:
    курс «Расширенные возможности SQL» — транзакции, ACID, процедуры, триггеры, представления

курс «Введение в статистику» Анатолия Карпова

Обязательный курс, чтобы понимать распределения и отличать среднее от медианы.

Статистические методы пригодятся в разведывательном анализе данных (EDA)
и в АБ тестировании. Ну и вообще полезно для общего понимания и критического мышления.

Введение в дата инжиниринг и аналитику

Дмитрий Аношин уже несколько лет работает в Амазоне, а до этого работал в Сбербанке, Ламоде и Терадате.

Дмитрий работал в разных больших компаниях и рассказывает только то, что действительно используется в работе. Типа «так, здесь у нас constraints, но по факту это никогда не используется — вычёркиваем» или «на собеседовании в Амазон спрашивали про схему звезды, но я сказал что обычно никто с этим не заморачивается… и прошёл»

В курсе есть обзор общей картины по работе с данными в компании: от источника до дешборда. И рассказ, какой специалист занимается каким участком

Курс бесплатный, выложен на Ютуб. Есть плейлисты с модулями: пока записано 3 (из 8?)

Ещё в рамках курса бывают вебинары с крутанами, например, вот Роман Бунин про дешборды в Tableau.

Data Yoga — марафон про работу с Tableau

Если надо разобраться с визуализацией и дашбордами: на примере лучшей в отрасли — Tableau.

В курсе 42 урока. Удобно проходить по одному в день. Опять пригодится повтор задачи в личном трекере.

==[====>

больше такого — в Телеграм-канале data будни

Книга Moneyball: бейсбол, основанный на данных

Книга о том, как в 2002 году менеджер бейсбольной команды Билли Бин (Billy Bean) изменил всю спортивную индустрию: он полностью убрал субъективную оценку игроков по их внешним качествам и выстроил стратегию на их статистике и метриках.

It began, really, with an innocent question: how did one of the poorest teams in baseball, the Oakland Athletics, win so many games?
But when you looked at what actually had happened over the past few years, you had to wonder. The bottom of each division was littered with teams—the Rangers, the Orioles, the Dodgers, the Mets—that had spent huge sums and failed spectacularly. On the other end of the spectrum was Oakland. For the past several years, working with either the lowest or next to lowest payroll in the game, the Oakland A’s had won more regular season games than any other team, except the Atlanta Braves. They’d been to the play-offs three years in a row and in the previous two taken the richest team in baseball, the Yankees, to within a few outs of elimination. How on earth had they done that? The Yankees, after all, were the most egregious example of financial determinism.

После выхода книги эти методы применили сначала другие бейсбольные команды, а затем и команды в других видах спорта.

Как работал бейсбол

Каждый год бейсбольные команды набирают молодых игроков среди школьников и студентов. У команд есть специальные люди — скауты — они ездят по всем местечковым играм и оценивают молодых игроков.

За долгую историю в бейсболе сложился определённый подход. Скауты смотрят, как ребята отбивают мяч, насколько быстро бегают между базами, как хорошо ловят мяч. По итогам наблюдений скауты внутри команды обсуждают и составляют списки желаемых игроков.

Билли Бин скаутам, почему они не правы (кадр из фильма по книге). На фоне списки игроков для драфта.

В молодости Билли Бин сам стал жертвой подобной субъективной оценки: в юности он хорошо играл в бейсбол и все прочили ему звёздное будущее. Он повёлся на уговоры тренеров и подписал свой первый бейсбольный контракт в ущерб колледжу. Однако, бейсбольная карьера у него не сложилась.

...Just like that, a life changed. One day Billy Beane could have been anything; the next he was just another minor league baseball player, and not even a rich one. On the advice of a family friend, Billy’s parents invested on their son’s behalf his entire $ 125,000 bonus in a real estate partnership that promptly went bust.
...YEARS LATER he would say that when he’d decided to become a professional baseball player, it was the only time he’d done something just for the money, and that he’d never do something just for the money ever again. He would never again let the market dictate the direction of his life.

10 лет он пытался показать ту самую игру, которую от него ждали; но так и не получилось: его меняли и продавали в клубы попроще, где уже от него никто ничего не ждал. Так он в итоге оказался в Oakland Athletics, где окончательно понял, что нормально играть он не может и в 1990 году перевёлся в офисную работу.

КАК НАДО БЫЛО

В 1997 году Билли занял пост генерального менеджера команды. Sandy Alderson — предшественник Билли на посту менеджера — познакомил его со подходом, основанным на статистике, и показал нужные книги.

When Alderson entered the game he wanted to get his mind around it, and he did. He concluded that everything from on-field strategies to player evaluation was better conducted by scientific investigation—hypotheses tested by analysis of historical statistical baseball data—than by reference to the collective wisdom of old baseball men.
By analyzing baseball statistics you could see through a lot of baseball nonsense. For instance, when baseball managers talked about scoring runs, they tended to focus on team batting average, but if you ran the analysis you could see that the number of runs a team scored bore little relation to that team’s batting average. It correlated much more exactly with a team’s on-base and slugging percentages.
A lot of the offensive tactics that made baseball managers famous—the bunt, the steal, the hit and run—could be proven to have been, in most situations, either pointless or self-defeating. «I figured out that managers do all this shit because it is safe,» said Alderson. «They don’t get criticized for it.» He wasn’t particularly facile with numbers, but he could understand them well enough to use their conclusions. «I couldn’t do a regressions analysis,» he said, «but I knew what one was. And the results of them made sense to me.»

...Alderson pointed to a row of well-thumbed paperbacks by a writer named Bill James, who had opened Alderson’s eyes to a new way of thinking about baseball. Alderson had collected pretty much everything Bill James had written, including four books self-published by James between 1977 and 1980 that still existed only as cheap mimeographs.
By the time he became the general manager of the Oakland A’s, in 1997, Billy Beane had read all twelve of Bill James’s Abstracts. James had something to say specifically to Billy: you were on the receiving end of a false idea of what makes a successful baseball player. James also had something general to say to Billy, or any other general manager of a baseball team who had the guts, or the need, to listen: if you challenge the conventional wisdom, you will find ways to do things much better than they are currently done.
The whole point of James was: don’t be an ape! Think for yourself along rational lines. Hypothesize, test against the evidence, never accept that a question has been answered as well as it ever will be. Don’t believe a thing is true just because some famous baseball player says that it is true.

Через два года — в 1999 — Билли пригласил выпускника Гарварда Пола ДеПодеста, чтобы тот помог ему с формулами и подсчётами. Билли и Пол декомпозировали игру: начали с общих целей и пришли к конкретным действиям каждого члена команды, которые приводят к набору очков и, соответственно, к победе.

Paul DePodesta had been hired by Billy Beane before the 1999 season, but well before that he had studied the question of why teams win. Not long after he’d graduated from Harvard, in the mid-nineties, he’d plugged the statistics of every baseball team from the twentieth century into an equation and tested which of them correlated most closely with winning percentage. He’d found only two, both offensive statistics, inextricably linked to baseball success: on-base percentage and slugging percentage. Everything else was far less important.
Before his thought experiment Paul had felt uneasy with this crude assumption; now he saw that the assumption was absurd. An extra point of on-base percentage was clearly more valuable than an extra point of slugging percentage—but by how much?
... A player’s ability to get on base—especially when he got on base in unspectacular ways—tended to be dramatically underpriced in relation to other abilities.
The ability to get on base—to avoid making outs—was underpriced compared to the ability to hit with power. The one attribute most critical to the success of a baseball team was an attribute they could afford to buy.
Runs were the money of baseball, the common denominator of everything that occurred on a field. How much each tiny event on a baseball field was worth was a more complicated issue. AVM dealt with it by collecting ten years of data from major league baseball games, of every ball that was put into play. Every event that followed a ball being put into play was compared by the system to what had typically happened during the previous ten years.

За три года они вместе разработали и отладили систему, которая позволяла им подбирать игроков в команду, ни разу их не видев вживую. И к 2002 году они запустили её в боевом режиме — в начале сезона проигнорировали рекомендации скаутов и полностью переписали списки для драфта.

The draft has never been anything but a fucking crapshoot,” Billy had taken to saying, “We take fifty guys and we celebrate if two of them make it. In what other business is two for fifty a success? If you did that in the stock market, you’d go broke.

You have $ 40 million to spend on twenty-five baseball players. Your opponent has already spent $ 126 million on its own twenty-five players, and holds perhaps another $ 100 million in reserve. What do you do with your forty million to avoid humiliating defeat? “What you don’t do,” said Billy, “is what the Yankees do. If we do what the Yankees do, we lose every time, because they’re doing it with three times more money than we are.”

С помощью этой системы они научились находить перспективных игроков среди молодых игроков, игроков из низших лиг и даже среди в запасниках других команд. При чём эти игроки были ниже радаров других команд, поэтому цены на них был очень низкими — только поэтому команда Бина могла их купить.

Billy had his own idea about where to find future major league baseball players: inside Paul’s computer. He’d flirted with the idea of firing all the scouts and just drafting the kids straight from Paul’s laptop. The Internet now served up just about every statistic you could want about every college player in the country, and Paul knew them all. Paul’s laptop didn’t have a tiny red bell on top that whirled and whistled whenever a college player’s on-base percentage climbed above .450, but it might as well have. From Paul’s point of view, that was the great thing about college players: they had meaningful stats.

The statistics enabled you to find your way past all sorts of sight-based scouting prejudices: the scouting dislike of short right-handed pitchers, for instance, or the scouting distrust of skinny little guys who get on base. Or the scouting distaste for fat catchers.

Эффект второго порядка этой системы. Когда ты знаешь действительно работающие метрики игроков, а все остальные смотрят на какие-то другие метрики (в аналитике такие метрики ещё называют «метриками тщеславия»), то можно сделать из своих обычных игроков суперзвёзд: искусственно «надувая» их метрики тщеславия. Это повышает их рыночную стоимость и можно их удачно продать. И без какого-либо ущерба для успеха команды: место этиъ «звёзд» освобождается для более продуктивных игроков — с более высокими реальными метриками.

They had lost to free agency—and thus, to richer teams—three of their proven stars: Jason Isringhausen, Johnny Damon, and Giambi.
Jason Isringhausen’s departure wasn’t a loss to the Oakland A’s but a happy consequence of a money machine known as “Selling the Closer.” In return for losing Isringhausen to the St. Louis Cardinals, the A’s had received two new assets: the Cardinals’ first-round draft pick, along with a first-round compensation pick. The former they’d used to draft Benjamin Fritz, a pitcher they judged to have a brighter and cheaper future than Isringhausen; the latter, to acquire Jeremy Brown.

Игра вдолгую

У такой системы горизонт планирования не отдельная игра, а весь сезон. Когда метрика двух игроков отличается на несколько процентов, то в реальном мире у зрителя есть большой шанс увидеть как хучший по статистике игрок отбивает лучше за те несколько игр за сезон, что этот зритель посмотрит.

One absolutely cannot tell, by watching, the difference between a .300 hitter and a .275 hitter. The difference is one hit every two weeks. It might be that a reporter, seeing every game that the team plays, could sense that difference over the course of the year if no records were kept, but I doubt it. Certainly the average fan, seeing perhaps a tenth of the team’s games, could never gauge two performances that accurately—in fact if you see both 15 games a year, there is a 40% chance that the .275 hitter will have more hits than the .300 hitter in the games that you see. The difference between a good hitter and an average hitter is simply not visible—it is a matter of record.

Наверное поэтому Билли не смотрел игры своей команды — это была мука.

During the first couple of innings he’d run a few miles and lift a few weights and generally remind whichever pitchers and bench players who had sneaked out of the dugout to get in their workouts that they played for the only team in the history of baseball on which the general manager was also the best athlete. After that, what he did depended on the situation. What he didn’t do was watch the games. When he watched his team live, he became so upset he’d become a danger to baseball science. He’d become, as he put it, «subjective.» His anger might lead him to do something unconsidered.

Billy couldn’t bear to watch; on the other hand, he couldn’t bear not to watch. He carried around in his pocket a little white box, resembling a pager, that received a satellite feed of live baseball scores. The white box was his chief source of real time information about the team he ran. He’d get into his SUV and drive in circles around the Coliseum, peeking every few minutes at the tiny white box. Or he’d set himself up in a place inside the clubhouse, white box in hand. He was like some tragic figure in Greek mythology whose offenses against the gods had caused them to design for him this exquisite torture: you must desperately need to see what you cannot bear to see.

К тому же в начале сезона дела шли неважно. Билли испытывал огромное давление со всех торон: от тренера команды, от её владельца, от болельщиков и прессы, и даже самих игроков. Все они принимали во внимание только сиюминутные результаты.

Основа для книги

Майкл Льюис понял, что надо писать книгу, когда увидел команду Oakland Athletics в раздевалке. Без одежды было ясно видно, насколько игроки Athletics отличаются от общего представления об идеальных бейсболистах. И тем не менее, они показывали результат за гораздо меньшие деньги, чем топовые команды.

Налицо разрыв между реальным миром и его моделью в головах людей; насколько принятые на рынке суждения оказываются неверными с точки зрения статистики. Этот разрыв хорошо описывают исследования Даниеля Канемана и Амоса Тверски, собранные в книге «Thinking Fast and Slow» (в русском перевода «Думай медленно, решай быстро»).

There was, for starters, the tendency of everyone who actually played the game to generalize wildly from his own experience. People always thought their own experience was typical when it wasn’t. There was also a tendency to be overly influenced by a guy’s most recent performance: what he did last was not necessarily what he would do next. Thirdly—but not lastly—there was the bias toward what people saw with their own eyes, or thought they had seen. The human mind played tricks on itself when it relied exclusively on what it saw, and every trick it played was a financial opportunity for someone who saw through the illusion to the reality. There was a lot you couldn’t see when you watched a baseball game.

Льюис написал одну из следующих своих книг о дружбе и работе Канемана и Тверски The Undoing Project: A Friendship That Changed Our Minds.

Earlier Ctrl + ↓