Новости и заметки по Data Engineering на одной странице
На основе проекта Вастрика собрал страницу с материалами по инжинирингу данных
Вастрик (он же vas3k) — это автор культовой околоайтишной рассылки (†) и чьи статьи собирают миллионы просмотров (моя любимая — про вычислительную фотографию)
В обычной жизни Вастрик работает питон-программистом (вроде какое-то время даже работал в той самой Anaconda) и делает всякие штуки. Одна из таких штук — RSS-читалка с web-интерфейсом. Называется Infomate.club.
Под капотом там простой парсер урлов по крону плюс какая-то питонячья либа, которая пытается выжать основной смысл из большой заметки и уместить его в нескольких предложениях. Иногда глючит, но в целом работает.
У меня был какой-то набор ссылок на профильные ресурсы, плюс ещё пачку досмотрел в посте Дмитрия Аношина, и засунул всё это в этот Infomate в виде отдельной страницы — получилась такая веб-газета для дата инженеров:
- %company% Engineering — техно-блоги компаний
- Dmitry Anoshin recommends — одноимённая подборка
- Infrastructure — Amazon, DBT, DataBricks, Astronomer, Fivetran
- [Data] Mix — /r/DataEngineering, TowardsDataScience, Monte Carlo Data
- DE Telegram — если вдруг лень читать в приложении))
- Podcasts — что послушать
- и ещё чуток Software Engineering
Код у этой штуки открыт — можно добавлять свои доски через пулл реквесты на Гитхабе (вот так выглядит список источников в boards.yml). Или вообще развернуть такое где-то у себя (если надо с дамами и преферансом, например).