Комментарии 17
Сбежать? Опять писать мапперы? Да ну. Это шутка, конечно. Нет, совсем не хочется. Хочется разобраться, как правильно работать с данными. И еще хочется, чтобы то, что мы делаем, не было таким таинством для разработчиков. Так что тут большое поле для деятельности и познания.
Какие направления развития? Я думаю, что эта область меня еще займет на долгое время, а там будет видно. Я пока только на спринт планироваться умею. В ближайшие две недели точно останусь в DE :)
Какие направления развития? Я думаю, что эта область меня еще займет на долгое время, а там будет видно. Я пока только на спринт планироваться умею. В ближайшие две недели точно останусь в DE :)
по идее у DE самые широкие возможности приносить реальную пользу бизнесу (data driven бизнес и так далее), потому что чистые, правильные данные, на которые можно опираться и принимать управленческие решения стоят очень дорого и высоко ценятся.
Все так думают, в том числе и ключевые бизнес-заказчики. А потом приходят с тупыми вопросами «а как это правильно интерпретировать?». Не знаю, как у Вас, но компания в которой я работаю (телеком) без красивых самопрезентаций — data driven company, ибо рынок суперконкурентный. И да, у нас DE/ETL-разработчики не на обочине, а в самом центре жизни компании)
UPD: попробуйте сменить работодателя на того у кого данные имеют похожую ценность, думаю только так можно будет понять о чем я и автор говорили.
UPD: попробуйте сменить работодателя на того у кого данные имеют похожую ценность, думаю только так можно будет понять о чем я и автор говорили.
У вас же .net в профиле, а там автомаппер всё решает, одно удовольствие.
Про мапперы я шутил, конечно. Хотя у нас в монолитном проекте достаточно много мапперов сделано вручную и на то была причина: у автомаппера были проблемы в свое время, он, если я не ошибаюсь, падал в рантайме иногда.
Про цели и заказчика — очень хороший вопрос. Цель: интеграция данных компании в одном месте. Данных, которым можно доверять. В это понятие включается: очистка, полнота, разложение в удобном для последующей аналитики виде.
Заказчиков у нас несколько. С одной стороны у нас есть большая система Dodo IS, в которой большое количество отчетов для наших партнеров. Это один наш заказчик. С другой стороны есть наша Управляющая Компания, есть команда BI, которым тоже нужна аналитика и ad-hoc запросы, это второй заказчик.
Нужно определить понятие Data Engineering и сферу деятельности. Конкретно в нашей компании сейчас это такой зонтичный бренд, включающий в себя проектирование архитектуры хранилища, моделирование данных, пайплайны, совместную работу с командами разработки над сбором состояния их сервиса, а еще просто накопление экспертизы по работе различных (в том числе и OLTP) баз данных в целом.
Конечно, если рассматривать DE как запускаторов ETL/ELT пайплайнов, то это довольно грустно. Но у нас, к счастью, есть много других задач.
А что касается карьеры. Если быть предельно откровенным, то я сейчас в таком ключе про это не думаю, просто занимаюсь тем, что интересно на данный момент и полезно для компании, дальше будет видно :)
Кстати, нельзя сказать, что мы больше не разрабатываем вообще. У нас есть свои внутренние сервисы, которые мы сами написали и поддерживаем.
на наш первый митап сообществаЖаль, что не в Санкт-Петербурге. Было бы интересно.
Мы планируем делать прямую трансляцию. Ссылочку на неё пришлём в день митапа в чат по DE. И потом планируем выложить запись.
Эх, жаль не смогу побывать на митапе. Сам недавно сделал такой же переход fullstack -> DE. С автором соглашусь, что действительно начинаешь смотреть на дизайн бекенда с другой стороны, ну и сразу учишься проектировать бд и внутренние структуру микросервисов с оглядкой на то, как это будет использовано в ETL/BI.
Книги – это единственное спасениеа можете пожалуйста список порекомендовать?
Скорее могу порекомендовать подписку на O'Reilly :)
Если серьезно, то часто приходится читать что-то под задачу или технологию, с которой работаешь. Например, здесь я открыл для себя Spark, с которым не работал ранее. Сейчас изучаю его в том числе по книге:
Из материалов, не привязанных к конкретным технологиям или базам, я бы рекомендовал посмотреть на:
Вот еще, что успел полистать, мне понравилось и это в шорт-листе на чтение:
И пара рекомендаций от коллег:
Еще можно доклады со Strata Data Conference by O'Reilly посмотреть.
Если серьезно, то часто приходится читать что-то под задачу или технологию, с которой работаешь. Например, здесь я открыл для себя Spark, с которым не работал ранее. Сейчас изучаю его в том числе по книге:
- Spark: The Definitive Guide by Matei Zaharia, Bill Chambers
Из материалов, не привязанных к конкретным технологиям или базам, я бы рекомендовал посмотреть на:
- Designing Data-Intensive Applications by Martin Kleppmann
- Building a Scalable Data Warehouse with Data Vault 2.0 by Daniel Linstedt, Michael Olschimke
Вот еще, что успел полистать, мне понравилось и это в шорт-листе на чтение:
- Database Internals by Alex Petrov
- Designing Event-Driven Systems by Ben Stopford
- Event Streams in Action by Alexander Dean, Valentin Crettaz
И пара рекомендаций от коллег:
- Data Architecture: A Primer for the Data Scientist, 2nd Edition by W.H. Inmon, Daniel Linstedt, Mary Levins
- DAMA-DMBOK: Data Management Body of Knowledge (2nd Edition) by DAMA International
Еще можно доклады со Strata Data Conference by O'Reilly посмотреть.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Data Engineer or die: история одного разработчика