company_banner

Data Engineer и Data Scientist: что умеют и сколько зарабатывают

    Вместе с Еленой Герасимовой, руководителем факультета «Data Science и аналитика» в Нетологии, продолжаем разбираться, как взаимодействуют между собой и чем различаются Data Scientist и Data Engineer.

    В первой части рассказали об основных отличиях Data Scientist и Data Engineer.

    В этом материале поговорим о том, какими знаниями и навыками должны обладать специалисты, какое образование ценится работодателями, как проходят собеседования, а также сколько зарабатывают дата-инженеры и дата-сайентисты. 

    Что должны знать сайентисты и инженеры


    Профильное образование для обоих специалистов — Computer Science.



    Любой специалист по данным — дата-сайентист или аналитик — должен уметь доказывать корректность своих выводов. Для этого не обойтись без знания статистики и связанной со статистикой базовой математики.

    Машинное обучение и инструменты анализа данных незаменимы в современном мире. Если привычные инструменты недоступны, нужно иметь навыки быстрого изучения новых инструментов, создания простых скриптов для автоматизации задач.

    Важно отметить, что специалист по работе с данными должен эффективно донести результаты анализа. В этом ему поможет визуализация данных или результатов проведённых исследований и проверки гипотез. Специалисты должны уметь создавать диаграммы и графики, использовать инструменты визуализации, понимать и разъяснять данные из дашбордов.



    Для инженера данных на первый план выходят три направления.

    Алгоритмы и структуры данных. Важно набить руку в написании кода и использовании основных структур и алгоритмов:

    • анализ сложности алгоритмов,
    • умение писать понятный, поддерживаемый код, 
    • пакетная обработка,
    • обработка в реальном времени.

    Базы и хранилища данных, Business Intelligence:

    • хранение и обработка данных,
    • проектирование целостных систем,
    • Data Ingestion,
    • распределенные файловые системы.

    Hadoop и Big Data. Данных становится всё больше, и на горизонте 3‒5 лет эти технологии станут необходимы каждому инженеру. Плюс:

    • Data Lakes,
    • работа с облачными провайдерами.

    Машинное обучение будет использоваться повсеместно, и важно понимать, какие бизнес-задачи оно поможет решить. Не обязательно уметь делать модели (с этим справятся дата-сайентисты), но нужно разбираться в их применении и соответствующим требованиям.

    Сколько получают инженеры и сайентисты


    Доход инженеров по обработке данных


    В международной практике начальная зарплата обычно составляет $100 000 в год и значительно увеличивается с опытом, по данным Glassdoor. Кроме того, компании часто предоставляют опционы на акции и 5‒15% годовых бонусов.

    В России в начале карьеры зарплата обычно не меньше 50 тыс. рублей в регионах и 80 тыс. в Москве. На этом этапе не требуется опыт, кроме пройденного обучения.

    Через 1‒2 года работы — вилка 90‒100 тыс. рублей.

    Вилка увеличивается до 120‒160 тыс. через 2‒5 лет. Добавляются такие факторы, как специализация прошлых компаний, размер проектов, работа с big data и прочее.

    После 5 лет работы легче искать вакансии в смежных отделах или откликаться на такие узкоспециализированные позиции, как:

    • Архитектор или ведущий разработчик в банке или телеком — около 250 тыс.

    • Pre-Sales у вендора, с технологиями которого вы работали плотнее всего, — 200 тыс. плюс возможен бонус (1‒1,5 млн рублей). 

    • Эксперты по внедрению Enterprise business application, таких как SAP, — до 350 тыс.

    Доход дата-сайентистов


    Исследование рынка аналитиков компании «Нормальные исследования» и рекрутингового агентства New.HR показывает, что специалисты по Data Science получают в среднем большую зарплату, чем аналитики других специальностей. 

    В России начальная зарплата дата-сайентиста с опытом работы до года — от 113 тыс. рублей. 
    В качестве опыта работы сейчас также учитывается прохождение обучающих программ.
    Через 1‒2 года такой специалист уже может получать до 160 тыс.

    Для сотрудника с опытом работы от 4‒5 лет вилка вырастает до 310 тыс.

    Как проходят собеседования


    На западе выпускники программ профессионального обучения проходят первое собеседование в среднем через 5 недель после окончания обучения. Около 85% находят работу через 3 месяца.

    Процесс прохождения собеседований на вакансии инженера данных и дата-сайентиста практически не различается. Обычно состоит из пяти этапов.

    Резюме. Кандидатам с непрофильным предыдущим опытом (например, из маркетинга) необходимо для каждой компании подготовить подробное сопроводительное письмо или иметь рекомендации от представителя этой компании.

    Технический скрининг. Проходит, как правило, по телефону. Состоит из одного-двух сложных и столько же простых вопросов, касающихся текущего стека работодателя.

    HR-интервью. Может проходить по телефону. На этом этапе кандидата проверяют на общую адекватность и способность общаться.

    Техническое собеседование. Чаще всего проходит очно. В разных компаниях уровень позиций в штатном расписании отличается, и называться позиции могут по-разному. Поэтому на этом этапе проверяют именно технические знания.

    Собеседование с техническим директором / главным архитектором. Инженер и сайентист — стратегические позиции, а для многих компаний к тому же новые. Важно, чтобы потенциальный коллега понравился руководителю и совпадал с ним во взглядах.

    Что поможет сайентистам и инженерам в карьерном росте


    Появилось достаточно много новых инструментов по работе с данными. И мало кто одинаково хорошо разбирается во всех. 

    Многие компании не готовы нанимать сотрудников без опыта работы. Однако кандидаты с минимальной базой и знанием основ популярных инструментов могут получить нужный опыт, если будут обучаться и развиваться самостоятельно.

    Полезные качества для дата-инженера и дата-сайентиста


    Желание и умение учиться. Необязательно сразу гнаться за опытом или менять работу ради нового инструмента, но нужно быть готовым переключиться на новую область.

    Стремление к автоматизации рутинных процессов. Это важно не только для продуктивности, но и для поддержания высокого качества данных и скорости их доставки до потребителя.

    Внимательность и понимание «что там под капотом» у процессов. Быстрее решит задачу тот специалист, у которого есть насмотренность и доскональное знание процессов.

    Кроме отличного знания алгоритмов, структур данных и пайплайнов, нужно научиться мыслить продуктами — видеть архитектуру и бизнес-решение как единую картину. 

    Например, полезно взять любой известный сервис и придумать для него базу данных. Затем подумать, как разработать ETL и DW, которые наполнят её данными, какие будут потребители и что им важно знать о данных, а также как покупатели взаимодействуют с приложениями: для поиска работы и знакомств, прокат автомобилей, приложение для подкастов, образовательная платформа.
    Позиции аналитика, дата-сайентиста и инженера очень близки, поэтому переходить из одного направления в другое можно быстрее, чем из других сфер.
    В любом случае, обладателям любого ИТ-бэкграунда будет проще, чем тем, у кого его нет. В среднем взрослые мотивированные люди переучиваются и меняют работу каждые 1,5‒2 года. Легче это даётся тем, кто учится в группе и с наставником, по сравнению с теми, кто опирается лишь на открытые источники.

    От редакции Нетологии


    Если присматриваетесь к профессии Data Engineer или Data Scientist, приглашаем изучить программы наших курсов:


    Нетология
    Университет современных профессий

    Комментарии 12

      0
      Полезные качества для дата-инженера и дата-сайентиста

      Да вроде все перечисленное полезно для любого программиста. То же самое и про структуру интервью.

      Любой специалист по данным — дата-сайентист или аналитик — должен уметь доказывать корректность своих выводов.

      А как это на практике работает?

      задачи оперативного программирования

      А что такое оперативное программирование?
        0
        Да вроде все перечисленное полезно для любого программиста. То же самое и про структуру интервью.

        На Хабр часто заходят люди, у которых может быть не настолько полно сформировано понимание качеств программиста в широком смысле, и инженера — и для них список нужных качеств будет полезен.

        А как это на практике работает?

        Устная коммуникация с коллегами ценится в любой компании. Письменно она должны быть с логически построенной структурой, выводами и подкрепляющими их расчетами. Если при этом сотрудник способен аргументировать свою точку зрения, выбор метода реализации задачи или весов в модели — то он признается способным доказывать корректность своих выводов.

        А что такое оперативное программирование?

        Поправили текст в статье, чтобы было понятнее, о чём говорим. Спасибо.
        0
        Хотелось бы всё-таки больше информации по актуальным инструментам, а то здесь больше на рекламу курса какую-то похоже, без особой конкретики. Я ни в коем случае не хочу сказать, что данные направления один только хайп. Сам сейчас познаю прелести MPP, Spark, Hadoop и тд. Но как-то пункт «что умеют» совсем не раскрыт
          0
          Поддерживаю. Я вот тоже не понимаю совсем смысл изучения всех этих Spark, Hadoop, Kafka, Scala. Зачем они нужны, хотя бы узнать? И почему нельзя без них обойтись? А то никакой конкретики кроме красочных фантазий «Зарплата будет с… нулями! Всё будет зашибись, пацанчик!» :-) Попробовать бы сначала чтобы хотя бы на 1 собеседование пригласили, даже если в резюме приврать и написать, что знаешь и Spark, и Kafka, и прочее. Поделитесь кто-нибудь, из скольки откликов в среднем получили 1 звонок с приглашением?
            0
            Я наверное не совсем Data Engineer, должность называется ETL-Developer, но судя по описанию очень похоже. Когда в Октябре 2019 устраивался на работу, в среднем на 10 моих откликов было около 7 обратных (Многие очень долго отвечали, были приглашения на интервью с моих откликов на момент, когда я уже был 2 месяца как устроен на новой работе :D ). Также достаточно много только входящих предложений. Искал работу только зарубежном, после первого собеса уже уехал. Прикреплю статистику входящих предложений на открытый профиль в LinkedIn.image
              0

              А как откликались, если не секрет? Отдельно под каждую компанию резюме под нужды каждой? Лично писали или через стандартные формы? У вас какая-то запредельная конверсия откликов в ответы, хочется узнать секрет успеха :)
              Профиль крутой, но все же.
              И ещё вопрос, если можно. Не ощущаете ETL после DS скучным?

                0
                >> Не ощущаете ETL после DS скучным?

                Вы прямо в самое яблочко ) Причём по моим наблюдениям, DS больше математикам нравится заниматься, а ETL — технарям-программистам
                  0
                  molec AH89 Действительно скучнее, но это было намеренное решение. Так как я по образованию бизнес-аналитик, но с техническими навыками (как мне кажется :) ), которые прокачивал отдельно, то прямая дорога либо как раз в системные аналитики (уже был опыт), либо продолжать в области DS. Но за время своей работы, я понял две вещи: всё-таки мои технические навыки недостаточны, а процесс подготовки и обработки данных крайне важный в области науки о данных. Во-вторых, бизнес- и дата-анализ требуют большого погружения в проблематику клиента/заказчика, что ведёт к требованию хороших коммуникативных навыков, что я бы ещё смог изображать на английском, но не на немецком, который я знаю на недостаточном уровне. Поэтому было принято решение, прокачать язык и технические навыки в первый год после переезда в области обработки данных.

                  molec
                  Отвечая на вопрос по хорошей конверсии, я писал индивидуальные Lebenslauf и Anschreiben индивидуально для каждого работодателя, здраво оценивал свои возможности попасть на вакансию, к тому же долго оттачивал Anschreiben (мотивационное письмо) и с репетитором, и с помощью онлайн ресурсов по анализу резюме и МП. Это дало результаты.
                0
                Спасибо. ETL-Developer — это что-то интересное? На SQL скрипты писать? А на каком SQL пишите, транзакте, оракловом или каком-то др. диалекте? Какой из них более востребован или какой Вы лучше знаете? Для чего или кого пишите? И давно ли в Германию перебрались? Где немецкий язык учили?
                  0
                  Не думаю, что прям захватывающее :), но интересные моменты несомненно есть. В моём случае, это что-то среднее между бизнес аналитиком и дата инженером, ближе к последнему. Основной стек, Informatica и, соответственно, Java. (У немцев достаточно востребованный стек, судя по вакансиям в моём секторе, плюс, Ab Initio) В качестве базы данных DB2 (PL/SQL, такой же, как в Oracle) (Я лично лучше знаю реализацию от Postgres), тестирование в Jenkins, есть немного BASH и Python.

                  В Германию перебрался 15 Октября (вчера вот прошёл испыталку), как раз до всего этого веселья в России :)
                  Работаю на консалтинговую компанию — Senacor (Что-то вроде Luxoft, но с привкусом немецкого пива, стартапнее и, конечно, меньше), наш клиент — один государственные немецкий банк, который любит раздавать помощь во время вирусных кризисов ;).

                  Немецкий в основном изучал на курсах филфака СПбГУ, но потом большой толчок дала один репетитор, благодаря ей и подготовился так хорошо к собеседованиям.
                    0
                    Да, в молодом возрасте оно как-то проще мотивировать себя изучать что-то новое или перебираться для жизни в новую страну. Чувствуется, у вас были знакомые или родственники, которые сразу дали Вам необходимые установки и правильные ориентиры для вашего жизненного плана.
                    Конечно в среди перечисленных Вами технических компетенций пересечений с DS очень мало — достаточно посмотреть первые же 10 вакансий на том же российском Хантере с названием Data Science: требуют знание библиотек Python, даже SAS-SPSS с их пропрайтерными лицензиями уже не в моде, хотя казалось бы какая разница на чём делать модели? Я уже молчу про все эти Hadoop, Kafka и тд.
                    Очень сложный у Вас путь с немецким языком как 2ым ин.язом. Мой личный и семейный опыт изучения ин.язов показывает, что изучение в значительной степени мотивируется интересом к культуре. А вот просто место работы является плохим мотиватором для изучения. Про себя, например, с прискорбием должен констатировать, что у меня всегда был почти 0-вой интерес к немецкой культуре и тем более к языку… :-(
                0
                Хотелось бы всё-таки больше информации по актуальным инструментам

                В рамках одной статьи рассказать обо всем нереально: получится учебник. Поэтому мы стараемся готовить статьи на какую-то одну узкую тему.
                В ближайшее время мы планируем сделать материал о кейсах применения конкретных инструментов для будущих инженеров.

                Я вот тоже не понимаю совсем смысл изучения всех этих Spark, Hadoop, Kafka, Scala. Зачем они нужны, хотя бы узнать? И почему нельзя без них обойтись? А то никакой конкретики кроме красочных фантазий

                Да, вы правы, поиск работы – это не только список навыков и стоимость каждого из них для будущего работодателя.

                Прохождению собеседований мы учим и в рамках обучения, и после – привлекаем карьерных консультантов, менторов. И да, к сожалению, на собеседованиях вам будут отказывать на любом этапе: это закон рынка, но такая ситуация нормальна, потому что дело далеко не всегда в вас и ваших навыках.

                О трудоустройстве мы расскажем в отдельной статье.

            Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

            Самое читаемое