Data Science выходит в массы. Настолько, что пора напомнить основы, почти что на пальцах. Скоро вполне может появиться множество вакансий c Data Science в заголовке, явно заниженной зарплатой и требованиями к начинающему аналитику, поэтому давайте внесём ясность.
Если вы слышите о Data Science из каждого мегафона и утюга — и окончательно запутались, гуглите "Data Science в Excel", или всё понимаете и хотите объяснить науку о данных кому-то простыми словами, эта статья тоже для вас. А для продвинутых и знающих людей у нас есть другие материалы о практической стороне вопроса.
Данные в отдельно взятой компании
Знакомьтесь, стартап English 123:
Бизнес стартапа — личные и групповые уроки английского, разговорные клубы. Все данные клиентов хранятся в CRM. Но «аналитика» сводится к просмотру статистики покупок. Решения принимаются интуитивно. Директор считает, что знает свою аудиторию, но рекламные кампании иногда проваливаются с треском.
Однажды провалилась реклама, которая поначалу нравилась всему руководству. В неё вложили ощутимый бюджет, и руководитель схватился за голову: куча денег ушла в никуда. Почему — непонятно. Чтобы разобраться в этом, компания нашла аналитика.
Главная задача аналитика данных — превратить цифры и графики в понятные выводы, чтобы руководитель мог принимать решения. Также он строит предположения и проверяет гипотезы на реальных данных. А ещё аналитик много общается — не меньше, чем работает за компьютером.
Вот что аналитик сделал для школы:
Классифицировал данные из CRM, Яндекс.Метрики, Google Analytics и других информационных систем.
Визуализировал данные и подал их ясным языком, составив портрет целевой аудитории.
Проанализировал результаты событий, интеграций, рекламных кампаний и другой деятельности стартапа.
Опираясь на статистику, рассказал руководству, какие решения были ошибочными.
Предложил, как уменьшить отказы от заказов в сети.
Участвовал в редизайне сайта и калибровке рекламных кампаний по всем каналам. Запускал A/B-тесты, которые показывали реакцию пользователей на какое-то изменение.
Выяснилось, что серия последних интуитивных решений приводила к бесполезным результатам, а школа выживала на рынке благодаря почти случайным удачам. Аналитик прокачал стартап по всем фронтам. Давайте посмотрим, что нужно уметь, чтобы стать аналитиком.
Нужно в совершенстве владеть законами логики и мыслить критически. А ещё уметь и любить общаться с самыми разными людьми. Аналитик — посредник между таблицами цифр и руководителем. Главное в его работе — грамотно показать данные и представить выводы так, чтобы их поняли правильно и однозначно.
Специальность аналитика мы рекомендуем перфекционистам и экстравертам, которые умеют и любят презентовать свою работу другим людям. Она идеально подходит тем, кто стремится всё делать аккуратно и красиво.
Руководитель отдела аналитики в SkillFactory Артём Боровой рассказывает, что аналитика — творческая работа: трудно выделить единый подход к задачам. Каждая требует нового порядка действий, а значит, новых поисков решений.
Если вы решились стать аналитиком, нужно освоить следующие хард-скиллы:
Python или R, SQL.
Статистику, матанализ, теорию вероятностей.
Инструменты визуализации: Tableau, Power BI и другие.
Что вы получите за эту работу?
Зарплата
Мы проанализировали больше 100 вакансий на hh.ru — и вот что увидели:
Junior зарабатывает 60 000–70 000 рублей.
Middle — от 70 000 до 140 000 рублей. Здесь аналитики уже делятся на продуктовых, маркетинговых и бизнес-аналитиков, оплата труда зависит от сложности задач.
Senior и Teamlead в Москве: 140 000–190 000. Чуть меньше сумма в регионах — до 160 000.
При этом аналитик с хорошим бэкграундом часто уходит в Data Engineer и Data Science — там платят намного больше, поэтому чистых Senior Analyst мало.
Стать Data Analyst за 10 месяцев вы сможете на наших курсах. А здесь можно прочитать, как финансист Виктор Коваценко стал Data Scientist и уехал в Германию
Расширение и Data Engineer
Тем временем метрики English 123 опровергли устоявшийся портрет клиента, а недочёты работы в сети компания устранила A/B-тестами. Продажи выросли — расширилась и команда аналитиков.
Спустя 2 года анализ данных стал отнимать в несколько раз больше сил и времени, чем в начале работы команды аналитиков. Почему? Причины простые. Записи CRM дублировались, не было единой системы хранения и обработки данных. Узнав о проблемах, компания нашла человека, который доводит сырые данные до ума, — Data Engineer.
Инженер данных налаживает инфраструктуру и каналы данных от их получения до хранения, организует конвеер данных. Вот что Data Engineer сделал для стартапа:
Очистил данные от повторов, пробелов и прочих ошибок; удобно разделил информацию в таблицах по её смыслу.
Привёл существующие базы к единому виду.
Продумал и реализовал систему автоматического мониторинга и получения данных, а ещё системы их обработки и хранения.
Data Engineer освободил руки аналитиков — и они ускорили развитие компании. Информации стало ещё больше, но благодаря налаженной инфраструктуре аналитические модели работали эффективно.
Чтобы делать свою работу хорошо, Data Engineer должен обладать большим терпением. Работать нужно с цифрами, алгоритмами и кодом в полном беспорядке. Что вчера было чёткой системой, сегодня окажется хаосом — в крупных компаниях так случается часто. Хватает и рутинной работы вроде SQL-запросов.
Нужно видеть всю картину: представлять, как превратить массив данных в удобную и эффективную систему, как с данными будут работать аналитики. Необходимо понимать информационные процессы, то есть проштудировать все нюансы бизнеса.
Инженер данных гораздо ближе к разработчику, чем к аналитику. В небольших компаниях ему необязательно общаться с кем-то, кроме аналитиков. Профессия отлично подойдёт педанту с системным мышлением. Проверьте себя — если в вашем шкафу все вещи разложены по типу и цвету, то лучшей специальности вам просто не найти. Приглашаем вас на курс по Data Engineering.
В работе инженеру данных нужны:
Математика. На уровне выпускника технического вуза нужно знать матанализ, теорию вероятностей и статистику.
Python или R, SQL. Большой плюс — языки Java или Scala.
Hadoop, Kafka, Spark — инструменты работы с по-настоящему большими данными.
MS Azure, Amazon Web Services.
Зарплата Data Engineer
По данным hh.ru, инженер данных неплохо зарабатывает даже в рамках IT-сферы.
Junior может рассчитывать на 70 000–80 000 рублей; в Москве довольно много вакансий с минимальной зарплатой в 100 000.
Middle в среднем зарабатывает от 100 000 до 180 000 рублей. Есть ставки выше, но на таких вакансиях обычно нужны специфические знания или опыт использования не слишком популярных технологий.
Senior московская компания Playkot предлагает до 370 000 рублей. Хорошие инженеры данных очень ценятся, бизнес ими дорожит.
Стать Data Engineer вам поможет наш курс, который займёт 10 недель.
Продолжим историю
Усилиями команды компания выросла в несколько раз, появилось много продуктов: приложение для изучения лексики и отдельные программы подготовки к международным экзаменам. Бизнес вошёл в десятку крупнейших в стране.
Штат аналитиков уже не справлялся. Последней каплей стал провал социальной сети для изучения английского языка, в которую вложили полмиллиона долларов. Традиционный анализ показывал, что проект будет успешным, его оттачивали разными тестами. Но он не взлетел. В чём причина?
Массив данных English 123 превратился в Big Data, а бизнес как будто начинался снова: многое зависело от стечения обстоятельств. Необходим был человек, который поймёт, что творится, и расскажет, что делать. Так в компанию пригласили Data Scientist.
Опираясь на проверенные и новейшие исследования в ИИ, Data Scientist строит нейросети и модели ML. Вначале они могут быть непонятны, но модели работают, решают реальные проблемы. Главное в работе DS — все свои идеи он должен объяснить бизнесу и обосновать их пользу. Вот почему такой специалист стоит очень дорого.
Data Scientist — идеальная работа для новаторов. Работа в науке о данных — это постоянный поиск идей и нестандартных решений. Если вы искали профессию, где слиты воедино творчество и математика, то вы её нашли.
Благодаря Data Scientist высшие руководители отвечают только за долгосрочное планирование, а практические задачи предоставлены менеджерам и аналитикам.
SkillFactory — прежде всего школа Data Science, чтобы быть конкретными, кратко перечислим темы проектов наших студентов:
Система рекомендаций интернет-магазина; Instagram-бот коммерческого аккаунта для поиска, оценки и взаимодействия с лидерами мнений.
Автоматическое составление резюме текста; алгоритм оценки тона сообщений GPT-3 на заданную тему.
Извлечение промокодов из контента соцсетей; робот-предсказатель; прогнозирование задержек авиарейсов; анализ видео из беспилотных автомобилей.
Модель прогнозирования нетарифных барьеров в торговле молочной продукцией и расширение её ассортимента до 6 видов товаров животного и растительного происхождения.
Вот что нужно знать Data Scientist
Понимать математические выкладки — да, но этого мало. Нужно представлять себе, где они выстрелят. Владеть Machine Learning и Deep Learning: линейной и логистической регрессиями, деревьями решений, методами опорных векторов и т. д.
Python и его библиотеки: TensorFlow, Keras, PyTorch, LightGBM, NumPy, SciPy, Pandas, sklearn. Владение C или C++ будет большим преимуществом.
SQL работает большинство проектов. Базы NoSQL нужны реже.
Tableau, Power BI, другие инструменты визуализации Seaborn, Plotly или Matplotlib.
Один из самых важных моментов — что получит специалист за такой труд.
Зарплата Data Science
Посмотрим на последние данные hh.ru за последний месяц:
От 100 000 рублей до 140 000 в месяц может зарабатывать Junior. Но Junior в Data Science очень мало. Почему? Смотрите выше: в DS переходят спецы уже с бэкграундом в разработке или аналитике данных.
До 215 000 рублей — зарплата крепкого Middle.
Senior и Lead Data Scientist могут зарабатывать от 300 000 до 500 000. На вес золота.
Освоить профессию Data Science вы можете на наших курсах за 24 месяца. А вот полная картина востребованности последних лет, по данным Open Data Science:
Наука о данных растёт просто невообразимыми темпами. Количество вакансий по главным специальностям за год увеличилось в 2,2 раза. При этом, по словам Data Scientist в VK Михаила Воловича, требования к DS пока размыты. Но именно эта пластичность даёт разные точки роста разным людям.
Поэтому если вы хотели начать карьеру в IT или перейти в сферу данных из разработки и тестирования, то сделайте это прямо сейчас.
Также вы можете перейти на страницы из каталога, чтобы узнать, как мы готовим специалистов в других направлениях.
Другие профессии и курсы
Data Science и Machine Learning
Python, веб-разработка
Мобильная разработка
Java и C#
От основ — в глубину
А также