О больших данных сегодня не слышал только человек, который не имеет никаких внешних связей с внешним миром. На Хабре тема аналитики Big Data и смежные тематики популярны. Но неспециалистам, которые хотели бы посвятить себя изучению Big Data, не всегда ясно, какие перспективы имеет эта сфера, где может применяться аналитика Big Data и на что может рассчитывать хороший аналитик. Давайте попробуем разобраться.
С каждым годом увеличивается объем генерируемой человеком информации. К 2020 году объем хранимых данных увеличится до 40-44 зеттабайт (1 ЗБ ~ 1 миллиард ГБ). К 2025 году — до примерно 400 зеттабайт. Соответственно, управление структурированными и неструктурированными данными при помощи современных технологий — сфера, которая становится все более важной. Интересуются большими данными как отдельные компании, так и целые государства.
К слову, именно в процессе обсуждения информационного бума и способов обработки генерируемых человеком данных и возник термин Big Data. Считается, что впервые его предложил в 2008 году редактор журнала Nature — Клиффорд Линч.
С тех пор рынок Big Data ежегодно увеличивается на несколько десятков процентов. И эта тенденция, по мнению специалистов, будет держаться и дальше. Так, по оценкам компании Frost & Sullivan в 2021 году общий объем мирового рынка аналитики больших данных увеличится до показателя в $67,2 млрд. Ежегодный рост составит около 35,9 %.
Зачем нужна аналитика больших данных?
Она позволяет выявлять крайне ценную информацию из структурированных или неструктурированных наборов данных. Благодаря этому бизнес, например, может определять тенденции, прогнозировать производственные показатели и оптимизировать собственные расходы. Понятно, что ради снижения расходов компании готовы внедрять самые новые решения.
Технологии и методы анализа, которые используются для анализа Big Data:
- Data Mining;
- краудсорсинг;
- смешение и интеграция данных;
- машинное обучение;
- искусственные нейронные сети;
- распознавание образов;
- прогнозная аналитика;
- имитационное моделирование;
- пространственный анализ;
- статистический анализ;
- визуализация аналитических данных.
Аналитика Big Data в мире
Сейчас аналитика больших данных используется в более чем 50 % компаний по всему миру. При том, что в 2015 году этот показатель составлял всего лишь 17 %. Big Data активнее всего используется компаниями, которые работают в сфере телекоммуникаций и финансовых услуг. Затем идут компании, которые специализируются на технологиях в здравоохранении. Минимальное использование аналитики Big Data в образовательных компаниях: в большинстве случаев представители этой сферы заявляли о намерении использовать технологии в ближайшем будущем.
В США аналитика Big Data используется наиболее активно: более 55 % компаний из самых разных сфер работают с этой технологией. В Европе и Азии востребованность аналитики больших данных ненамного ниже — около 53 %.
А что в России?
По мнению аналитиков IDC, Россия является крупнейшим региональным рынком решений по аналитике Big Data. Рост объемов рынка таких решений в Центральной и Восточной Европе достаточно активный, каждый год этот показатель увеличивается на 11%. К 2022 году он достигнет в количественном отношении $5,4 млрд.
Во многом такое бурное развитие рынка обуславливается ростом этой сферы в России. В 2018 году выручка от продажи соответствующих решений в РФ составила 40% от совокупного объема инвестиций в технологии обработки Big Data всего региона.
В РФ больше всего на обработку Big Data тратят компании со стороны банковского и государственного секторов, телекоммуникационной индустрии и промышленности.
Что делает Big Data Analyst и сколько получает в России?
Специалист по анализу больших данных отвечает за изучение огромных массивов информации, как частично структурированных, так и неструктурированных. У банковских организаций это транзакции, у операторов — звонки и трафик, в ритейле — посещения клиентов и покупки. Как и говорилось выше, анализ Big Data позволяет обнаружить связи между различными факторами «сырой информационной истории», например, производственного процесса или химической реакции. На основе данных анализа разрабатываются новые подходы и решения в самых разных сферах — от производства до медицины.
Навыки, необходимые аналитику Big Data:
- Умение быстро разобраться в особенностях в той области, для которой проводится анализ, погрузиться в аспекты нужной сферы. Это может быть ритейл, нефтегазовая отрасль, медицина и т.п.
- Знание методов статистического анализа данных, построения математических моделей (нейронные сети, байесовские сети, кластеризация, регрессионный, факторный, дисперсионный и корреляционный анализы и т.п.).
- Уметь извлекать данные из разных источников, преобразовывать их для анализа, загружать в аналитическую базу данных.
- Владение SQL.
- Знание английского языка на уровне, достаточном для беспроблемного чтения технической документации.
- Знание Python (хотя бы основ), Bash (без него очень сложно обойтись в процессе работы), плюс желательно знать основы Java и Scala (нужны для активного использования Spark, одного из самых популярных фреймворков для работы с большими данными).
- Умение работать с Hadoop.
Ну а сколько получает Big Data аналитик?
Специалисты по Big Data сейчас в дефиците, спрос превышает предложение. Все потому, что бизнес приходит к пониманию: для развития нужны новые технологии, а для развития технологий требуются специалисты.
Так вот, Data Scientist и Data Analyst в США вошли в топ-3 лучших профессий 2017 года по версии кадрового агентства Glassdoor. Средняя заработная плата этих специалистов в Америке начинается от $100 тысяч в год.
В России специалисты по машинному обучению получают от 130 до 300 тысяч рублей в месяц, аналитики больших данных — от 73 до 200 тысяч рублей в месяц. Все зависит от опыта и квалификации. Конечно, есть вакансии с меньшей зарплатой, есть — с большей. Максимальный спрос на аналитиков больших данных в Москве и Санкт-Петербурге. На Москву, что не удивительно, приходится около 50 % активных вакансий (по данным hh.ru). Гораздо меньший спрос — в Минске и Киеве. Стоит отметить, что некоторые вакансии предлагают гибкий график и удаленную работу. Но в целом, компаниям требуются специалисты, которые работают в офисе.
Со временем можно ожидать повышения спроса на аналитиков Big Data и представителей смежных специальностей. Как и говорилось выше, кадровый голод в сфере технологий никто не отменял. Но, конечно, для того, чтобы стать Big Data аналитиком необходимо учиться и работать, улучшая как те навыки, что указаны выше, так и дополнительные. Одна из возможностей начать путь Big Data аналитика — записаться на курс от Geekbrains и опробовать свои силы в сфере работы с большими данными.
