company_banner

Аналитика Big Data — реалии и перспективы в России и мире



    О больших данных сегодня не слышал только человек, который не имеет никаких внешних связей с внешним миром. На Хабре тема аналитики Big Data и смежные тематики популярны. Но неспециалистам, которые хотели бы посвятить себя изучению Big Data, не всегда ясно, какие перспективы имеет эта сфера, где может применяться аналитика Big Data и на что может рассчитывать хороший аналитик. Давайте попробуем разобраться.

    С каждым годом увеличивается объем генерируемой человеком информации. К 2020 году объем хранимых данных увеличится до 40-44 зеттабайт (1 ЗБ ~ 1 миллиард ГБ). К 2025 году — до примерно 400 зеттабайт. Соответственно, управление структурированными и неструктурированными данными при помощи современных технологий — сфера, которая становится все более важной. Интересуются большими данными как отдельные компании, так и целые государства.

    К слову, именно в процессе обсуждения информационного бума и способов обработки генерируемых человеком данных и возник термин Big Data. Считается, что впервые его предложил в 2008 году редактор журнала Nature — Клиффорд Линч.

    С тех пор рынок Big Data ежегодно увеличивается на несколько десятков процентов. И эта тенденция, по мнению специалистов, будет держаться и дальше. Так, по оценкам компании Frost & Sullivan в 2021 году общий объем мирового рынка аналитики больших данных увеличится до показателя в $67,2 млрд. Ежегодный рост составит около 35,9 %.

    Зачем нужна аналитика больших данных?


    Она позволяет выявлять крайне ценную информацию из структурированных или неструктурированных наборов данных. Благодаря этому бизнес, например, может определять тенденции, прогнозировать производственные показатели и оптимизировать собственные расходы. Понятно, что ради снижения расходов компании готовы внедрять самые новые решения.

    Технологии и методы анализа, которые используются для анализа Big Data:

    • Data Mining;
    • краудсорсинг;
    • смешение и интеграция данных;
    • машинное обучение;
    • искусственные нейронные сети;
    • распознавание образов;
    • прогнозная аналитика;
    • имитационное моделирование;
    • пространственный анализ;
    • статистический анализ;
    • визуализация аналитических данных.

    Аналитика Big Data в мире


    Сейчас аналитика больших данных используется в более чем 50 % компаний по всему миру. При том, что в 2015 году этот показатель составлял всего лишь 17 %. Big Data активнее всего используется компаниями, которые работают в сфере телекоммуникаций и финансовых услуг. Затем идут компании, которые специализируются на технологиях в здравоохранении. Минимальное использование аналитики Big Data в образовательных компаниях: в большинстве случаев представители этой сферы заявляли о намерении использовать технологии в ближайшем будущем.

    В США аналитика Big Data используется наиболее активно: более 55 % компаний из самых разных сфер работают с этой технологией. В Европе и Азии востребованность аналитики больших данных ненамного ниже — около 53 %.

    А что в России?


    По мнению аналитиков IDC, Россия является крупнейшим региональным рынком решений по аналитике Big Data. Рост объемов рынка таких решений в Центральной и Восточной Европе достаточно активный, каждый год этот показатель увеличивается на 11%. К 2022 году он достигнет в количественном отношении $5,4 млрд.

    Во многом такое бурное развитие рынка обуславливается ростом этой сферы в России. В 2018 году выручка от продажи соответствующих решений в РФ составила 40% от совокупного объема инвестиций в технологии обработки Big Data всего региона.

    В РФ больше всего на обработку Big Data тратят компании со стороны банковского и государственного секторов, телекоммуникационной индустрии и промышленности.

    Что делает Big Data Analyst и сколько получает в России?


    Специалист по анализу больших данных отвечает за изучение огромных массивов информации, как частично структурированных, так и неструктурированных. У банковских организаций это транзакции, у операторов — звонки и трафик, в ритейле — посещения клиентов и покупки. Как и говорилось выше, анализ Big Data позволяет обнаружить связи между различными факторами «сырой информационной истории», например, производственного процесса или химической реакции. На основе данных анализа разрабатываются новые подходы и решения в самых разных сферах — от производства до медицины.

    Навыки, необходимые аналитику Big Data:

    • Умение быстро разобраться в особенностях в той области, для которой проводится анализ, погрузиться в аспекты нужной сферы. Это может быть ритейл, нефтегазовая отрасль, медицина и т.п.
    • Знание методов статистического анализа данных, построения математических моделей (нейронные сети, байесовские сети, кластеризация, регрессионный, факторный, дисперсионный и корреляционный анализы и т.п.).
    • Уметь извлекать данные из разных источников, преобразовывать их для анализа, загружать в аналитическую базу данных.
    • Владение SQL.
    • Знание английского языка на уровне, достаточном для беспроблемного чтения технической документации.
    • Знание Python (хотя бы основ), Bash (без него очень сложно обойтись в процессе работы), плюс желательно знать основы Java и Scala (нужны для активного использования Spark, одного из самых популярных фреймворков для работы с большими данными).
    • Умение работать с Hadoop.

    Ну а сколько получает Big Data аналитик?


    Специалисты по Big Data сейчас в дефиците, спрос превышает предложение. Все потому, что бизнес приходит к пониманию: для развития нужны новые технологии, а для развития технологий требуются специалисты.

    Так вот, Data Scientist и Data Analyst в США вошли в топ-3 лучших профессий 2017 года по версии кадрового агентства Glassdoor. Средняя заработная плата этих специалистов в Америке начинается от $100 тысяч в год.

    В России специалисты по машинному обучению получают от 130 до 300 тысяч рублей в месяц, аналитики больших данных — от 73 до 200 тысяч рублей в месяц. Все зависит от опыта и квалификации. Конечно, есть вакансии с меньшей зарплатой, есть — с большей. Максимальный спрос на аналитиков больших данных в Москве и Санкт-Петербурге. На Москву, что не удивительно, приходится около 50 % активных вакансий (по данным hh.ru). Гораздо меньший спрос — в Минске и Киеве. Стоит отметить, что некоторые вакансии предлагают гибкий график и удаленную работу. Но в целом, компаниям требуются специалисты, которые работают в офисе.

    Со временем можно ожидать повышения спроса на аналитиков Big Data и представителей смежных специальностей. Как и говорилось выше, кадровый голод в сфере технологий никто не отменял. Но, конечно, для того, чтобы стать Big Data аналитиком необходимо учиться и работать, улучшая как те навыки, что указаны выше, так и дополнительные. Одна из возможностей начать путь Big Data аналитика — записаться на курс от Geekbrains и опробовать свои силы в сфере работы с большими данными.
    Mail.ru Group
    1143,00
    Строим Интернет
    Поделиться публикацией

    Похожие публикации

    Комментарии 0

    Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

    Самое читаемое