Что? Начинать без машинного обучения?

Правило №1: не бойтесь запускать продукт без машинного обучения.

Машинное обучение — это здорово, но для него требуются данные. Теоретически, можно взять данные из другой задачи и подстроить модель под новый продукт, но она, скорее всего, не справится с базовыми эвристиками. Если вы предполагаете, что машинное обучение придаст вам рост на 100%, то эвристика даст вам 50%.

Сейчас сложно представить себе стабильно работающий сервис, если у вас на должном уровне не налажен мониторинг. Это и постоянно обновляющиеся статусы инфраструктуры, и хороший сбор логов, и возможность вовремя посылать уведомления — в общем, вы знаете.

Меня зовут Юрий, в этом посте я хочу рассказать вам, как мы налаживали мониторинг сервисов в компании и делали так, чтобы к нам не страшно было обратиться с таким запросом.

Как было

Раньше наш мониторинг можно было описать так: куча очень умных людей ожесточенно программируют пробники на очень сложных языках, пытаясь замониторить все, что попадает в поле зрения. Несчастный заказчик, заходящий к ним побеседовать, сначала должен был заполнить десятки разных опросников и файлов, а потом долгое время отходить от услышанных слов вида “SNMP-трапы”, “пробы”, “агенты”.

Затем у нас появился E2E-мониторинг, способный эмулировать некоторые клиентские операции, именно так мы тогда и мониторили работу наших сервисов. Но были и печали: чтобы E2E в принципе начал что-то мониторить, нужно было составить ФТ объемом страниц эдак в 50 А4, а потом потратить несколько месяцев на разработку

1962

В этом году появился первый тонкоплёночный транзистор (thin-film transistor, TFT), разработанный инженером RCA Полом Веймером — изобретателем, получившим множество патентов, связанных с технологией электронно-лучевых трубок. Его работа, вдохновлённая предыдущими инновациями, стала фундаментом, приведшим к созданию современной технологии производства дисплеев. RCA использовала изобретение в качестве основы технологии создания дисплеев на жидких кристаллах, которую в дальнейшем усовершенствовал её конкурент, компания Westinghouse.

Данные. Они повсюду и их становится только больше. За последние 5-10 лет data science привлекла множество новичков, пытающихся ощутить вкус этого запретного плода.

Но как сегодня выглядит ситуация с наймом в data science?

Вот краткое изложение статьи в двух предложениях.

TLDR: в компаниях на 70% больше вакансий на должности дата-инженеров, чем на должности дата-саентистов. Так как мы обучаем новое поколение практиков в сфере обработки данных и машинного обучения, давайте сделаем больший упор на инженерные навыки.

Так как моя работа заключается в разработке обучающей платформы для профессионалов в области данных, я много думаю о том, как эволюционирует рынок вакансий, связанных с данными (машинное обучение и data science).

Общаясь с десятками перспективных новичков в сфере данных, в том числе и со студентами лучших вузов мира, я увидел серьёзное недопонимание того, какие навыки являются наиболее важными, помогают выделиться из толпы и подготовиться к карьере.

Дата-саентист может работать в любом сегменте следующих сфер: моделирование машинного обучения, визуализация, очистка и обработка данных (например, преобразование данных для SQL), проектирование и развёртывание на производстве.

С чего вообще начинать рекомендации курса обучения для новичков?

Данные говорят громче слов. Поэтому я решил провести анализ должностей в сфере данных, на которые есть вакансии у компаний, выходивших из Y-Combinator с 2012 года. Вопросы, которыми я руководствовался в своих исследованиях:

В свои первые годы Интернет сильно отличался от современного. Большинство людей бы его не узнало, в основном он состоял из электронных досок объявлений (bulletin board systems) без мультимедиа, за исключением нескольких изображений низкого разрешения. Эти системы досок были разделены, и до каждой нужно было дозваниваться по отдельности.

Интернет сильно изменился благодаря появлению World Wide Web. Все эти ранее отделённые системы соединились, но миру требовался способ их просмотра (браузинга) — нужен был «веб-браузер». В апреле 1994 года Марк Андриссен и Джеймс Кларк основали Mosaic Communications Corporation. Словом Mosaic назвали программное обеспечение, позволявшее пользователям получать доступ к различному содержимому веба. Андриссен работал над этим проектом, пока сотрудничал с National Center for Supercomputing Applications (NCSA) Университета Иллинойса.

Суть мониторинга

Весь телеком-бизнес основан на данных, и Билайн не исключение. Данные генерируются как внутри, так и снаружи: в OSS-системах (события на оборудовании, сетевой трафик), в BSS-системах (клиентские транзакции, маркетинговые кампании), на платформах Яндекс, Google и других. Общее количество систем, с которыми работает компания, исчисляется сотнями.

Чтобы извлекать пользу из всех этих данных, в Билайн с 2014 года существует и развивается платформа для их обработки. Считаю полезным для ИТ-сообщества делиться опытом, поэтому начинаю цикл статей о платформе обработки данных в Билайн.

Этот пост является первым. Поэтому для старта я кратко расскажу о роли платформы в реализации стратегии компании, предоставляемых возможностях (capabilities) и основных характеристиках. В последующих постах я буду более детально останавливаться на каждом элементе, иногда даже с погружением в отдельные компоненты.

Началом существования платформы обработки данных принято считать то время, когда в Билайн начали стартовать первые digital-проекты, основанные на аналитике данных. Платформа была создана как лаборатория: состав технологий мог меняться с каждой новой задачей, объем оборудования определялся глубиной данных, необходимых конкретным продуктовым командам. Тогда же начала формироваться команда девопс-инженеров, в руках которой и по сей день находится эксплуатация платформы.

• Как однажды мне на месяц заблокировали доступ к аккаунту Google
• Каково это — бессрочно быть заблокированным в Google
• Apple Card отключила мои аккаунты iCloud, App Store и Apple ID [перевод на Хабре]
• GitHub заблокировал всю компанию, потому что один её сотрудник находился в Иране

Как сохранить контроль над своими данными и инструментами

В 2018 году в России отменили внутрисетевой роуминг, чтобы сделать жизнь абонентов проще. Теперь, если вы приезжаете в какой-то другой регион, то все ваши звонки на номера этого региона будут считаться «домашними» и тарифицироваться соответственно. И вроде бы всё просто. Но страна у нас большая, областей много, и ряд сложностей возникает именно на границах этих областей из-за специфики работы базовых станций.

Представьте себе ситуацию. Вам надо съездить в командировку в Москву из Ростова-на-Дону. Пока вы в Москве или Московской области, все ваши звонки на номера этого региона будут локальными, тут всё ясно и проблем нет. Ваши звонки будут междугородними только тогда, когда вы позвоните из Москвы домой, в Ростов-на-Дону. Здесь тоже пока всё понятно.

А вот когда вы окажетесь на границе с Тверской областью, возможны нюансы. Вы знаете, что вы именно на границе с Тверской областью, причем всё ещё на стороне Московской области. А ваш смартфон уже коварно прицепился к базовой станции Тверской области. Поэтому при таком звонке в Москву система будет уверена, что совершается междугородный звонок, из Тверской области в Москву, и денег за него снимут больше, чем планировалось.

Но вы-то понимаете, что физически вы не пересекали границу Тверской области, и происходящее — вообще не ваши проблемы. Более того, такие ситуации часто возникали у людей, которые постоянно живут на границе областей с разными БС.

Мы исправили это. Теперь у людей, который живут в подобных местах вблизи границ областей, а также туристов и путешественников не будет проблем с неправильным определением региона и, как следствие, никаких лишних списаний за совершенные звонки. О том, как мы это сделали — под катом.

Перед открытием нового бизнеса, смены логотипа, расширением ассортимента или запуском рекламной кампании хорошо бы заранее знать главное — как воспримут ваши действия будущие покупатели? Будут ли новшества или активности иметь успех? Сработает ваша бизнес-модель, понравится ли пользователям новый логотип, или от него в восторге только дизайнеры? Принесет рекламная кампания пользу или проделает дыру в бюджете?

Давайте же вспомним, чему нас учит маркетинг? Продавать нужно то, что будет непременно куплено. 

Мы предлагаем новый инструмент для вашего бизнеса, «Мобильные опросы», который поможет еще до старта оценивать эффективность ваших идей. Пригодится как крупным компаниям, так и стартапам.

Появление услуги летом 2020 года вызвало немало вопросов на рынке, хотя появление такого продукта выглядит очень логичным, а методология и результаты — прозрачными. При наличии большого количества инструментов себестоимость продукта удалось сделать в несколько раз меньше, чем у компаний, собирающих данные по классическим методикам. Это объясняется несколькими причинами: во-первых, мы не содержим штат интервьюеров и верификаторов, эти функции заменили современные инструменты: BigData и развитая платформа обработки данных. Во-вторых, сами данные — нам не надо закупать сторонние базы данных для совершения обзвонов (мы вообще никому не звоним с опросами), у нас есть собственная база, которую можно сегментировать по более чем 700 параметрам, и направлять предложение пройти опрос прямо на телефон. Ещё одно важное преимущество в том, что опросы можно теперь проводить по всей России, даже там, где это было ранее просто физически невозможно. Например, в регионах и малых поселениях.

Все вместе работает очень быстро, без ошибок и значительно дешевле, что не может не радовать малый и средний бизнес, ведь данные инструменты им раньше были в принципе недоступны.  

Зачем вообще нужен WAF

Первые операции по 5G в России

1. Первая операция – извлечение NFC-чипа, вживленного в руку Джорджа Хелда, исполнительного вице-президента по развитию цифрового и нового бизнеса Билайн. С самим чипом, как и с рукой Джорджа, все в порядке, просто чип успел к тому времени морально устареть (его устанавливали в 2015-м году).
2. Вторая операция (удаление раковой опухоли у одного из пациентов клиники) проводилась с использованием подключенного к 5G-сети лапароскопа с 4К-камерой, анестезиологического пульта, нескольких камер и мультимедийной «белой доски» Huawei 5G для обмена экспертными мнениями всеми сторонами консилиума и выработки рекомендаций в режиме реального времени.

Как всё работало

DDoS-атаке может подвергнуться любой ресурс. Чаще всего атаки носят целенаправленный характер — злоумышленники могут пытаться положить сайт с какой-то информацией (разного рода СМИ и сайты с ТВ-трансляции сталкивались с подобным, и не раз). Предприятия торговли и банки тоже страдают от этого, для них простой систем довольно критичен, люди привыкли заходить в приложение банка или интернет-магазина и в пару кликов переводить деньги или покупать товары. Поэтому здесь и очевидные финансовые потери, и снижение лояльности клиента сразу.

Если даже у вас средний бизнес, а не магазин с тысячами товаров, DDoS все равно штука не очень приятная, которую хорошо бы предотвращать. Да и, кроме DDoS, общий уровень информационной безопасности стоит поддерживать. Особенно сейчас, когда многие компании перешли на удаленку, и часть сотрудников работает не только с корпоративных ноутбуков, но и с личных.

Мы в Билайн.Бизнес начинаем предоставлять услугу под названием «Защита от DDoS атак NetFlow». В этом посте мы расскажем, что это и как работает.