Привет, Хабр! Меня зовут Илья Казначеев, я техлид в MTS Cloud, это облачный провайдер МТС. Моя команда занимается сервисом Kubernetes Managed, а еще мы проводим тесты облачных платформ. В этой статье я расскажу о нашем опыте: какие виды тестов мы пробовали, как боролись с проблемами и к чему в итоге пришли.
Пользователь
Виктор Кантор — об учебе в МФТИ, работе в ABBYY, Яндексе, МТС и о том, каким должен быть data scientist
12 min
12KВ прошлом году директор центра Big Data МТС Виктор Кантор вошел в рейтинг Forbes самых перспективных россиян до 30 лет. Специально для блога МТС руководитель образовательного проекта MTC — МТС.Teta Савва Демиденко побеседовал с Виктором о его пути в мир больших данных — от обучения в МФТИ до работы в МТС, о том, зачем специалисту преподавать, а также о нашем образовательном проекте.
+9
Как МТС тестировала защищенную передачу данных на транспортной сети со скоростью до 100 Гбит/сек
2 min
5.7KВ конце года мы протестировали техническое решение по защищенной передаче данных со скоростью до 100 Гбит/ сек – с использованием программно-аппаратного комплекса «Квазар-100». Испытания прошли на участке Москва – Санкт-Петербург магистральной транспортной сети компании. Транспортный канал связал центры обработки данных (ЦОД) в двух столицах.
+6
Особенности защиты веб-приложений с помощью WAF
7 min
5.6KБизнесу важно любой ценой сократить time to market цифровых продуктов. Нет времени объяснять защищать — выпускаем новый релиз. Так зачастую бывает с веб-приложениями. При их разработке или развитии вопросы безопасности отодвигаются на второй план. Это приводит к уязвимостям в коде, слабым параметрам аутентификации пользователей, недостаткам контроля доступа и т.д. И целого поста на Хабре не хватит, чтобы рассказать обо всех проблемах.
Уязвимости — это рабочая неизбежность, ведь задача бизнеса — выпустить новый функционал веб-приложений в заданные сроки, когда нет места идеальному результату без временных ограничений.
Уязвимости — это рабочая неизбежность, ведь задача бизнеса — выпустить новый функционал веб-приложений в заданные сроки, когда нет места идеальному результату без временных ограничений.
+4
ArchOps и как мы до него дошли
9 min
7KВсем привет! Недавно у нас в MTS DIgital прошла десятая научно-техническая конференция Hello, conference!, докладами с которой хотелось бы поделиться с сообществом. В этой статье руководитель центра RnD MTS Digital Дмитрий Дзюба и руководитель направления системной архитектуры MTS Digital Александр Петрухина расскажут про ArchOps.
Для любителей видео доклады с конференции доступны в записи.
Для любителей видео доклады с конференции доступны в записи.
+4
Использование Jetpack Compose в продакшне: первые впечатления
7 min
8.9KМы в МТС Банке давно ждали релиза Jetpack Compose, чтобы использовать его в продакшне. В прошлом месяце такая возможность наконец появилась — мы решили обновить дизайн одного из экранов нашего приложения «МТС Банк для бизнеса» для Android.
В статье я хотел бы поделиться нашим опытом внедрения Jetpack Compose, мыслями о его преимуществах, а также привести несколько лучших практик, которые помогут вам в его освоении. Надеюсь, эта статья будет полезна тем, кто хочет попробовать Jetpack Compose в своем проекте.
В статье я хотел бы поделиться нашим опытом внедрения Jetpack Compose, мыслями о его преимуществах, а также привести несколько лучших практик, которые помогут вам в его освоении. Надеюсь, эта статья будет полезна тем, кто хочет попробовать Jetpack Compose в своем проекте.
+13
Методы детоксификации текстов для русского языка
9 min
9.8KВНИМАНИЕ! В статье есть примеры текстов, содержащие мат и грубые выражения. Мы ни в коем случае не хотим оскорбить наших читателей, все подобные тексты приведены лишь в научных целях в качестве примеров токсичности в реальных текстах из Интернета.
Всем привет! Меня зовут Дарина Дементьева, я являюсь аспиранткой в Сколковской лаборатории обработки естественного языка (Skoltech NLP), где занимаюсь исследовательскими проектами совместной лаборатории Skoltech NLP и MTS AI. В рамках работы в совместной лаборатории мы провели серию исследований, посвященных важной социальной проблеме – борьбе с токсичной речью в Интернете или детоксификации текстов.
В этой статье мы расскажем про результаты исследований методов детоксификаций для русского языка. Эта работа была опубликована и презентована на конференции Диалог, а также принята в журнал MDPI. Результаты экспериментов на английском языке приняли для презентации на одной из ведущих конференций в области обработки естественного языка EMNLP. Мы представляем вам краткую выжимку с описанием моделей, постановкой и результатами экспериментов, а в конце вы сможете самостоятельно ̶п̶о̶м̶а̶т̶е̶р̶и̶т̶ь̶с̶я̶ ̶в̶ ̶ч̶а̶т̶е̶ протестировать модели в бою. Теперь – добро пожаловать под кат!
+13
Что важно знать о технологии eSIM IoT/M2M для B2B рынка?
11 min
20KУмные устройства стали окружать нас повсеместно: дома, на улице, на работе, не говоря уже о современном заводе или автомобиле. Этим устройствам для функционирования необходима мобильная связь. eSIM – это технология, которая позволяет удалённо загружать абонентский профиль в IoT и M2M оборудование.
Абонентский профиль загружается на встроенный в оборудование eSIM-микрочип. Обычная SIM-карта и SIM-чип не позволяют изменить владельца без похода к оператору связи и замены физического носителя. Технология eSIM позволяет удаленно «перепрошить» устройство и загрузить туда новый абонентский профиль.
Использование eSIM упрощает процедуру тестирования устройств интернета вещей, снижает себестоимость и затраты на логистику и обслуживание SIM-карт. Технология позволяет повысить и надежность оборудования: устройство можно сделать полностью герметичным, а форм-фактор SIM-чипа делает его практически не подверженным внешнему влиянию, такому как перепады температур или вибрации.
Рис. 1. Форм-факторы SIM-карт и SIM-чипа MFF2
Абонентский профиль загружается на встроенный в оборудование eSIM-микрочип. Обычная SIM-карта и SIM-чип не позволяют изменить владельца без похода к оператору связи и замены физического носителя. Технология eSIM позволяет удаленно «перепрошить» устройство и загрузить туда новый абонентский профиль.
Использование eSIM упрощает процедуру тестирования устройств интернета вещей, снижает себестоимость и затраты на логистику и обслуживание SIM-карт. Технология позволяет повысить и надежность оборудования: устройство можно сделать полностью герметичным, а форм-фактор SIM-чипа делает его практически не подверженным внешнему влиянию, такому как перепады температур или вибрации.
Рис. 1. Форм-факторы SIM-карт и SIM-чипа MFF2
+9
Атаки злоумышленников и уязвимости. При чем здесь коммерческий SOC?
5 min
28KВведение
Делая выбор в пользу подключения к SOC (Security Operations Center), компания, зачастую, рассматривает провайдера как «подстраховку» в работе со сложными инцидентами и угрозами, справиться с которыми своими силами для нее потенциально было бы затруднительно. При этом часто бывает, что уже на этапе пилотного тестирования сервиса проявляются узкие места или критичные недоработки в существующей стратегии обеспечения информационной устойчивости цифровых активов. Именно поэтому SOC – это совместный «путь», где компания и провайдер сервиса идут рука об руку, дополняя и помогая друг другу на всей дистанции.
Рис. 1. Распространенные слабые места у компаний
Мы накопили многолетний опыт по обеспечению информационной безопасности: как своей собственной, так и наших клиентов. И хотим им поделиться с читателями. В рамках этой статьи будут приведены несколько кейсов, успешно предотвращенных нашим коммерческим SOC. Из них можно извлечь для себя немало полезного.
0
OpenTelemetry на практике
11 min
66KСовсем недавно два стандарта – OpenTracing и OpenCensus – окончательно объединились в один. Появился новый стандарт распределенного трейсинга и мониторинга – OpenTelemetry. Но несмотря на то, что разработка библиотек идет полным ходом, реального опыта его использования пока не слишком много.
Илья Казначеев color, который занимается разработкой восемь лет и работает backend-разработчиком в МТС, готов поделиться тем, как применять OpenTelemetry в Golang-проектах. На конференции Golang Live 2020 он рассказал о том, как настроить использование нового стандарта для трейсинга и мониторинга и подружить его с уже существующей в проекте инфраструктурой.
Илья Казначеев color, который занимается разработкой восемь лет и работает backend-разработчиком в МТС, готов поделиться тем, как применять OpenTelemetry в Golang-проектах. На конференции Golang Live 2020 он рассказал о том, как настроить использование нового стандарта для трейсинга и мониторинга и подружить его с уже существующей в проекте инфраструктурой.
+9
Big Data: архитектура w/vs инфраструктура
12 min
21KВ этой статье вы узнаете, как МТС решает задачи по хранению и обработке больших данных. Как архитектура платформы Big Data совместно с инфраструктурой помогает их решать более эффективно. А когда наоборот — инфраструктура выступает существенным ограничителем, влияющим на архитектуру платформы.
Меня зовут Сергей Косый komgbu, я работаю руководителем центра компетенций архитектуры в центре Big Data МТС. Я и многие мои коллеги очень любим две вещи: большие данные и велосипеды. На велосипедах предпочитаем ездить, а не изобретать их.
Меня зовут Сергей Косый komgbu, я работаю руководителем центра компетенций архитектуры в центре Big Data МТС. Я и многие мои коллеги очень любим две вещи: большие данные и велосипеды. На велосипедах предпочитаем ездить, а не изобретать их.
+5
Применение микросервисной архитектуры в потоковой обработке Big Data
7 min
13KНа Хабре вы можете найти множество статей применения данной архитектуры. Этой теме уже более 10 лет и, казалось бы, о чем же здесь еще говорить? Но я бы хотел не просто еще раз вспомнить об микросервисах, а рассказать о применении данной архитектуры именно в разрезе потоковой обработки Big Data. Попытаться объяснить, чем отличается модель потоковой обработки от классической трехуровневой. На реальном примере сравнить применение микросервисов и монолита.
+3
Who is mr. Marvin?
4 min
5.4KВ июне этого года мы выпустили на рынок умную колонку с голосовым помощником по имени Марвин. Она может работать до 2 часов без подзарядки. У колонки шесть микрофонов для обработки голосовых команд. ПО полностью разработано внутри МТС без использования сторонних коммерческих решений. В этом посте разберем основные функции и технические характеристики новинки.
0
Из чего состоит набор для разработчиков NB-IoT DevKit?
7 min
21KНабор вышел в начале июня. Он поможет разобраться, в чем преимущества сети интернета вещей NB-IoT, и научит работать с ней. В комплект входит аппаратная часть, коннективити, то есть доступ к сети NB-IoT и доступ к IoT-платформам. Главная «фича» DevKit – демонстрационная прошивка, которая позволяет на практике разобраться, как работает система. В этой статье детально рассмотрим DevKit и его возможности.
Когда мы начали разворачивать сеть NB-IoT (почитать больше о сети NB-IoT можно здесь), на нас со всех сторон посыпались различные вопросы. Крупные производители, которые много лет работают на рынке M2M устройств, стартапы, начинающие разработчики и просто любители интересовались режимами работы сети, протоколами передачи данных, даже управлением радиомодулем АТ-командами. Нас спрашивали, какие частоты (band) используются, как работает режим power save mode, как устройство и сеть согласуют соответствующие таймеры, как, используя протокол транспортного уровня UDP, добиться гарантированной доставки сообщения, как задать APN и выбрать определенный band (частотный диапазон). И множество других вопросов.
Кому это надо?
Когда мы начали разворачивать сеть NB-IoT (почитать больше о сети NB-IoT можно здесь), на нас со всех сторон посыпались различные вопросы. Крупные производители, которые много лет работают на рынке M2M устройств, стартапы, начинающие разработчики и просто любители интересовались режимами работы сети, протоколами передачи данных, даже управлением радиомодулем АТ-командами. Нас спрашивали, какие частоты (band) используются, как работает режим power save mode, как устройство и сеть согласуют соответствующие таймеры, как, используя протокол транспортного уровня UDP, добиться гарантированной доставки сообщения, как задать APN и выбрать определенный band (частотный диапазон). И множество других вопросов.
+6
Как мы сделали не blockchain
7 min
19KКак с помощью smart-contract мы построили систему отбора лучших технологических проектов в ИТ МТС? И в какие «ловушки» мы попали, но смогли выбраться, доказав в итоге, что вести распределенный реестр на мобильных устройствах возможно!
Начнем с самого начала. В МТС есть давняя традиция – выбирать лучший технологический проект, сделанный за год, и награждать его команду. Команда получает призы, уважение и славу. За долгие годы победителями становились различные проекты: от высоконагруженных телеком-систем до систем искусственного интеллекта.
Выборы лучшего проекта всегда происходили в несколько этапов:
Мы решили, что данная схема недостаточно прозрачна для участников и подумали: почему бы не дать возможность выбирать лучший технологический проект абсолютно всем экспертам в компании?
Для чего понадобилась система на основе blockchain?
Начнем с самого начала. В МТС есть давняя традиция – выбирать лучший технологический проект, сделанный за год, и награждать его команду. Команда получает призы, уважение и славу. За долгие годы победителями становились различные проекты: от высоконагруженных телеком-систем до систем искусственного интеллекта.
Выборы лучшего проекта всегда происходили в несколько этапов:
- Команды подают заявки
- Проходит голосование уважаемых технических экспертов
- После экспертов проекты отбирают руководители
- По завершению всех этапов большой начальник выбирает лучший проект.
Мы решили, что данная схема недостаточно прозрачна для участников и подумали: почему бы не дать возможность выбирать лучший технологический проект абсолютно всем экспертам в компании?
+10
Kubernetes: open source против вендорского
7 min
14KПривет, меня зовут Дмитрий Краснов. Уже более пяти лет я занимаюсь администрированием кластеров Kubernetes и построением сложных микросервисных архитектур. В начале этого года мы запустили сервис по управлению кластерами Kubernetes на базе Containerum. Пользуясь поводом расскажу, что представляет собой этот самый Kubernetes и чем интеграция с вендором отличается от open source.
Для начала, что такое Kubernetes. Это система для управления контейнерами на большом количестве хостов. С греческого, кстати, переводится как «пилот» или «рулевой». Изначально разработана Google, после чего в качестве технологического вклада передана Cloud Native Computing Foundation, международной некоммерческой организации, которая объединяет ведущих мировых разработчиков, конечных пользователей и поставщиков контейнерных технологий.
Для начала, что такое Kubernetes. Это система для управления контейнерами на большом количестве хостов. С греческого, кстати, переводится как «пилот» или «рулевой». Изначально разработана Google, после чего в качестве технологического вклада передана Cloud Native Computing Foundation, международной некоммерческой организации, которая объединяет ведущих мировых разработчиков, конечных пользователей и поставщиков контейнерных технологий.
+1
Как у российских полярников появилась сотовая связь в Антарктиде
5 min
21KВ начале 2020 года МТС первым из российских операторов запустил сотовую связь в Антарктиде. Чтобы добраться до ледяного континента, специалисты компании прошли обучение для моряков и выдержали жесткую медкомиссию, а затем были включены в состав 65-й Российско-Антарктической экспедиции. Дальше был самолет до Кейптауна, оттуда 10 дней на судне и вертолет до станции «Прогресс». Как проходило это увлекательно путешествие и что за оборудование установили в Антарктиде — рассказывает один из участников экспедиции – старший инженер МТС Роман Левин.
+55
Checklist для архитектора
8 min
14KИз этой статьи вы узнаете, как организовать процесс построения эффективной разработки в распределенной цифровой компании, как сделать это через общение экспертов и как это происходит на примере МТС.
МТС, как и многие другие современные компании, подверглась так называемой цифровой трансформации. Говоря простым языком, нашим приоритетом стал запуск цифровых процессов и продуктов.
Для меня, как для технаря, это значит, что направление бизнеса в компании целиком зависит от качества ИТ-систем и их способности к быстрому эволюционированию.
Конечно, это неправильное определение, и маркетологи могут со мной поспорить — и даже переспорить! Но для всего, что вы прочитаете ниже, его вполне достаточно.
МТС, как и многие другие современные компании, подверглась так называемой цифровой трансформации. Говоря простым языком, нашим приоритетом стал запуск цифровых процессов и продуктов.
Для меня, как для технаря, это значит, что направление бизнеса в компании целиком зависит от качества ИТ-систем и их способности к быстрому эволюционированию.
Конечно, это неправильное определение, и маркетологи могут со мной поспорить — и даже переспорить! Но для всего, что вы прочитаете ниже, его вполне достаточно.
+9
Эволюция Web Application Firewall: от сетевых экранов до облачных систем защиты с машинным обучением
8 min
16KВ нашем прошлом материале по облачной тематике мы рассказывали, как защитить ИТ-ресурсы в публичном облаке и почему традиционные антивирусы не совсем подходят для этих целей. В этом посте мы продолжим тему облачной безопасности и поговорим об эволюции WAF и о том, что лучше выбрать: железо, ПО или облако.
Более 75% атак хакеров направлены на уязвимости веб-приложений и сайтов: такие атаки, как правило, незаметны для ИБ-инфраструктуры и ИБ-служб. Уязвимости веб-приложений несут в себе, в свою очередь, риски компрометации и фрода учетных записей и персональных данных пользователей, паролей, номеров кредитных карт. Кроме того, уязвимости в веб-сайте служат точкой входа злоумышленников в корпоративную сеть.
Web Application Firewall (WAF) представляет собой защитный экран, который блокирует атаки на веб-приложения: SQL-инъекции, межсайтовый скриптинг, удаленное выполнение кода, брутфорс и обход авторизации (auth bypass). В том числе атаки, использующие zero-day уязвимости. Файрволы приложений обеспечивают защиту, выполняя мониторинг содержимого веб-страниц, включая HTML, DHTML и CSS, и фильтруя потенциально вредоносные запросы по HTTP/HTTPS.
Что такое WAF
Более 75% атак хакеров направлены на уязвимости веб-приложений и сайтов: такие атаки, как правило, незаметны для ИБ-инфраструктуры и ИБ-служб. Уязвимости веб-приложений несут в себе, в свою очередь, риски компрометации и фрода учетных записей и персональных данных пользователей, паролей, номеров кредитных карт. Кроме того, уязвимости в веб-сайте служат точкой входа злоумышленников в корпоративную сеть.
Web Application Firewall (WAF) представляет собой защитный экран, который блокирует атаки на веб-приложения: SQL-инъекции, межсайтовый скриптинг, удаленное выполнение кода, брутфорс и обход авторизации (auth bypass). В том числе атаки, использующие zero-day уязвимости. Файрволы приложений обеспечивают защиту, выполняя мониторинг содержимого веб-страниц, включая HTML, DHTML и CSS, и фильтруя потенциально вредоносные запросы по HTTP/HTTPS.
+13
NB-IoT: как он работает? Часть 3: SCEF – единое окно доступа к услугам оператора
12 min
34KВ статье «NB-IoT: как он работает? Часть 2», рассказывая про архитектуру пакетного ядра сети NB-IoT, мы упомянули про появление нового узла SCEF. Объясняем в третьей части, что же это такое и зачем это нужно?
При создании M2M-сервиса разработчики приложений сталкиваются со следующими вопросами:
Для их решения приходится создавать проприетарные технически «тяжелые» решения, что приводит к увеличению трудозатрат и времени time-to-market сервисов. Вот здесь на помощь и приходит новый узел SCEF.
При создании M2M-сервиса разработчики приложений сталкиваются со следующими вопросами:
- как идентифицировать устройства;
- какой использовать алгоритм проверки и подтверждения подлинности;
- какой выбрать транспортный протокол для взаимодействия с устройствами;
- как гарантированно доставить данные на устройства;
- как организовать и установить правила обмена данными с ними;
- как контролировать и в онлайн режиме получить информацию об их состоянии;
- как одновременно доставить данные на группу своих устройств;
- как одновременно отправить данные с одного устройства на несколько клиентов;
- как получить унифицированный доступ к дополнительным сервисам оператора по управлению своим устройством.
Для их решения приходится создавать проприетарные технически «тяжелые» решения, что приводит к увеличению трудозатрат и времени time-to-market сервисов. Вот здесь на помощь и приходит новый узел SCEF.
+6