Недавно заказчик попросил нас реализовать систему учета дисковых мощностей. Стояла задача объединить информацию с более семидесяти дисковых массивов разных вендоров, от свичей SAN и ESX-хостов VMware. Затем данные нужно было систематизировать, проанализировать и иметь возможность выводить на дашборд и различные отчеты, например, о свободном и занятом объеме дискового пространства во всех или отдельно взятых массивах.

Мы решили реализовать проект с помощью системы анализа операционной деятельности — Splunk.

У розницы очень разнообразный круг покупателей. Их много – всевозможных профессий и уровней дохода, от молодёжи до пенсионеров. Такое разнообразие не получится корректно описать двумя-тремя бизнес-правилами, потому что вы просто не сможете охватить все сочетания критериев и неизбежно потеряете часть клиентов. Поэтому для розницы очень важно как можно точнее сегментировать свою аудиторию, но это неизбежно усложняет модели. Здесь на помощь приходят технологии Machine Learning, дающие бизнесу более точные прогнозы и ответы на важные вопросы.

Говоря про космические корабли, бороздящие просторы Большого Театра цифровую трансформацию компаний, никто не даёт пояснений, какие конкретные шаги нужно сделать, чтобы прийти в эту самую цифровую эпоху. В этом цикле статей мы не станем говорить про все и сразу, а расскажем про одно из направлений — цифровизацию рабочего пространства (digital workspace). Опишем, как его понимает каждый из ведущих производителей области, и что со всем этим делать ИТ-специалистам.

Как-то, решая проблему лингвистического анализа в Power BI и заодно подыскивая примеры для моей предыдущей статьи, я вспомнил о задаче, которую пытался решить в Excel ещё несколько лет назад: нужно было внедрить в аналитическую систему словарь русского языка для лингвистического анализа большого количества запросов на естественном языке. Причём желательно было использовать стандартные офисные инструменты. Подавляющее большинство людей сразу взялись бы решать эту задачу в Excel, и я когда-то пошёл по тому же пути. В качестве словаря использовал открытый корпус русского языка (http://opencorpora.org/).

Но меня ждало разочарование — словарь состоял из 300 тыс. словоформ, более 5 млн записей, а для Excel это в принципе невозможный объём. Даже если запихнуть в него «всего лишь» 1 млн строк, то выполнять с ними какие-то манипуляции или, упаси боже, вычисления, сможет только очень терпеливый человек, который вообще никогда и никуда не торопится. Но в этот раз я решил натравить на задачу более подходящий инструмент — Power BI.

Сегодня я расскажу о гиперконвергентной платформе SharxBase. На Хабре еще не было обзора этого комплекса, и с этой несправедливостью было решено покончить. Нашей команде удалось протестировать решение «в бою», о результатах — ниже.



P.S. Под катом много таблиц, реальных цифр и прочего «мяса». Для любителей погрузиться в суть — welcome!

Не все знают, с чего и когда начать воплощать планы по непрерывности бизнеса в жизнь. Я обычно говорю так: когда возможные потери выше затрат на противодействие угрозе — пора принимать меры, затраты на них будут адекватными. И наоборот. Если со стоимостью противодействия все более-менее понятно, то оценка потерь — задача нетривиальная. Я приглашаю вас за кулисы проекта по оценке влияния чрезвычайных ситуаций на бизнес (Business Impact Analysis — BIA) и разработке стратегии обеспечения непрерывности ИТ на примере крупного ритейлера. Итак, поехали.

На днях прошёл финал хакатона для AI/ML-разработчиков — RAIF Hackathon, — участники которого решали задачи компаний-партнёров. Под катом наш фотоотчёт и небольшой рассказ о победивших проектах.

Друзья, приглашаем всех на хакатон JETHACK, который пройдёт 20-21 октября. Нужно будет решить задачу по соотношению облака точек заданной 3D-модели, чтобы на выходе получилась программа, которая позволит искать несоответствия между архитектурным планом и готовым объектом.

Чтобы поучаствовать в хакатоне, вам надо собрать команду из 2-4 человек. Если вы полагаете, что можете решить задачу самостоятельно, то можете зарегистрироваться без команды… Ограничений по языкам программирования нет! «Кодить» будем все выходные: начнем в субботу, а закончим вечером в воскресенье (при желании, можно будет остаться и на ночь). Чай, кофе, печеньки, пицца и пуфики/диванчики прилагаются :).

А победившая команда получит всё и сразу — приз в 200 000 руб.!

Моя работа связана с тем, что я вру людям и эксплуатирую их доверчивость, любопытство, жадность и так далее. Работу я свою люблю и стараюсь подходить к ней творчески. Специфика моей деятельности связана с проведением атак методом социальной инженерии. И в этом посте я бы хотела рассказать о вредоносных вложениях.

На сегодняшний день Threat Intelligence, или активный сбор информации об угрозах информационной безопасности, представляет собой инструмент первой необходимости в процессе выявления инцидентов ИБ. Среди типовых источников TI можно выделить бесплатные подписки с вредоносными индикаторами, бюллетени производителей оборудования и ПО с описаниями уязвимостей, отчеты исследователей безопасности с детальными описаниями угроз, а также коммерческие подписки TI-вендоров. При этом зачастую сведения, получаемые с помощью вышеперечисленных источников, не обладают достаточной степенью полноты и актуальности. Повышению эффективности и улучшению качества TI может способствовать применение OSINT (разведка на основе открытых источников) и offensive-методов (то есть методов, характерных не для защищающейся, а для нападающей стороны) в информационной безопасности, о которых и пойдет речь в данной статье.

Друзья, мы запустили соревнование среди AI/ML-разработчиков – RAIF Hackathon. Приглашаем вас принять участие! Мероприятие проводится в рамках делового бизнес-форума RAIF 2018 (The Russian Artificial Intelligence Forum). Год назад мы делали похожий хакатон, но в этот раз формат будет отличаться. Вас ждут 2 этапа: отборочный онлайн- и финальный офлайн-баттл на глазах у гостей RAIF. Три задачи – от Росреестра, «Утконоса» и Новолипецкого металлургического комбината (НЛМК) ­– и, соответственно, три номинации на выбор. Призовой фонд – больше 1 млн рублей. И да, как и в прошлом году, надо будет решить поставленные задачи с помощью технологий машинного обучения ;).

Как известно, для бизнеса ИТ — это черный ящик. Думаю, ни для кого не секрет, что иногда ИТ — черный ящик даже для самих айтишников. Пришли новые люди, ушли те, кто знал, почему в подвале швабры подпирают потолок. Технологии устремились вперед, а специфика нынешней архитектуры не всегда позволяет успеть за ними. Но это полбеды. Вторая часть проблемы заключается в том, что этот черный ящик надо кормить. В смысле, деньгами. Я имею в виду бюджетирование ИТ-подразделения. Никогда не замечали, что это похоже на жертвоприношение? Осенью, когда природа посылает людям свои дары, начинается период бюджетирования. Не все доживут до конца, но те, кому посчастливится, никогда уже не будут прежними.

Миграция ИТ-систем — задача непростая. Но особую сложность представляет ситуация, когда нужно не просто перейти со старого железа на новое, а переехать на новую операционную систему на существующем оборудовании, причём без миграции продуктивных данных. Один подобный переезд длился около года, причём большую часть времени заняла подготовка.

Наверняка каждому из вас знакома ситуация, когда организация начинала вести внутреннюю аналитику в Excel, потому что его возможностей было более чем достаточно. Но с ростом компании задачи усложняются, объёмы данных растут, и Excel начинает сначала кряхтеть, а затем превращается в «небесного тихохода», по вине которого ежедневно впустую теряется масса оплачиваемого рабочего времени.

Наш сегодняшний рассказ про то, как компания федерального уровня с большим документооборотом переходила с реестра в виде громоздких Excel-файлов на нормальный, вменяемый BI-инструмент. Ну хорошо – про наше видение, как компания должна переходить (клиент пока ещё не принял окончательного решения).

Сегодня одним из главных препятствий на пути внедрения машинного обучения в бизнес является несовместимость метрик ML и показателей, которыми оперирует топ-менеджмент. Аналитик прогнозирует увеличение прибыли? Но ведь нужно понять, в каких случаях причиной увеличения станет именно машинное обучение, а в каких — прочие факторы. Увы, но довольно часто улучшение метрик ML не приводит к росту прибыли. К тому же иногда сложность данных такова, что даже опытные разработчики могут выбрать некорректные метрики, на которые нельзя ориентироваться.

Давайте рассмотрим, какие бывают метрики ML и когда их целесообразно использовать. Разберём типичные ошибки, а также расскажем о том, какие варианты постановки задачи могут подойти для машинного обучения и бизнеса.

Представьте себе фантастическую ситуацию — директор компании решает внедрить DevOps. Сам, без давления со стороны технарей. Без убедительного примера конкурентов. Руководство само признало, что повысить качество продукта, предсказуемость, прозрачность и повторимость бизнес-процессов при разработке и внедрении ПО невозможно без средств DevOps.

Представили? Получилось? Вы успешно прошли тест на самое богатое воображение!

На самом деле, конечно же, всё не так. Чаще всего руководству не до наших ИТ-шных штучек. Поэтому приходится убеждать. Но как?

Так уж получилось, что большинство наших основных богатств в виде нефти и газа приходится добывать в Тюменской области – среди болот, тайги, тундры и вечной мерзлоты Ханты-Мансийского и Ямало-Ненецкого автономных округов. Производственные площадки располагаются в местах, от которых до ближайшего населенного пункта не меньше пары сотен километров. На этих промыслах мы строим КИТСО (комплексы инженерно-технических средств охраны), защищающие важные стратегические объекты. Здесь и сами ограждения с освещением, и системы: видеонаблюдения, периметральной защиты, пожарной сигнализации и т.п. Сегодня мы хотим рассказать о том, в каких нестандартных условиях приходится работать.

Сегодня существует большое количество программных инструментов для создания моделей Machine Learning. Первые такие инструменты формировались в среде ученых и статистиков, где популярны языки R и Python, исторически сложились экосистемы для обработки, анализа и визуализации данных именно на этих языках, хотя определенные библиотеки машинного обучения есть и для Java, Lua, С++. При этом интерпретируемые языки программирования существенно медленнее компилируемых, поэтому на интерпретируемом языке описывают подготовку данных и структуру моделей, а основные вычисления проводят на компилируемом языке.

В данном посте мы расскажем преимущественно о библиотеках, имеющих реализацию на Python, поскольку этот язык обладает большим количеством пакетов для интеграции в разного рода сервисы и системы, а также для написания различных информационных систем. Материал содержит общее описание известных библиотек и будет полезен прежде всего тем, кто начинает изучать область ML и хочет примерно понимать, где искать реализации тех или иных методов.

В марте команда наших разработчиков с гордым названием «Руки-Ауки» двое суток неусыпно сражалась на цифровых полях хакатона AI.HACK. Всего было предложено пять задач от разных компаний. Мы сосредоточились на задаче «Газпромнефти»: прогнозирование спроса на топливо со стороны В2В-клиентов. Нужно было по обезличенным данным — регион приобретения топлива, номер заправки, вид топлива, цена, дата и ID-клиента — научиться прогнозировать, сколько в будущем купит тот или иной клиент. Забегая вперёд — наша команда решила эту задачу с наивысшей точностью. Клиенты были разбиты на три сегмента: крупные, средние и мелкие. И помимо основной задачи мы также построили прогноз суммарного потребления по каждому из сегментов.

Работая над защитой интернет-магазина одного из клиентов, мы несколько раз столкнулись с любопытной brute-force атакой, противостоять которой оказалось не так просто. В основе её лежало простое до изящества решение, выделявшее атаку из рядов ей подобных. Что она собой представляла и как мы от неё все-таки защитились, читайте под катом.