Нам сегодня 17 лет, нашей CRM — 12. В день рождения мы решили отказаться от занудных длинных статей и посмотреть, как ищут CRM-системы, и как про них шутят в комиксах за рубежом и у нас. «Исследование» получилось забавное, но весьма показательное не только для нас, но и для всей энтерпрайз-разработки. В России любят переходить на личности на вендоров, на Западе активно иронизируют над концепцией CRM. И везде одинаково не знают, что же это такое — CRM-система. В общем, это надо видеть. Местами 18+.

Часть 1: Постановка задачи

Привет, Хабр! Я архитектор решений в компании CleverDATA. Сегодня я расскажу про то, как мы классифицируем большие объемы данных с использованием моделей, построенных с применением практически любой доступной библиотеки машинного обучения. В этой серии из двух статей мы рассмотрим следующие вопросы.

• Как представить модель машинного обучения в виде сервиса (Model as a Service)?
• Как физически выполняются задачи распределенной обработки больших объемов данных при помощи Apache Spark?
• Какие проблемы возникают при взаимодействии Apache Spark с внешними сервисами?
• Как при помощи библиотек akka-streams и akka-http, а также подхода Reactive Streams можно организовать эффективное взаимодействие Apache Spark с внешними сервисами?

Изначально я планировал написать одну статью, но так как объем материала оказался достаточно большим, я решил разбить ее на две части. Сегодня в первой части мы рассмотрим общую постановку задачи, а также основные проблемы, которые необходимо решить при реализации. Во второй части мы поговорим о практической реализации решения данной задачи с использованием подхода Reactive Streams.

В этой статье мы расскажем о внутреннем проекте для сотрудников группы ЛАНИТ — традиционных встречах с экспертами по актуальным технологическим темам, которые проходят в нашем центральном офисе по средам и называются соответственно «Своя среда». На одном из таких вечеров руководитель только что запущенного стартапа DTG Денис Реймер объяснил, почему группа ЛАНИТ видит перспективу в блокчейн-технологиях. Подробности — в нашем посте под катом.

В первой части статьи мы начали разговор о новом классе высокоуровневых моделей предметной области, названных понятийными. В отличие от других аналогичных моделей в понятийных моделях связи между понятиями сами являются понятиями, а модель строится на основе выявления и описания абстракций, послуживших образованию (определению) понятий предметной области. Это позволяет конечным пользователям строить и актуализировать модели предметной области путем простых и естественных операций создания, изменения и удаления понятий и их сущностей.

Здесь, во второй части, поговорим о том, как может быть реализована полнофункциональная информационная система, основанная на понятийном моделировании предметных областей. Теперь уже в деталях рассмотрим информационную систему LANCAD, которую в нашей компании “ИНСИСТЕМС” используют для организации проектной деятельности по разработке проектно-сметной документации для строительства.

Следует заметить, что появление информационной системы LANCAD явилось результатом реализации нескольких крупных проектов компании.

Взлет интереса к машинному обучению во многом связан с тем, что модели способны дать ощутимый прирост прибыли в областях, связанных с предсказанием поведения сложных систем. В частности, той сложной системой, чье поведение предсказывать выгодно, является человек. Обнаружить мошенничество на ранней стадии, выявить склонность клиентов к оттоку – эти задачи возникают регулярно и уже стали классическими в Data Science. Безусловно, их можно решать различными методами, в зависимости от пристрастий конкретного специалиста и от требований бизнеса.

У нас была возможность использовать нейронные сети для решения задачи по предсказанию поведения людей, а специфика области применения была связана с индустрией красоты. Основной аудиторией для “опытов” стали женщины. Мы по сути пришли к вопросу: может ли искусственная нейронная сеть понять настоящую нейронную сеть (человека) в той области, в которой даже сам человек еще не осознал своего поведения. Как мы ответили на этот вопрос и что у нас получилось в итоге, можно узнать далее.

Традиционные телекоммуникационные операторы, включая сотовые компании, попали в очень неприятную ситуацию: доходы практически не растут, а трафик стремительно увеличивается. Эти «ножницы» могут существенно «порезать» их прибыль и даже поставить под угрозу существование на рынке. Чтобы избежать этого, не оказавшись всего лишь «трубой» для перекачки трафика, операторам необходимо провести глубокую трансформацию своей инфраструктуры и бизнеса в целом. Работая с сетевым и телекоммуникационным оборудованием, мы в СompTek проанализировали возможности трансформации операторов. Они неразрывно связаны с использованием самых современных ИТ-разработок и привлечением экспертизы ИТ-интеграторов.

В Риме 8 апреля 2018 года я пробежал свой первый марафон (время — 4:29.41). У нас очень спортивная компания (см. отчет о ИТ-чемпионате в Гонке героев), но очень многие друзья и коллеги, которые меня поздравляли, абсолютно не представляли себе, что такое марафон и как интерпретировать мой результат.

Наш диалог был примерно следующим (Д — друг, Я — я):

(Д): Ну че красавчик! Ты что-то там, говорят, пробежал?
(Я): Спасибо, да, марафон.
(Д): Ну ты не умничай, скажи сколько пробежал?
(Я): 42 км 195 метров, конечно же, за 4:30.
(Д): Ни фига себе пробежал 42 км за 4:30! Да ты просто мегамонстр!

Для меня эти вопросы даже сначала показались дикими, т.к. я уже погрузился в беговую тематику. Поэтому я решил написать небольшой отчет о своем первом марафоне, коротко рассказать, что это такое и трудно ли подготовиться к марафону обычному ИТ-шнику.