Друзья, 10-11 июля на базе механико-математического факультета Пермского государственного университета команда департамента корпоративных систем ЛАНИТ проведет двухдневный марафон для молодых специалистов по решению прикладных задач в области Enterprise разработки: #2ХАКАТОН.

Любая ИТ-компания сталкивается с нехваткой кадров, и решение этого вопроса традиционно считается непростым. Многие компании привлекают на работу студентов московских вузов, а также хантят сотрудников из других структур, но сегодня мы хотим рассказать о другой практике, которая в нашем случае оказалась более результативной.

Разработчики нужны всегда, и если вы не относитесь к числу фрилансеров, работающих только удаленно, а также над специальными или индивидуальными проектами, то для многих путь в софтверную компанию выглядит так: переезд в крупный город с развитой ИТ-экспертизой, подача резюме в различные компании и выбор своего нового места работы в жестокой конкурентной борьбе.

Компании в основном используют симметричный подход: открывают свои представительства или филиалы в тех местах, где уже есть готовые кадры, и начинают искать контакты с вузами, привлекать студентов на свои стажерские программы или даже, чего греха таить, переманивать стажеров и сотрудников из конкурентных структур. До недавнего времени такой способ работы считался чуть ли не единственно возможным, но буквально за последние три года мы в «НОРБИТ» (входит в группу ЛАНИТ) убедились в том, что для офисов разработки можно применять совершенно иной подход.

Прогресс — это прекрасно. Современные технологии упрощают жизнь человека, делают ее безопаснее, а при должном уровне фантазии — еще и интереснее.

Фантасты часто создают на страницах своих произведений мир, повествующий нам не только о сложных ситуациях и моральном выборе людей из будущего, но и о гаджетах, новых технологиях, которые, по их предположениям, могут использоваться через годы.

Мы сейчас живем в то время, которое и было для писателей XX века будущим. Его они и пытались описать. Интересно сравнить их предположения с тем, что мы имеем сейчас. Мобильные устройства, беспроводная связь, лазеры на службе медицины и ВПК, умные протезы, неплохо прокачавшиеся со времен ноги Долговязого Джона Сильвера и прочее.

Бывает, что фантасты, авторы комиксов и фильмов рисовали в своем воображении устройства, которые представлялись им вполне себе возможными уже лет через 20, и при этом очень удобными и полезными. Однако реальность оказалась такова, что создать такой девайс людям будущего (то есть нам с вами) оказалось не под силу.

Работая в области информационных технологий, мы с вами постоянно сталкиваемся с новыми идеями. У нас в ЛАНИТ есть специальные команды, отвечающие за акселерацию внешних и внутренних стартапов. Тема изобретательства, инноваций, поиска жизнеспособных проектов нам очень близка.

Поэтому сегодня мы поговорим об устройствах, которые наверняка пригодились бы каждому, но которые современная наука не в силах воплотить в жизнь. Пока.

Часть 2: Решение

И снова здравствуйте! Сегодня я продолжу свой рассказ о том, как мы классифицируем большие объёмы данных на Apache Spark, используя произвольные модели машинного обучения. В первой части статьи мы рассмотрели саму постановку задачи, а также основные проблемы, которые возникают при организации взаимодействия между кластером, на котором хранятся и обрабатываются исходные данные, и внешним сервисом классификации. Во второй части мы рассмотрим один из вариантов решения данной задачи с использованием подхода Reactive Streams и его реализации с использованием библиотеки akka-streams.

Часть 1: Постановка задачи

Привет, Хабр! Я архитектор решений в компании CleverDATA. Сегодня я расскажу про то, как мы классифицируем большие объемы данных с использованием моделей, построенных с применением практически любой доступной библиотеки машинного обучения. В этой серии из двух статей мы рассмотрим следующие вопросы.

• Как представить модель машинного обучения в виде сервиса (Model as a Service)?
• Как физически выполняются задачи распределенной обработки больших объемов данных при помощи Apache Spark?
• Какие проблемы возникают при взаимодействии Apache Spark с внешними сервисами?
• Как при помощи библиотек akka-streams и akka-http, а также подхода Reactive Streams можно организовать эффективное взаимодействие Apache Spark с внешними сервисами?

Изначально я планировал написать одну статью, но так как объем материала оказался достаточно большим, я решил разбить ее на две части. Сегодня в первой части мы рассмотрим общую постановку задачи, а также основные проблемы, которые необходимо решить при реализации. Во второй части мы поговорим о практической реализации решения данной задачи с использованием подхода Reactive Streams.

В этой статье мы расскажем о внутреннем проекте для сотрудников группы ЛАНИТ — традиционных встречах с экспертами по актуальным технологическим темам, которые проходят в нашем центральном офисе по средам и называются соответственно «Своя среда». На одном из таких вечеров руководитель только что запущенного стартапа DTG Денис Реймер объяснил, почему группа ЛАНИТ видит перспективу в блокчейн-технологиях. Подробности — в нашем посте под катом.

В первой части статьи мы начали разговор о новом классе высокоуровневых моделей предметной области, названных понятийными. В отличие от других аналогичных моделей в понятийных моделях связи между понятиями сами являются понятиями, а модель строится на основе выявления и описания абстракций, послуживших образованию (определению) понятий предметной области. Это позволяет конечным пользователям строить и актуализировать модели предметной области путем простых и естественных операций создания, изменения и удаления понятий и их сущностей.

Здесь, во второй части, поговорим о том, как может быть реализована полнофункциональная информационная система, основанная на понятийном моделировании предметных областей. Теперь уже в деталях рассмотрим информационную систему LANCAD, которую в нашей компании “ИНСИСТЕМС” используют для организации проектной деятельности по разработке проектно-сметной документации для строительства.

Следует заметить, что появление информационной системы LANCAD явилось результатом реализации нескольких крупных проектов компании.

Внедряя современные информационные системы, крупные компании рассчитывают быстрее принимать решения, обнаруживать скрытые для бизнеса резервы и возможности, анализировать накопленный опыт и выстраивать прогнозы на основе выявленных закономерностей. Однако реальная отдача от информационных систем часто оказывается значительно ниже, а сроки внедрения и затраты – выше ожидаемых. Причин может быть великое множество, в том числе и связанных с неэффективным управлением, человеческим фактором, устарелой инфраструктурой.

Существенные недостатки есть и у самих информационных систем. В этой статье я предлагаю поговорить не о традиционных – трёхслойных – АИС, а о системах с четырехслойной архитектурой, где новый четвертый слой – слой представления – реализует понятийную модель предметной области. Для актуализации модели при изменениях в предметной области не требуется программировать. Более того, как актуализация модели, так и прикладные задачи решаются посредством семантически инвариантных для всех предметных областей операций над сущностями понятий.

В итоге удается улучшить вычислительные, технологические и эксплуатационные характеристики информационных систем с понятийными моделями предметной области. Но об этом далее.

Взлет интереса к машинному обучению во многом связан с тем, что модели способны дать ощутимый прирост прибыли в областях, связанных с предсказанием поведения сложных систем. В частности, той сложной системой, чье поведение предсказывать выгодно, является человек. Обнаружить мошенничество на ранней стадии, выявить склонность клиентов к оттоку – эти задачи возникают регулярно и уже стали классическими в Data Science. Безусловно, их можно решать различными методами, в зависимости от пристрастий конкретного специалиста и от требований бизнеса.

У нас была возможность использовать нейронные сети для решения задачи по предсказанию поведения людей, а специфика области применения была связана с индустрией красоты. Основной аудиторией для “опытов” стали женщины. Мы по сути пришли к вопросу: может ли искусственная нейронная сеть понять настоящую нейронную сеть (человека) в той области, в которой даже сам человек еще не осознал своего поведения. Как мы ответили на этот вопрос и что у нас получилось в итоге, можно узнать далее.

Удовольствие от уборки способен получить далеко не каждый, но и жить в бардаке невозможно. Вот и CIO приходится проводить инвентаризацию нажитого за годы оборудования и софта, чтобы не столкнуться с Error Code: 418 I’m a teapot.

Да, наверное, есть компании, которые держат свои угодья в полном порядке, ведь они давно озаботились этим вопросом, изучили методологию управления активами и взяли под контроль весь жизненный цикл ИТ-инфраструктуры и всего программного обеспечения ( cout << «УТОПИЯ!» << endl;). Не будем сейчас об этих тружениках. Если вы не из их числа, предлагаем разобраться со способами оптимизации процессов управления ИТ-активами. Поговорим про SAM Services и различные методы инвентаризации, а закруглиться мы бы хотели на сводной таблице с наиболее часто используемыми нами тулами и их фичами.

Как должна была выглядеть сцена пыток Ковача. Кадр из сериала Altered Carbon / «Видоизмененный углерод»

Традиционные телекоммуникационные операторы, включая сотовые компании, попали в очень неприятную ситуацию: доходы практически не растут, а трафик стремительно увеличивается. Эти «ножницы» могут существенно «порезать» их прибыль и даже поставить под угрозу существование на рынке. Чтобы избежать этого, не оказавшись всего лишь «трубой» для перекачки трафика, операторам необходимо провести глубокую трансформацию своей инфраструктуры и бизнеса в целом. Работая с сетевым и телекоммуникационным оборудованием, мы в СompTek проанализировали возможности трансформации операторов. Они неразрывно связаны с использованием самых современных ИТ-разработок и привлечением экспертизы ИТ-интеграторов.

В Риме 8 апреля 2018 года я пробежал свой первый марафон (время — 4:29.41). У нас очень спортивная компания (см. отчет о ИТ-чемпионате в Гонке героев), но очень многие друзья и коллеги, которые меня поздравляли, абсолютно не представляли себе, что такое марафон и как интерпретировать мой результат.

Наш диалог был примерно следующим (Д — друг, Я — я):

(Д): Ну че красавчик! Ты что-то там, говорят, пробежал?
(Я): Спасибо, да, марафон.
(Д): Ну ты не умничай, скажи сколько пробежал?
(Я): 42 км 195 метров, конечно же, за 4:30.
(Д): Ни фига себе пробежал 42 км за 4:30! Да ты просто мегамонстр!

Для меня эти вопросы даже сначала показались дикими, т.к. я уже погрузился в беговую тематику. Поэтому я решил написать небольшой отчет о своем первом марафоне, коротко рассказать, что это такое и трудно ли подготовиться к марафону обычному ИТ-шнику.

При строительстве центра технического обеспечения одного из крупнейших российских технопарков я отвечал за инженерную инфраструктуру. Объект седьмым в России прошел сертификацию Tier Facility авторитетного международного института Uptime Institute. О том, чего нам это стоило, какие решения мы использовали и как проходили испытания ЦОД на соответствие международным стандартам, я и расскажу в этом фотопосте.

Дорогой Хабр, мы решили поделиться заметками и нашим базовым рецептом о приготовлении проектов в Sparx Enterprise Architect. Причем под проектом мы подразумеваем создание какой-либо информационной системы. Впереди вас ждет рассказ о том, как у нас все организовано – примеры диаграмм, структура проекта в Enterprise Architect, немного о требованиях, проектировании и постановках на разработку.

Источник

Сегодня все говорят о том, что в области блокчейн не хватает успешно реализованных проектов, реальных кейсов, которые могли бы стать вдохновляющим примером для компаний, вставших на путь цифровой трансформации. Хочу поделиться с вами переводом статьи именно о таких кейсах. Текст опубликован американской аналитической компанией CB Insights. Она копает в области прорывных цифровых технологий и знает все о стартапах, меняющих мир к лучшему (очень рекомендую следить за публикациями ее специалистов).

Современные химико-технологические процессы столь сложны, что для их изменения приходится использовать не только аналитику, но и результаты имитационного моделирования. В данном случае необходимо работать с моделью физического объекта и именно на модели исследовать его свойства и поведение в любых ситуациях. Для этого существует много программных комплексов. Чтобы понять специфику такого программного обеспечения я собрал аналитическую информацию о системах, наиболее распространённых в мире и популярных по запросам в интернет-поисковиках. Результаты исследования – в этом обзоре. Он будет полезен проектировщикам, технологам и автоматчикам – всем тем, кто анализирует технологические процессы, строит системы управления ими, выполняет инженерные расчеты технологических аппаратов.

Всем привет! Мы на проекте ГИС ЖКХ используем PostgreSQL и недавно столкнулись с проблемой долгого выполнения SQL скриптов из-за быстрого увеличения объема данных в БД. В феврале 2018 года на PGConf я рассказал, как мы решали эту проблему. Слайды презентации доступны на сайте конференции. Предлагаю вашему вниманию текст моего выступления.

Занимаясь масштабными проектами автоматизации и создавая новые информационные системы, мы каждый раз сталкивались с необходимостью реализации подсистемы ведения справочников, классификаторов, реестров и других подобных объектов, составляющих нормативно-справочную информацию (НСИ) заказчика. За 15 лет работы в ЛАНИТ с системами управления НСИ жизнь подкидывала нам клиентов с самыми различными требованиями. И, конечно, на этих проектах возникали разные ситуации. Я расскажу о нескольких поучительных историях, которые с нами произошли. В статье вы найдете примеры, которые будут полезны многим, кто занимается разработкой программного обеспечения. Ну, а тем, кто работает непосредственно с НСИ, будет еще интереснее – своя рубашка ближе к телу.

За иллюстрации отдельное спасибо замечательному художнику Васе Ложкину.