Неделю назад я делал здесь обзор существующих алгоритмов рекомендаций. В этой статье я продолжу данный обзор: расскажу об item-based варианте коллаборативной фильтрации, о методах, основанных на матричных разложениях, проблемах тестирования, а также о менее «раскрученных» (но не менее интересных) алгоритмах.

Каждый в той или иной степени ощущал нехватку времени, давление сроков, испытывал стресс от вынужденной спешки и зарекался: уж в следующий раз я точно буду тщательнее следить за временем, смогу заранее всё запланировать, не буду распыляться на много задач или, наоборот, превращусь в супермена и переделаю все дела сразу. Так какая же стратегия наиболее эффективна? Спешить или не спешить? Делать последовательно или параллельно?   

Источник

Я работаю дата-саентистом в компании CleverDATA. Мы занимаемся проектами в области машинного обучения, и один из наиболее частых запросов на разработку основанных на машинном обучении маркетинговых решений — это разработка рекомендательных моделей.

В данной статье я расскажу о рекомендательных системах, постараюсь дать максимально полный обзор существующих подходов и на пальцах объясню принципы работы алгоритмов. Часть материала базируется на неплохом курсе по рекомендательным системам лаборатории MovieLens (которая большинству знакома по одноименному датасету для тестирования рекомендаций), остальное – из личного опыта. Статья состоит из двух частей. В первой описана постановка задачи и дан обзор простых (но популярных) алгоритмов рекомендаций. Во второй статье я расскажу о более продвинутых методах и некоторых практических аспектах реализации.

Источник

Хабр, привет!

Я работаю в команде маркетинга Inventive Retail Group. Мы входим в группу ЛАНИТ. Один из наших активов — сеть монобрендовых магазинов re:Store. Я расскажу вам о том, как интернет-конкурс фотографии вырос в полноценную оффлайн-выставку. Из этой статьи вы узнаете, как выглядят кадры профессионального фотографа, снятые на iPhone, какую музыку слушает искусственный интеллект, где в Москве находится лучшее место для рекламного баннера.

ИТ-отрасль — это локомотив изменений, происходящих в нашей жизни в последние десятилетия. Причем они касаются сотрудников компании не только с точки зрения продуктов, которые мы внедряем для клиентов. Эти изменения сказываются на скорости освоения новых продуктов и технологий инженерами, аналитиками, программистами и руководителями.

Предлагаем вашему вниманию перевод статьи Стефани Воцца о навыках, которые необходимы тем, кто хочет быть востребован на рынке труда в перспективе. Мы в "Консист Бизнес Групп" сознаем важность качеств, описанных в ней, и поддерживаем автора. Также приглашаем поучаствовать в опросе об эффективности систем управления талантами и высказать свое мнение по теме статьи в комментариях.

Мы собрали могучую команду на железную триатлонную эстафету IronStar 226, которая пройдет в Сочи 22 сентября 2018 года, и призываем ИТ-шников присоединится! Лучше всего — это собрать команду и зарубиться с нами… ну или в крайнем случае предлагаем просто поболеть с пивком за (пока) единственную ИТ-команду

Эстафета включает в себя три дисциплины (проходимые в указанной ниже последовательности):

1. 3,8 км – плавание на открытой воде (плыву я);
2. 180 км – велосипед по живописной трассе Адлер - Красная Поляна (поедет Дмитрий Сидельников);
3. 42,2 км – бег (побежит Антон Старшов).

До старта еще два месяца. С дивана, конечно, команду не соберешь, но во многих ИТ-компаниях наверняка есть спортивные сотрудники, которые могут преодолеть указанные дистанции. Так что присоединяйтесь!

Зарегистрироваться можно тут. Стоимость – 20 000 руб за команду.

Надпись на плакате у милой девушки: "Железные люди – сексуальные". "Железные люди" – это те, кто преодолевают классическую дистанцию триатлона, пусть даже в эстафете ;-)

Лето — пора путешествий и заслуженного отдыха.  Каким бы ни было путешествие и куда бы вы ни направлялись, наверняка, это будет длинная дорога (авиаперелет или поезд), или же среднего качества связь, если мы говорим об удаленных от благ цивилизации местах.

Обычно запасливые люди берут с собой в путешествие кучу фильмов и сериалов, чтобы было чем заткнуть уши в транспорте и слушать голоса любимых персонажей.

Мы приготовили для вас небольшую подборку сериалов, так или иначе связанных с ИT. А натолкнула нас на идею этого поста многолетняя дружба ЛАНИТ с Международным фестивалем документального кино "ДОКЕР", где, кстати, в том числе с нашей помощью традиционной стала номинация для фильмов о возможностях информационных технологий «Let IT Doк!».

Кадр из сериала «Mr. Robot» (eps3.1_undo.gz)

Всем привет! Слышали ли вы что-нибудь о феномене Баадера-Майнхофа? Это забавное когнитивное искажение, наблюдать которое, как оказалось, довольно интересно на собственном примере. В 2016 году на Хабре вышла обзорная статья про технологию Delphix. Как любая хорошая теория, которую ты потребляешь ежедневно тоннами, чтобы быть в курсе, ты начисто забываешь процентов 80, не применяя ее на практике. Так случилось и со мной – я довольно быстро забыл про тот пост и Delphix, пока где-то год назад по долгу службы не столкнулся с авторами продукта и с самим продуктом. Получив возможность изучить тему не в теории, а на практике, ЛАНИТ погрузился в данную технологию настолько глубоко, что в этой статье я бы хотел систематизировать полученные знания и проанализировать полученный опыт.

Картинка любезно предоставлена поисковой выдачей Яндекса.

Появляется всё больше решений, которые уходят от традиционного подхода унифицированных хранилищ. Это специализированные хранилища, которые заточены под задачи определённого направления бизнеса. Ранее я уже рассказывал о системе Infinidat InfiniBox F2230. Сегодня в центре моего обзора SolidFire.

«Who f*cking hate storage» @ Дэйв Хитс, основатель компании NetApp

Почему опоздать на авиарейс и не полететь — это не всегда плохо? Кто виноват в том, что вы опоздали на стыковку? Зачем приезжать в аэропорт заранее? Может ли полететь А380 в Астрахань? Почему интуиция не всегда работает? Неожиданности случаются — никогда не было и вот опять? Почему пассажиры хлопают пилоту после посадки?

Предположим, вы разрабатываете государственную информационную систему (ГИС) общероссийского масштаба. Проектная команда (аналитики, разработчики, тестировщики, служба поддержки, служба инфраструктуры и др.) составляет более сотни человек. Система была внедрена в опытную или в промышленную эксплуатацию. Тысячи организаций интегрировались с вашей системой и начали работать с ней, еще большее количество планирует интеграцию. Десятки тысяч организаций работают через Web-интерфейс. В системе для граждан размещается полезная информация, а также предоставляются интересные функции. Заказчик и/или пользователи требуют новых доработок. Миллионы людей по всей стране регистрируются и пользуются системой. От внешнего мира прилетают подарки в виде изменений цен на нефть, санкций, ограничений и т.д.

Представили? Так вот, именно таким проектом в настоящий момент является проект ГИС ЖКХ, о котором ранее мы начали рассказывать и теперь хотим продолжить.

Источник

Любая ИТ-компания сталкивается с нехваткой кадров, и решение этого вопроса традиционно считается непростым. Многие компании привлекают на работу студентов московских вузов, а также хантят сотрудников из других структур, но сегодня мы хотим рассказать о другой практике, которая в нашем случае оказалась более результативной.

Разработчики нужны всегда, и если вы не относитесь к числу фрилансеров, работающих только удаленно, а также над специальными или индивидуальными проектами, то для многих путь в софтверную компанию выглядит так: переезд в крупный город с развитой ИТ-экспертизой, подача резюме в различные компании и выбор своего нового места работы в жестокой конкурентной борьбе.

Компании в основном используют симметричный подход: открывают свои представительства или филиалы в тех местах, где уже есть готовые кадры, и начинают искать контакты с вузами, привлекать студентов на свои стажерские программы или даже, чего греха таить, переманивать стажеров и сотрудников из конкурентных структур. До недавнего времени такой способ работы считался чуть ли не единственно возможным, но буквально за последние три года мы в «НОРБИТ» (входит в группу ЛАНИТ) убедились в том, что для офисов разработки можно применять совершенно иной подход.

Прогресс — это прекрасно. Современные технологии упрощают жизнь человека, делают ее безопаснее, а при должном уровне фантазии — еще и интереснее.

Фантасты часто создают на страницах своих произведений мир, повествующий нам не только о сложных ситуациях и моральном выборе людей из будущего, но и о гаджетах, новых технологиях, которые, по их предположениям, могут использоваться через годы.

Мы сейчас живем в то время, которое и было для писателей XX века будущим. Его они и пытались описать. Интересно сравнить их предположения с тем, что мы имеем сейчас. Мобильные устройства, беспроводная связь, лазеры на службе медицины и ВПК, умные протезы, неплохо прокачавшиеся со времен ноги Долговязого Джона Сильвера и прочее.

Бывает, что фантасты, авторы комиксов и фильмов рисовали в своем воображении устройства, которые представлялись им вполне себе возможными уже лет через 20, и при этом очень удобными и полезными. Однако реальность оказалась такова, что создать такой девайс людям будущего (то есть нам с вами) оказалось не под силу.

Работая в области информационных технологий, мы с вами постоянно сталкиваемся с новыми идеями. У нас в ЛАНИТ есть специальные команды, отвечающие за акселерацию внешних и внутренних стартапов. Тема изобретательства, инноваций, поиска жизнеспособных проектов нам очень близка.

Поэтому сегодня мы поговорим об устройствах, которые наверняка пригодились бы каждому, но которые современная наука не в силах воплотить в жизнь. Пока.

Часть 2: Решение

И снова здравствуйте! Сегодня я продолжу свой рассказ о том, как мы классифицируем большие объёмы данных на Apache Spark, используя произвольные модели машинного обучения. В первой части статьи мы рассмотрели саму постановку задачи, а также основные проблемы, которые возникают при организации взаимодействия между кластером, на котором хранятся и обрабатываются исходные данные, и внешним сервисом классификации. Во второй части мы рассмотрим один из вариантов решения данной задачи с использованием подхода Reactive Streams и его реализации с использованием библиотеки akka-streams.

Часть 1: Постановка задачи

Привет, Хабр! Я архитектор решений в компании CleverDATA. Сегодня я расскажу про то, как мы классифицируем большие объемы данных с использованием моделей, построенных с применением практически любой доступной библиотеки машинного обучения. В этой серии из двух статей мы рассмотрим следующие вопросы.

• Как представить модель машинного обучения в виде сервиса (Model as a Service)?
• Как физически выполняются задачи распределенной обработки больших объемов данных при помощи Apache Spark?
• Какие проблемы возникают при взаимодействии Apache Spark с внешними сервисами?
• Как при помощи библиотек akka-streams и akka-http, а также подхода Reactive Streams можно организовать эффективное взаимодействие Apache Spark с внешними сервисами?

Изначально я планировал написать одну статью, но так как объем материала оказался достаточно большим, я решил разбить ее на две части. Сегодня в первой части мы рассмотрим общую постановку задачи, а также основные проблемы, которые необходимо решить при реализации. Во второй части мы поговорим о практической реализации решения данной задачи с использованием подхода Reactive Streams.

В этой статье мы расскажем о внутреннем проекте для сотрудников группы ЛАНИТ — традиционных встречах с экспертами по актуальным технологическим темам, которые проходят в нашем центральном офисе по средам и называются соответственно «Своя среда». На одном из таких вечеров руководитель только что запущенного стартапа DTG Денис Реймер объяснил, почему группа ЛАНИТ видит перспективу в блокчейн-технологиях. Подробности — в нашем посте под катом.

В первой части статьи мы начали разговор о новом классе высокоуровневых моделей предметной области, названных понятийными. В отличие от других аналогичных моделей в понятийных моделях связи между понятиями сами являются понятиями, а модель строится на основе выявления и описания абстракций, послуживших образованию (определению) понятий предметной области. Это позволяет конечным пользователям строить и актуализировать модели предметной области путем простых и естественных операций создания, изменения и удаления понятий и их сущностей.

Здесь, во второй части, поговорим о том, как может быть реализована полнофункциональная информационная система, основанная на понятийном моделировании предметных областей. Теперь уже в деталях рассмотрим информационную систему LANCAD, которую в нашей компании “ИНСИСТЕМС” используют для организации проектной деятельности по разработке проектно-сметной документации для строительства.

Следует заметить, что появление информационной системы LANCAD явилось результатом реализации нескольких крупных проектов компании.

Внедряя современные информационные системы, крупные компании рассчитывают быстрее принимать решения, обнаруживать скрытые для бизнеса резервы и возможности, анализировать накопленный опыт и выстраивать прогнозы на основе выявленных закономерностей. Однако реальная отдача от информационных систем часто оказывается значительно ниже, а сроки внедрения и затраты – выше ожидаемых. Причин может быть великое множество, в том числе и связанных с неэффективным управлением, человеческим фактором, устарелой инфраструктурой.

Существенные недостатки есть и у самих информационных систем. В этой статье я предлагаю поговорить не о традиционных – трёхслойных – АИС, а о системах с четырехслойной архитектурой, где новый четвертый слой – слой представления – реализует понятийную модель предметной области. Для актуализации модели при изменениях в предметной области не требуется программировать. Более того, как актуализация модели, так и прикладные задачи решаются посредством семантически инвариантных для всех предметных областей операций над сущностями понятий.

В итоге удается улучшить вычислительные, технологические и эксплуатационные характеристики информационных систем с понятийными моделями предметной области. Но об этом далее.

Удовольствие от уборки способен получить далеко не каждый, но и жить в бардаке невозможно. Вот и CIO приходится проводить инвентаризацию нажитого за годы оборудования и софта, чтобы не столкнуться с Error Code: 418 I’m a teapot.

Да, наверное, есть компании, которые держат свои угодья в полном порядке, ведь они давно озаботились этим вопросом, изучили методологию управления активами и взяли под контроль весь жизненный цикл ИТ-инфраструктуры и всего программного обеспечения ( cout << «УТОПИЯ!» << endl;). Не будем сейчас об этих тружениках. Если вы не из их числа, предлагаем разобраться со способами оптимизации процессов управления ИТ-активами. Поговорим про SAM Services и различные методы инвентаризации, а закруглиться мы бы хотели на сводной таблице с наиболее часто используемыми нами тулами и их фичами.

Как должна была выглядеть сцена пыток Ковача. Кадр из сериала Altered Carbon / «Видоизмененный углерод»

Традиционные телекоммуникационные операторы, включая сотовые компании, попали в очень неприятную ситуацию: доходы практически не растут, а трафик стремительно увеличивается. Эти «ножницы» могут существенно «порезать» их прибыль и даже поставить под угрозу существование на рынке. Чтобы избежать этого, не оказавшись всего лишь «трубой» для перекачки трафика, операторам необходимо провести глубокую трансформацию своей инфраструктуры и бизнеса в целом. Работая с сетевым и телекоммуникационным оборудованием, мы в СompTek проанализировали возможности трансформации операторов. Они неразрывно связаны с использованием самых современных ИТ-разработок и привлечением экспертизы ИТ-интеграторов.

В Риме 8 апреля 2018 года я пробежал свой первый марафон (время — 4:29.41). У нас очень спортивная компания (см. отчет о ИТ-чемпионате в Гонке героев), но очень многие друзья и коллеги, которые меня поздравляли, абсолютно не представляли себе, что такое марафон и как интерпретировать мой результат.

Наш диалог был примерно следующим (Д — друг, Я — я):

(Д): Ну че красавчик! Ты что-то там, говорят, пробежал?
(Я): Спасибо, да, марафон.
(Д): Ну ты не умничай, скажи сколько пробежал?
(Я): 42 км 195 метров, конечно же, за 4:30.
(Д): Ни фига себе пробежал 42 км за 4:30! Да ты просто мегамонстр!

Для меня эти вопросы даже сначала показались дикими, т.к. я уже погрузился в беговую тематику. Поэтому я решил написать небольшой отчет о своем первом марафоне, коротко рассказать, что это такое и трудно ли подготовиться к марафону обычному ИТ-шнику.