Исследователи Копенгагенского и Хельсинкского университетов обучили алгоритмы предсказывать выбор пациента по показателям электроэнцефалографии (ЭЭГ) при помощи методов машинного обучения и коллаборативной фильтрации.
Системы рекоммендаций: введение в гибридные системы
6 мин
Системы рекомендаций:
— Советы от машины
— Холодное начало
— Введение в гибридные системы
— искусственные имунные системы и эффект идиотипов
Продолжим с того момента, на котором мы остановились в прошлый раз: мы рассмотрели несколько способов решения проблемы холодного начала, теперь я предлагаю рассмотреть другие проблемы систем рекомендаций (далее просто СР) и подумать, как разные типы СР могут дополнять друг-друга. Сразу оговорюсь, что я не буду подробно рассматривать способы решения той или иной проблемы. Цель этой статьи — лишь помочь разработчикам ориентироваться в разновидностях СР и в связанных с ними проблемах.
Для начала все-таки придется дополнить классификацию СР. Przemyslaw Kazienko и Pawel Kolodziejski предложили разделить все СР на пять типов: статистические, коллективные, ассоциативные и информационные. Начнем с самых простых.
— Советы от машины
— Холодное начало
— Введение в гибридные системы
— искусственные имунные системы и эффект идиотипов
Продолжим с того момента, на котором мы остановились в прошлый раз: мы рассмотрели несколько способов решения проблемы холодного начала, теперь я предлагаю рассмотреть другие проблемы систем рекомендаций (далее просто СР) и подумать, как разные типы СР могут дополнять друг-друга. Сразу оговорюсь, что я не буду подробно рассматривать способы решения той или иной проблемы. Цель этой статьи — лишь помочь разработчикам ориентироваться в разновидностях СР и в связанных с ними проблемах.
Для начала все-таки придется дополнить классификацию СР. Przemyslaw Kazienko и Pawel Kolodziejski предложили разделить все СР на пять типов: статистические, коллективные, ассоциативные и информационные. Начнем с самых простых.
OBOOBS.RU // Open B(.)(.)BS Project — небольшой проект про сиськи (женские)
1 мин
Привет, хабралюди. Сегодня вдруг уже пятница — идеальный день для показывания вам достаточно необычного ресурса про сиськи. Сделали мы его с другом ещё в прошлом году, но как-то всё допиливали всякие мелочи. А сейчас вдруг решили, что всё, пора рассказать о себе.
Главной целью было сделать неотвратительный ресурс про обнажённых девушек — нам было очень странно от того, что на эту тему не нашлось ничего простого, минималистичного и без невозможного количества порнобаннеров. И мы решили заполнить этот пробел.
Сайт копирует модель коллективной фильтрации от bash.org.ru — состоит из двух разделов: Сигнал (отобранные и разбитые по категориям картинки) и Шум (огромное количество картинок, добавленных самими пользователями, выдаётся пользователям рандомно). Время от времени, самые популярные картинки из Шума уходят в Сигнал, «попадают на главную» (заодно и в RSS валятся). Вот и всё. Можно только добавить, что крутится всё на django (nginx, apache+mod_wsgi), postgresql и prototype.
Приходите к нам смотреть на красивые сиськи!
Расширение базы для коллаборативной фильтрации
2 мин
Идея коллаборативной фильтрации проста и изящна – на основании списка предпочтений пользователя система ищет людей с похожими предпочтениями, сопоставляет списки и выдает рекомендации по их пополнению. Слово «предпочтение» здесь не совсем подходит, обычно список содержит названия объектов какого-либо контентного типа — книги, музыка, фильмы. Но если допустим блог-платформа или соцсеть подыскивает вам френдов? Тогда в качестве элементов списка могут служить указанные в профиле интересы пользователя, теги к его постам, список уже имеющихся френдов и т. п. Если задаться целью максимально расширить область применения коллаборативной фильтрации, то возникают два вопроса: что в принципе может быть элементом списка и что в принципе может стимулировать пользователя эти списки создавать.
Мне, пожалуйста, Интернет с фильтром
2 мин
Cкоро веб-сервисы будут рекомендовать нам не только музыку для прослушивания, но и страну для проживания, и партнера для замужества. При этом, что характерно, всегда угадывать. Механизм с зубодробительным названием “коллаборативная фильтрация” — на самом деле довольно простая идея. Она основывается на следующем допущении: те, кто соглашался в прошлом, будут соглашаться с подобным и в будущем. Например, Last.Fm способен довольно точно прогнозировать, какая песня понравится пользователю, имея неполный список его симпатий и антипатий в музыке.
Обратите внимание: данный прогноз абсолютно индивидуален, хотя информация собирается от многих участников. Такой подход принципиально отличается от более примитивного, дающего для каждого объекта интереса “среднюю температуру по больнице”, то есть усреднённую оценку большинства — так делает, например, IMDB.
Обратите внимание: данный прогноз абсолютно индивидуален, хотя информация собирается от многих участников. Такой подход принципиально отличается от более примитивного, дающего для каждого объекта интереса “среднюю температуру по больнице”, то есть усреднённую оценку большинства — так делает, например, IMDB.
Рекомендательные системы: постановка задачи
5 мин
Всем привет! Меня зовут Сергей, я математик, и я определяю развитие рекомендательной системы Surfingbird. Этой статьёй мы открываем цикл, посвящённый машинному обучению и рекомендательным системам в частности – пока не знаю, сколько в цикле будет инсталляций, но постараюсь писать их регулярно. Сегодня я расскажу вам, что такое рекомендательные системы вообще, и поставлю задачу чуть более формально, а в следующих сериях мы начнём говорить о том, как её решать и как учится наша рекомендательная система Tachikoma.
Рекомендательные системы: user-based и item-based
5 мин
Итак, в прошлый раз мы немного поговорили о том, что такое вообще рекомендательные системы и какие перед ними стоят проблемы, а также о том, как выглядит постановка задачи коллаборативной фильтрации. Сегодня я расскажу об одном из самых простых и естественных методов коллаборативной фильтрации, с которого в 90-х годах и начались исследования в этой области. Базовая идея очень проста: как понять, понравится ли Васе фильм «Трактористы»? Нужно просто найти других пользователей, похожих на Васю, и посмотреть, какие рейтинги они ставили «Трактористам». Или с другой стороны: как понять, понравится ли фильм «Трактористы» Васе? Нужно просто найти другие фильмы, похожие на «Трактористов», и посмотреть, как Вася их оценивал.
Новый тулбар
1 мин
Алоха, юзернейм!
Меня зовут Сергей Шалаев, я руководитель Surfingbird. В нашем проекте я выполняю роль разнорабочего и занимаюсь тем, что не хотят делать остальные. Например, уборкой крыши или написанием текстов о новых штуках на нашем проекте.
Итак, я расскажу тебе, юзернейм, об одном небольшом, но очень важном обновлении Surfingbird, над которым мы работали последний месяц.
Мы зарелизили новый тулбар!
Вот он, тулбар нашей мечты — http://surfingbird.ru/surf
Меня зовут Сергей Шалаев, я руководитель Surfingbird. В нашем проекте я выполняю роль разнорабочего и занимаюсь тем, что не хотят делать остальные. Например, уборкой крыши или написанием текстов о новых штуках на нашем проекте.
Итак, я расскажу тебе, юзернейм, об одном небольшом, но очень важном обновлении Surfingbird, над которым мы работали последний месяц.
Мы зарелизили новый тулбар!
Вот он, тулбар нашей мечты — http://surfingbird.ru/surf
Рекомендательные системы: SVD, часть I
3 мин
Продолжаем разговор о рекомендательных системах. В прошлый раз мы сделали первую попытку определить схожесть между пользователями и схожесть между продуктами. Сегодня мы подойдём к той же задаче с другой стороны – попытаемся обучить факторы, характеризующие пользователей и продукты. Если Васе из предыдущего поста нравятся фильмы о тракторах и не нравятся фильмы о поросятах, а Петру – наоборот, было бы просто замечательно научиться понимать, какие фильмы «о поросятах», и рекомендовать их Петру, а какие фильмы – «о тракторах», и рекомендовать их Васе.
Рекомендательные системы: SVD и базовые предикторы
3 мин
В прошлый раз я рассказал, пока в самых общих чертах, о сингулярном разложении – главном инструменте современной коллаборативной фильтрации. Однако в прошлый раз мы в основном говорили только об общих математических фактах: о том, что SVD – это очень крутая штука, которая даёт хорошие низкоранговые приближения. Сегодня мы продолжим разговор об SVD и обсудим, как же, собственно, использовать всю эту математику на практике.
Рекомендательные системы: SVD на perl
3 мин
В предыдущих сериях мы обсудили, что такое сингулярное разложение (SVD), и сформулировали модель сингулярного разложения с базовыми предикторами. В прошлый раз мы уже довели дело до конкретных формул апдейта. Сегодня я продемонстрирую очень простую реализацию очень простой модели, мы применим её к уже знакомой матрице рейтингов, а потом обсудим, какие получились результаты.
Рекомендательные системы: оверфиттинг и регуляризация
3 мин
Постоянно падающая популярность предыдущих публикаций побуждает предпринимать поступки, помогающие популярность поддержать. Приметил – популярность первых публикаций порядочно превышает последующие; поэтому попробую перезагрузиться.
На протяжении предыдущих серий мы тщательно рассмотрели метод SVD и даже довели его до программного кода; начиная с этого текста, я буду рассматривать более общие вещи. Вещи эти, конечно, всегда будут тесно связаны с рекомендательными системами, и я буду рассказывать о том, как они в рекомендательных системах возникают, но постараюсь делать упор на более общих концепциях машинного обучения. Сегодня – об оверфиттинге и регуляризации.
На протяжении предыдущих серий мы тщательно рассмотрели метод SVD и даже довели его до программного кода; начиная с этого текста, я буду рассматривать более общие вещи. Вещи эти, конечно, всегда будут тесно связаны с рекомендательными системами, и я буду рассказывать о том, как они в рекомендательных системах возникают, но постараюсь делать упор на более общих концепциях машинного обучения. Сегодня – об оверфиттинге и регуляризации.
Парадокс выбора: больше не значит лучше
3 мин
Представьте, что вы пришли в интернет-магазин купить водонагреватель. В каталоге выводится набор из двух сотен вариантов. Вы не специалист в этом виде техники и не знаете, чем они отличаются и какие характеристики важны. Тем более, что большинство из них по параметрам весьма похожи. Насколько легко будет сделать выбор?
Люди теряются, когда им сразу предлагают слишком много вариантов. Зачастую они уходят туда, где выбор меньше и проще определиться. Широкий ассортимент делает нас не только пассивнее, но и мешает получить удовлетворение от хорошей сделки — заявил американский психолог Бэрри Шварц в своей книге “Парадокс выбора. Почему «больше» значит «меньше”.
Люди теряются, когда им сразу предлагают слишком много вариантов. Зачастую они уходят туда, где выбор меньше и проще определиться. Широкий ассортимент делает нас не только пассивнее, но и мешает получить удовлетворение от хорошей сделки — заявил американский психолог Бэрри Шварц в своей книге “Парадокс выбора. Почему «больше» значит «меньше”.
Похожие поисковые запросы в hh.ru
7 мин
У большинства крупных поисковиков и сервисов есть механизм похожих поисковых запросов, когда пользователю предлагаются варианты, тематически близкие к тому, что он искал. Так делают в google, yandex, bing, amazon, несколько дней назад это появилось и у нас на hh.ru!
В этой статье я расскажу о том, как мы добывали похожие поисковые запросы из логов сайта hh.ru.
В этой статье я расскажу о том, как мы добывали похожие поисковые запросы из логов сайта hh.ru.
Item-based коллаборативная фильтрация своими руками
10 мин
Одной из наиболее популярных техник для построения персонализированных рекомендательных систем (RS, чтобы не путать с ПиСи) является коллаборативная фильтрация. Коллаборативная фильтрация бывает двух типов: user-based и item-based. User-based часто используется в качестве примера построения персонализированных RS [на хабре, в книге Т.Сегаран,...]. Тем не менее, у user-based подхода есть существенный недостаток: с увеличением количества пользователей RS линейно увеличивается сложность вычисления персонализированной рекомендации.
Когда количество объектов для рекомендаций большое, затраты на user-based подход могут быть оправданы. Однако во многих сервисах, в том числе и в ivi.ru, количество объектов в разы меньше количества пользователей. Для таких случаев и придуман item-based подход.
В этой статье я расскажу, как за несколько минут можно создать полноценную персонализированную RS на основе item-based подхода.
Как работают рекомендательные системы. Лекция в Яндексе
11 мин
Привет, меня зовут Михаил Ройзнер. Недавно я выступил перед студентами Малого Шада Яндекса с лекцией о том, что такое рекомендательные системы и какие методы там бывают. На основе лекции я подготовил этот пост.
План лекции:
- Виды и области применения рекомендательных систем.
- Простейшие алгоритмы.
- Введение в линейную алгебру.
- Алгоритм SVD.
- Измерение качества рекомендаций.
- Направление развития.
Как нельзя делать рекомендации контента
9 мин
Recovery mode
Во время общения с медиа мы в Relap.io часто сталкиваемся с массой заблуждений, в которые все верят, потому что так сложилось исторически. На сайте есть блоки типа «Читать также» или «Самое горячее» и т.п. Словом, всё то, что составляет обвязку статьи и стремится дополнить UX дорогого читателя. Мы расскажем, какие заблуждения есть у СМИ, которые делают контентные рекомендации, и развеем их цифрами.
Городской АД: школьники и студенты
11 мин
Привет, Хабр. В этом году у нас довольно успешно прошли эксперименты по вовлечению юных программистов в АД:
затеяли хакатон, где школьники и студенты соревновались на равных (выиграли школьники), помогли организовать олимпиаду НТИ по большим данным.
открыли направление АДских чудес в летних школах. О том, как школьники написали рекомендательную систему ленты новостей Дождя, освоили параметрическое моделирование, осваивали азы социнженерии по Митнику, расскажем в следующей статье.
- организовали митапы для "укушенных" в Яндексе с Ежом. Ёж (Александр Панин) не устоял перед обаянием юных "датасайнтистов" на хакатоне, с тех пор каждую субботу одна из переговорок превращается в Малый АД под звуки арфы, на которой Ёж играет в перерывах.
Школа
Воодушевленные упорством ребят, решили начать вовлекать студентов постарше. Задумали школу прямо в Москве, пройдет она с 1 по 8 августа на факультете компьютерных наук ВШЭ, к участию приглашаются все желающие возрастом до 22 лет.
Программа школы состоит из двух блоков: интенсива с разбором кейсов от ведущих специалистов отрасли и работы в командах над проектом с опытным куратором.
Отбор
Для участия необходимо пройти отбор – решить реальную задачу, с которой столкнулся наш партнер E-Contenta при разработке рекомендательного движка для Tviz.tv. До 25 июля принимаем решения любым способом – интересно посмотреть на нестандартные идеи, возможно, кто переплюнет решение партнера. Опытные участники имеют возможность заявить о себе и выиграть грант на бесплатное обучение.
Наша цель — дать возможность молодёжи погрузиться в Data Science не за 180 тысяч на "взрослых" курсах. Отбор нацелен прежде всего на проверку мотивации.
Рекомендательные системы: идеи, подходы, задачи
11 мин
Многие привыкли ставить оценку фильму на КиноПоиске или imdb после просмотра, а разделы «С этим товаром также покупали» и «Популярные товары» есть в любом интернет- магазине. Но существуют и менее привычные виды рекомендаций. В этой статье я расскажу о том, какие задачи решают рекомендательные системы, куда бежать и что гуглить.
Как мы разрабатываем персональные товарные рекомендации
8 мин
Наши клиенты-магазины хотят делать крутой маркетинг. Чтобы люди больше покупали, они регулярно шлют им email-рассылки. И каждый раз думают: “Что же написать в письме?”.
Можно писать просто: “Покупайте у нас почаще!”, но это не очень-то работает. Идея получше — вставлять в письмо рекламу товаров. Желательно, рекламу товаров, которые заинтересуют покупателей.
Дальше расскажу о том, как мы с нуля делали настоящие персональные рекомендации.