Как стать автором
Обновить
  • по релевантности
  • по времени
  • по рейтингу

Учёные научились предсказывать по ЭЭГ, какие люди нравятся испытуемому

Алгоритмы *Машинное обучение *Научно-популярное Мозг Здоровье

Исследователи Копенгагенского и Хельсинкского университетов обучили алгоритмы предсказывать выбор пациента по показателям электроэнцефалографии (ЭЭГ) при помощи методов машинного обучения и коллаборативной фильтрации. 

Читать далее
Всего голосов 10: ↑10 и ↓0 +10
Просмотры 2.3K
Комментарии 11

Системы рекоммендаций: введение в гибридные системы

Data Mining *
Системы рекомендаций:
Советы от машины
Холодное начало
— Введение в гибридные системы
искусственные имунные системы и эффект идиотипов


Продолжим с того момента, на котором мы остановились в прошлый раз: мы рассмотрели несколько способов решения проблемы холодного начала, теперь я предлагаю рассмотреть другие проблемы систем рекомендаций (далее просто СР) и подумать, как разные типы СР могут дополнять друг-друга. Сразу оговорюсь, что я не буду подробно рассматривать способы решения той или иной проблемы. Цель этой статьи — лишь помочь разработчикам ориентироваться в разновидностях СР и в связанных с ними проблемах.

Для начала все-таки придется дополнить классификацию СР. Przemyslaw Kazienko и Pawel Kolodziejski предложили разделить все СР на пять типов: статистические, коллективные, ассоциативные и информационные. Начнем с самых простых.
Читать дальше →
Всего голосов 37: ↑35 и ↓2 +33
Просмотры 2.5K
Комментарии 10

OBOOBS.RU // Open B(.)(.)BS Project — небольшой проект про сиськи (женские)

Я пиарюсь
OBOOBS.RU

Привет, хабралюди. Сегодня вдруг уже пятница — идеальный день для показывания вам достаточно необычного ресурса про сиськи. Сделали мы его с другом ещё в прошлом году, но как-то всё допиливали всякие мелочи. А сейчас вдруг решили, что всё, пора рассказать о себе.

Главной целью было сделать неотвратительный ресурс про обнажённых девушек — нам было очень странно от того, что на эту тему не нашлось ничего простого, минималистичного и без невозможного количества порнобаннеров. И мы решили заполнить этот пробел.

Сайт копирует модель коллективной фильтрации от bash.org.ru — состоит из двух разделов: Сигнал (отобранные и разбитые по категориям картинки) и Шум (огромное количество картинок, добавленных самими пользователями, выдаётся пользователям рандомно). Время от времени, самые популярные картинки из Шума уходят в Сигнал, «попадают на главную» (заодно и в RSS валятся). Вот и всё. Можно только добавить, что крутится всё на django (nginx, apache+mod_wsgi), postgresql и prototype.

Приходите к нам смотреть на красивые сиськи!
Всего голосов 372: ↑306 и ↓66 +240
Просмотры 34K
Комментарии 187

Расширение базы для коллаборативной фильтрации

Чулан
Идея коллаборативной фильтрации проста и изящна – на основании списка предпочтений пользователя система ищет людей с похожими предпочтениями, сопоставляет списки и выдает рекомендации по их пополнению. Слово «предпочтение» здесь не совсем подходит, обычно список содержит названия объектов какого-либо контентного типа — книги, музыка, фильмы. Но если допустим блог-платформа или соцсеть подыскивает вам френдов? Тогда в качестве элементов списка могут служить указанные в профиле интересы пользователя, теги к его постам, список уже имеющихся френдов и т. п. Если задаться целью максимально расширить область применения коллаборативной фильтрации, то возникают два вопроса: что в принципе может быть элементом списка и что в принципе может стимулировать пользователя эти списки создавать.
Читать дальше →
Всего голосов 2: ↑2 и ↓0 +2
Просмотры 319
Комментарии 2

Мне, пожалуйста, Интернет с фильтром

Я пиарюсь
Cкоро веб-сервисы будут рекомендовать нам не только музыку для прослушивания, но и страну для проживания, и партнера для замужества. При этом, что характерно, всегда угадывать. Механизм с зубодробительным названием “коллаборативная фильтрация” — на самом деле довольно простая идея. Она основывается на следующем допущении: те, кто соглашался в прошлом, будут соглашаться с подобным и в будущем. Например, Last.Fm способен довольно точно прогнозировать, какая песня понравится пользователю, имея неполный список его симпатий и антипатий в музыке.

Обратите внимание: данный прогноз абсолютно индивидуален, хотя информация собирается от многих участников. Такой подход принципиально отличается от более примитивного, дающего для каждого объекта интереса “среднюю температуру по больнице”, то есть усреднённую оценку большинства — так делает, например, IMDB.
Читать дальше →
Всего голосов 11: ↑8 и ↓3 +5
Просмотры 671
Комментарии 6

Рекомендательные системы: постановка задачи

Блог компании Surfingbird
Всем привет! Меня зовут Сергей, я математик, и я определяю развитие рекомендательной системы Surfingbird. Этой статьёй мы открываем цикл, посвящённый машинному обучению и рекомендательным системам в частности – пока не знаю, сколько в цикле будет инсталляций, но постараюсь писать их регулярно. Сегодня я расскажу вам, что такое рекомендательные системы вообще, и поставлю задачу чуть более формально, а в следующих сериях мы начнём говорить о том, как её решать и как учится наша рекомендательная система Tachikoma.

image

Читать дальше →
Всего голосов 32: ↑27 и ↓5 +22
Просмотры 29K
Комментарии 22

Рекомендательные системы: user-based и item-based

Блог компании Surfingbird
Итак, в прошлый раз мы немного поговорили о том, что такое вообще рекомендательные системы и какие перед ними стоят проблемы, а также о том, как выглядит постановка задачи коллаборативной фильтрации. Сегодня я расскажу об одном из самых простых и естественных методов коллаборативной фильтрации, с которого в 90-х годах и начались исследования в этой области. Базовая идея очень проста: как понять, понравится ли Васе фильм «Трактористы»? Нужно просто найти других пользователей, похожих на Васю, и посмотреть, какие рейтинги они ставили «Трактористам». Или с другой стороны: как понять, понравится ли фильм «Трактористы» Васе? Нужно просто найти другие фильмы, похожие на «Трактористов», и посмотреть, как Вася их оценивал.


Читать дальше →
Всего голосов 25: ↑25 и ↓0 +25
Просмотры 34K
Комментарии 17

Новый тулбар

Блог компании Surfingbird
Алоха, юзернейм!

Меня зовут Сергей Шалаев, я руководитель Surfingbird. В нашем проекте я выполняю роль разнорабочего и занимаюсь тем, что не хотят делать остальные. Например, уборкой крыши или написанием текстов о новых штуках на нашем проекте.

Итак, я расскажу тебе, юзернейм, об одном небольшом, но очень важном обновлении Surfingbird, над которым мы работали последний месяц.

Мы зарелизили новый тулбар!
Вот он, тулбар нашей мечты — http://surfingbird.ru/surf


Читать дальше →
Всего голосов 25: ↑3 и ↓22 -19
Просмотры 1.9K
Комментарии 22

Рекомендательные системы: SVD, часть I

Блог компании Surfingbird
Продолжаем разговор о рекомендательных системах. В прошлый раз мы сделали первую попытку определить схожесть между пользователями и схожесть между продуктами. Сегодня мы подойдём к той же задаче с другой стороны – попытаемся обучить факторы, характеризующие пользователей и продукты. Если Васе из предыдущего поста нравятся фильмы о тракторах и не нравятся фильмы о поросятах, а Петру – наоборот, было бы просто замечательно научиться понимать, какие фильмы «о поросятах», и рекомендовать их Петру, а какие фильмы – «о тракторах», и рекомендовать их Васе.

image
Читать дальше →
Всего голосов 17: ↑15 и ↓2 +13
Просмотры 54K
Комментарии 5

Рекомендательные системы: SVD и базовые предикторы

Блог компании Surfingbird
В прошлый раз я рассказал, пока в самых общих чертах, о сингулярном разложении – главном инструменте современной коллаборативной фильтрации. Однако в прошлый раз мы в основном говорили только об общих математических фактах: о том, что SVD – это очень крутая штука, которая даёт хорошие низкоранговые приближения. Сегодня мы продолжим разговор об SVD и обсудим, как же, собственно, использовать всю эту математику на практике.
image

Читать дальше →
Всего голосов 10: ↑9 и ↓1 +8
Просмотры 28K
Комментарии 5

Рекомендательные системы: SVD на perl

Блог компании Surfingbird
В предыдущих сериях мы обсудили, что такое сингулярное разложение (SVD), и сформулировали модель сингулярного разложения с базовыми предикторами. В прошлый раз мы уже довели дело до конкретных формул апдейта. Сегодня я продемонстрирую очень простую реализацию очень простой модели, мы применим её к уже знакомой матрице рейтингов, а потом обсудим, какие получились результаты.


Читать дальше →
Всего голосов 7: ↑7 и ↓0 +7
Просмотры 13K
Комментарии 3

Рекомендательные системы: оверфиттинг и регуляризация

Блог компании Surfingbird
Постоянно падающая популярность предыдущих публикаций побуждает предпринимать поступки, помогающие популярность поддержать. Приметил – популярность первых публикаций порядочно превышает последующие; поэтому попробую перезагрузиться.

На протяжении предыдущих серий мы тщательно рассмотрели метод SVD и даже довели его до программного кода; начиная с этого текста, я буду рассматривать более общие вещи. Вещи эти, конечно, всегда будут тесно связаны с рекомендательными системами, и я буду рассказывать о том, как они в рекомендательных системах возникают, но постараюсь делать упор на более общих концепциях машинного обучения. Сегодня – об оверфиттинге и регуляризации.

Читать дальше →
Всего голосов 17: ↑16 и ↓1 +15
Просмотры 12K
Комментарии 17

Парадокс выбора: больше не значит лучше

Блог компании Студия Михаила Кечинова
Представьте, что вы пришли в интернет-магазин купить водонагреватель. В каталоге выводится набор из двух сотен вариантов. Вы не специалист в этом виде техники и не знаете, чем они отличаются и какие характеристики важны. Тем более, что большинство из них по параметрам весьма похожи. Насколько легко будет сделать выбор?

Люди теряются, когда им сразу предлагают слишком много вариантов. Зачастую они уходят туда, где выбор меньше и проще определиться. Широкий ассортимент делает нас не только пассивнее, но и мешает получить удовлетворение от хорошей сделки — заявил американский психолог Бэрри Шварц в своей книге “Парадокс выбора. Почему «больше» значит «меньше”.
Читать дальше →
Всего голосов 13: ↑10 и ↓3 +7
Просмотры 11K
Комментарии 7

Похожие поисковые запросы в hh.ru

Блог компании HeadHunter Поисковые технологии *Data Mining *
У большинства крупных поисковиков и сервисов есть механизм похожих поисковых запросов, когда пользователю предлагаются варианты, тематически близкие к тому, что он искал. Так делают в google, yandex, bing, amazon, несколько дней назад это появилось и у нас на hh.ru!



В этой статье я расскажу о том, как мы добывали похожие поисковые запросы из логов сайта hh.ru.
Читать дальше →
Всего голосов 55: ↑48 и ↓7 +41
Просмотры 18K
Комментарии 13

Item-based коллаборативная фильтрация своими руками

Блог компании Онлайн-кинотеатр IVI Python *Алгоритмы *
Робот-рекомендатель

Одной из наиболее популярных техник для построения персонализированных рекомендательных систем (RS, чтобы не путать с ПиСи) является коллаборативная фильтрация. Коллаборативная фильтрация бывает двух типов: user-based и item-based. User-based часто используется в качестве примера построения персонализированных RS [на хабре, в книге Т.Сегаран,...]. Тем не менее, у user-based подхода есть существенный недостаток: с увеличением количества пользователей RS линейно увеличивается сложность вычисления персонализированной рекомендации.

Когда количество объектов для рекомендаций большое, затраты на user-based подход могут быть оправданы. Однако во многих сервисах, в том числе и в ivi.ru, количество объектов в разы меньше количества пользователей. Для таких случаев и придуман item-based подход.

В этой статье я расскажу, как за несколько минут можно создать полноценную персонализированную RS на основе item-based подхода.
Читать дальше
Всего голосов 36: ↑35 и ↓1 +34
Просмотры 16K
Комментарии 13

Как работают рекомендательные системы. Лекция в Яндексе

Блог компании Яндекс Алгоритмы *Математика *

Привет, меня зовут Михаил Ройзнер. Недавно я выступил перед студентами Малого Шада Яндекса с лекцией о том, что такое рекомендательные системы и какие методы там бывают. На основе лекции я подготовил этот пост.





План лекции:


  1. Виды и области применения рекомендательных систем.
  2. Простейшие алгоритмы.
  3. Введение в линейную алгебру.
  4. Алгоритм SVD.
  5. Измерение качества рекомендаций.
  6. Направление развития.

Под катом вы найдете конспект лекции и презентацию
Всего голосов 63: ↑56 и ↓7 +49
Просмотры 119K
Комментарии 42

Как нельзя делать рекомендации контента

Блог компании Surfingbird Data Mining *Big Data *Машинное обучение *
Recovery mode

Во время общения с медиа мы в Relap.io часто сталкиваемся с массой заблуждений, в которые все верят, потому что так сложилось исторически. На сайте есть блоки типа «Читать также» или «Самое горячее» и т.п. Словом, всё то, что составляет обвязку статьи и стремится дополнить UX дорогого читателя. Мы расскажем, какие заблуждения есть у СМИ, которые делают контентные рекомендации, и развеем их цифрами.
 
HAbr1
 
 
Читать дальше →
Всего голосов 50: ↑41 и ↓9 +32
Просмотры 22K
Комментарии 29

Городской АД: школьники и студенты

Блог компании Проектная школа программирования GoTo Хакатоны Учебный процесс в IT


Привет, Хабр. В этом году у нас довольно успешно прошли эксперименты по вовлечению юных программистов в АД:


  • затеяли хакатон, где школьники и студенты соревновались на равных (выиграли школьники), помогли организовать олимпиаду НТИ по большим данным.


  • открыли направление АДских чудес в летних школах. О том, как школьники написали рекомендательную систему ленты новостей Дождя, освоили параметрическое моделирование, осваивали азы социнженерии по Митнику, расскажем в следующей статье.


  • организовали митапы для "укушенных" в Яндексе с Ежом. Ёж (Александр Панин) не устоял перед обаянием юных "датасайнтистов" на хакатоне, с тех пор каждую субботу одна из переговорок превращается в Малый АД под звуки арфы, на которой Ёж играет в перерывах.

Школа


Воодушевленные упорством ребят, решили начать вовлекать студентов постарше. Задумали школу прямо в Москве, пройдет она с 1 по 8 августа на факультете компьютерных наук ВШЭ, к участию приглашаются все желающие возрастом до 22 лет.


Программа школы состоит из двух блоков: интенсива с разбором кейсов от ведущих специалистов отрасли и работы в командах над проектом с опытным куратором.


Отбор


Для участия необходимо пройти отбор – решить реальную задачу, с которой столкнулся наш партнер E­-Contenta при разработке рекомендательного движка для Tviz.tv. До 25 июля принимаем решения любым способом – интересно посмотреть на нестандартные идеи, возможно, кто переплюнет решение партнера. Опытные участники имеют возможность заявить о себе и выиграть грант на бесплатное обучение.


Наша цель — дать возможность молодёжи погрузиться в Data Science не за 180 тысяч на "взрослых" курсах. Отбор нацелен прежде всего на проверку мотивации.

Читать про задание, матричные разложения и получение приближения k-го порядка
Всего голосов 6: ↑6 и ↓0 +6
Просмотры 9.9K
Комментарии 6

Рекомендательные системы: идеи, подходы, задачи

Блог компании Инфосистемы Джет Анализ и проектирование систем *Алгоритмы *Машинное обучение *


Многие привыкли ставить оценку фильму на КиноПоиске или imdb после просмотра, а разделы «С этим товаром также покупали» и «Популярные товары» есть в любом интернет- магазине. Но существуют и менее привычные виды рекомендаций. В этой статье я расскажу о том, какие задачи решают рекомендательные системы, куда бежать и что гуглить.
Читать дальше →
Всего голосов 34: ↑33 и ↓1 +32
Просмотры 27K
Комментарии 7

Как мы разрабатываем персональные товарные рекомендации

Блог компании Mindbox Алгоритмы *Машинное обучение *Интернет-маркетинг

image
Наши клиенты-магазины хотят делать крутой маркетинг. Чтобы люди больше покупали, они регулярно шлют им email-рассылки. И каждый раз думают: “Что же написать в письме?”.




Можно писать просто: “Покупайте у нас почаще!”, но это не очень-то работает. Идея получше — вставлять в письмо рекламу товаров. Желательно, рекламу товаров, которые заинтересуют покупателей.


Дальше расскажу о том, как мы с нуля делали настоящие персональные рекомендации.

Читать дальше →
Всего голосов 13: ↑9 и ↓4 +5
Просмотры 5.9K
Комментарии 13
1