Комментарии 53
Давненько я не видел новых сайтов в топе по коммерческим запросам. «Машинное обучение»?
Да, это машинное обучение.
Обучение коммерческих сайтов производится по видоизмененной технологии, про которую мы рассказывали на различных конференциях:
www.cybermarketing.ru/conference/conf4-lecturer.html
www.optimization.by/6651/
Основные изменения касаются другого принципа оценки, привлечения дополнительных факторов ранжирования.
Если начать учитывать качество магазина, то многие из параметров оценки качества становятся достоверными только с течением времени.
В современных рыночных условиях нельзя взять и назначить новый-молодой бизнес самым лучшим, его качество определяется со временем по его делам.
Поэтому учет качества магазинов (коммерческих сайтов) приводит к тому, что некоторые сайты становятся более устойчивыми, а другие, напротив, уходят из выдачи.
Аналогичный подход пробуют использовать и другие поисковые системы:
searchenginewatch.com/article/2253941/Matt-Cutts-Merchant-Quality-to-Affect-Google-Search-Rankings
blog.seolib.ru/seo-novosti/mett-katts/
Обучение коммерческих сайтов производится по видоизмененной технологии, про которую мы рассказывали на различных конференциях:
www.cybermarketing.ru/conference/conf4-lecturer.html
www.optimization.by/6651/
Основные изменения касаются другого принципа оценки, привлечения дополнительных факторов ранжирования.
Если начать учитывать качество магазина, то многие из параметров оценки качества становятся достоверными только с течением времени.
В современных рыночных условиях нельзя взять и назначить новый-молодой бизнес самым лучшим, его качество определяется со временем по его делам.
Поэтому учет качества магазинов (коммерческих сайтов) приводит к тому, что некоторые сайты становятся более устойчивыми, а другие, напротив, уходят из выдачи.
Аналогичный подход пробуют использовать и другие поисковые системы:
searchenginewatch.com/article/2253941/Matt-Cutts-Merchant-Quality-to-Affect-Google-Search-Rankings
blog.seolib.ru/seo-novosti/mett-katts/
Не могу с вами согласиться. Ситуация такова, что те, кто начал продвигаться примерно до 2008 года по коммерческим запросам довольно быстро вошли в десятку и в ней же остаются сейчас. После же попасть в десятку стало практически невозможно. И это никак не зависит от «молодости» или «старости» бизнеса, а зависит только от того, кто раньше начал продвигаться. Здесь полная консервация топа, а за счет этого продвижение вашего «Директа».
У нас другие сведения :-) Вот, например, запрос [grand vitara], выдача для Краснодара.
Вот как он изменился даже за несколько месяцев — сравниваем выдачу сегодня и в сентябре-2012:
1 suzuki.drom.ru/grand_vitara/ www.suzuki-motor.ru/auto/new/grand-vitara/about/
2 www.grand-vitara.com/ suzuki.drom.ru/grand_vitara/
3 www.auto-creditline.ru/sell_cat.php?cid=352 www.club-vitara.ru/
4 www.suzukiauto.com/grand_vitara/ ru.wikipedia.org/wiki/Suzuki_Grand_Vitara
5 www.carexpert.ru/aresp.php?idmodel=suzkv www.drive2.ru/cars/suzuki/grand_vitara/
6 www.suzuki-motor.ru/auto/new/grand-vitara/about/ www.carexpert.ru/aresp.php?idmodel=suzkv
7 newmpv.ru/sites/95 www.vitara-club.ru/
8 www.r93.ru/suzuki/grand_vitara/ www.vitara-club.ru/
9 newmpv.ru/sites/95 www.grand-vitara.com/
10 www.yuginform.ru/auto/krd/suzuki/grandvitara www.cardriver.ru/catalogue/new/Suzuki/Grand_Vitara.html?comments=1
Что уж говорить про более длинные промежутки…
Вот как он изменился даже за несколько месяцев — сравниваем выдачу сегодня и в сентябре-2012:
1 suzuki.drom.ru/grand_vitara/ www.suzuki-motor.ru/auto/new/grand-vitara/about/
2 www.grand-vitara.com/ suzuki.drom.ru/grand_vitara/
3 www.auto-creditline.ru/sell_cat.php?cid=352 www.club-vitara.ru/
4 www.suzukiauto.com/grand_vitara/ ru.wikipedia.org/wiki/Suzuki_Grand_Vitara
5 www.carexpert.ru/aresp.php?idmodel=suzkv www.drive2.ru/cars/suzuki/grand_vitara/
6 www.suzuki-motor.ru/auto/new/grand-vitara/about/ www.carexpert.ru/aresp.php?idmodel=suzkv
7 newmpv.ru/sites/95 www.vitara-club.ru/
8 www.r93.ru/suzuki/grand_vitara/ www.vitara-club.ru/
9 newmpv.ru/sites/95 www.grand-vitara.com/
10 www.yuginform.ru/auto/krd/suzuki/grandvitara www.cardriver.ru/catalogue/new/Suzuki/Grand_Vitara.html?comments=1
Что уж говорить про более длинные промежутки…
Лучше взять Москву и запросы «шкафы-купе», «пластиковые окна», «межкомнатные двери», «столешницы из искусственного камня» :)
Вам же недвусмысленно намекнули: «Про Москву забудьте, идите в регионы продавать подержанные иномарки». :)
Ну ок. Москва. Пластиковых окон не нашел :). Нашел [бронированные двери]. Вот результаты ранжирования Яндекс от 2008-06-23:
www.dvery.ru/
www.bronedveri.com.ua/
www.roxter.com.ua/
www.bankproject.ru/
www.mirdverey.com.ua/
komplekt-opt.ru/
www.superdver.ru/
www.npp-modul.ru/
www.super-dveri.ru/docs?nart=58
www.testroy.ru/
Итого 3 совпадения с текущей выдачей.
www.dvery.ru/
www.bronedveri.com.ua/
www.roxter.com.ua/
www.bankproject.ru/
www.mirdverey.com.ua/
komplekt-opt.ru/
www.superdver.ru/
www.npp-modul.ru/
www.super-dveri.ru/docs?nart=58
www.testroy.ru/
Итого 3 совпадения с текущей выдачей.
Ранжирование осуществляется автоматически по всем запросам, или по некоторым все же существует «отредактированная вручную» выдача? В первую очередь конечно интересуют высокочастотные коммерческие и политические запросы.
Денис, можешь написать, сколько у вас факторов и оценок?
как на счет актуализации оценок — сколько времени «живут» оценки — перепроверяете ли вы их все, как часто переоцениваете один и тот же запрос, чтобы оценить новые сайты?
разделяете ли вы как-то оценки на заслуживающие больше доверия (например, перепроверенные старшими асессорами, или по которым не было разногласий между асессорами) и менее?
как на счет актуализации оценок — сколько времени «живут» оценки — перепроверяете ли вы их все, как часто переоцениваете один и тот же запрос, чтобы оценить новые сайты?
разделяете ли вы как-то оценки на заслуживающие больше доверия (например, перепроверенные старшими асессорами, или по которым не было разногласий между асессорами) и менее?
Денис, можешь написать, сколько у вас факторов и оценок?Могу назвать порядок цифр.
Факторов — порядка тысячи.
Оценок — миллионы :-)
как на счет актуализации оценок — сколько времени «живут» оценки — перепроверяете ли вы их все, как часто переоцениваете один и тот же запрос, чтобы оценить новые сайты?
Да, перепроверяем; да, переоцениваем. Регулярность зависит от частотности запроса.
разделяете ли вы как-то оценки на заслуживающие больше доверия (например, перепроверенные старшими асессорами, или по которым не было разногласий между асессорами) и менее?Мы с этим экспериментируем.
Почему удовлетворенность результатами конечными пользователями не оценивается?
Может стоит на небольшой выборке тестировать вопросы, по удовлетворенности посещенными сайтами и почему они вернулись к поиску?
Ведь асессоры это специалисты, но глаз замыливается.
Кстати и что касается консервации топа, в некоторых тематиках он уже 3 года стабилен (топ-10), а это значит, что получается совпали результаты по формуле обычной + машинному обучению + выбору асессоров?
Спасибо в любом случае за попытку показать, как все это работает!
Может стоит на небольшой выборке тестировать вопросы, по удовлетворенности посещенными сайтами и почему они вернулись к поиску?
Ведь асессоры это специалисты, но глаз замыливается.
Кстати и что касается консервации топа, в некоторых тематиках он уже 3 года стабилен (топ-10), а это значит, что получается совпали результаты по формуле обычной + машинному обучению + выбору асессоров?
Спасибо в любом случае за попытку показать, как все это работает!
Почему удовлетворенность результатами конечными пользователями не оценивается?Удовлетворённость пользователей оценивается — с помощью пользовательских метрик. Немного подробней об этом планируем рассказать во втором посте.
Может стоит на небольшой выборке тестировать вопросы, по удовлетворенности посещенными сайтами и почему они вернулись к поиску?
Кстати и что касается консервации топа, в некоторых тематиках он уже 3 года стабилен (топ-10), а это значит, что получается совпали результаты по формуле обычной + машинному обучению + выбору асессоров?О каких тематиках идёт речь, например?
Может ли асессор «подсматривать» в поисковики и выставлять оценки не согласно качеству документов, а на основе выдачи поисковиков?
Например, если документ по данному запросу нигде не находится — асессор ставит плохую оценку.
Если в Яндексе — отличную, если в Гугле — хорошую.
Каковы механизмы защиты от такого недобросовестного поведения асессоров?
Например, если документ по данному запросу нигде не находится — асессор ставит плохую оценку.
Если в Яндексе — отличную, если в Гугле — хорошую.
Каковы механизмы защиты от такого недобросовестного поведения асессоров?
В момент оценки асессор не знает о том, какие системы оценивает. Да ему и не до этого, среднее время оценки — меньше минуты. За это время посмотреть какая система отдала урл — нереально.
Правильно ли я понимаю, что работа асессора оплачивается за каждую оценку и ему выгодно оценить как можно больше?
Асессор — это человек работающий в офисе или «на удаленке»?
Асессор — это человек работающий в офисе или «на удаленке»?
Если кратко — асессору выгодно делать много качественных оценок. Трудовые отношения с асессором — извините, тут совсем офтопик.
Возможно я ошибаюсь, но общее качество поиска может зависеть от нескольких крупных составляющих.
Например, как это может быть.
1) Алгоритм машинного обучения — пусть он работает на 99 процентов от идеального алгоритма
2) Правильное множество факторов — пусть текущее множество работает на 60 процентов от некоторого воображаемого идеального множества факторов
3) Оценки асессоров — пусть асессоры дают оценки, которые хуже на 40 процентов от «идеальных асессоров»
В такой ситуации узким местом будет не алгоритм, не полнота индекса и не мониторинг качества текущих факторов, а способы поиска новых факторов и контроль качества работы асессоров. Если вы считаете, что это оффтопик — ок, не настаиваю.
В каком-то смысле, хотелось бы в новых Ваших публикациях затронуть проблемы поиска новых факторов и мониторинга асессоров. Это просто пожелание. Возможно, это не узкие места. Тогда забейте.
За ссылки на Russir и ECIR спасибо, поизучаю.
Например, как это может быть.
1) Алгоритм машинного обучения — пусть он работает на 99 процентов от идеального алгоритма
2) Правильное множество факторов — пусть текущее множество работает на 60 процентов от некоторого воображаемого идеального множества факторов
3) Оценки асессоров — пусть асессоры дают оценки, которые хуже на 40 процентов от «идеальных асессоров»
В такой ситуации узким местом будет не алгоритм, не полнота индекса и не мониторинг качества текущих факторов, а способы поиска новых факторов и контроль качества работы асессоров. Если вы считаете, что это оффтопик — ок, не настаиваю.
В каком-то смысле, хотелось бы в новых Ваших публикациях затронуть проблемы поиска новых факторов и мониторинга асессоров. Это просто пожелание. Возможно, это не узкие места. Тогда забейте.
За ссылки на Russir и ECIR спасибо, поизучаю.
Этим механизмам посвящены немалое число научных и практических работ. Были интересные тьюториалы на RUSSIR из Яндекса года три назад, а сейчас идет конференция ECIR2013 в Digital October, наверняка там тоже есть работы по этой теме
А можно уточнение по картинке — 10^12 и 10^8 это какие документы имеются ввиду: известные URL'ы / скаченные / заиндексированные / потенциально искомые или еще что-то?
Самое забавное, что килобайтная формула в 2007-ом искала лучше, чем этот ваш 40мб матрикснет.
Ну я понимаю, что рунет с тех пор изменился и вырос, но это именно вы, яндекс, вырастили его таким — забитым на 99% говносайтами разной степени «монетизации» с ворованным/генеренным/авторерайченым контентом.
Однако самое веселое то, что по коммерческим запросам именно яндекс даёт наилучшие результаты, правда в графе «директ». На результаты нормального поиска по таким зарпосам уже многие внимания просто не обращают. Сколько там байт в формуле ранжирования директа, 7?:)
Ну я понимаю, что рунет с тех пор изменился и вырос, но это именно вы, яндекс, вырастили его таким — забитым на 99% говносайтами разной степени «монетизации» с ворованным/генеренным/авторерайченым контентом.
Однако самое веселое то, что по коммерческим запросам именно яндекс даёт наилучшие результаты, правда в графе «директ». На результаты нормального поиска по таким зарпосам уже многие внимания просто не обращают. Сколько там байт в формуле ранжирования директа, 7?:)
Если матрикснет — это библиотека машинного обучения, интересно знать какую долю от всех запросов рассматривают ассесоры?
В тексте уже звучала цифра:
В процентах, разумеется, это ничтожная доля — потому что уникальных запросов пользователи задают несопоставимо больше.
В ранжировании эксперты определяют порядок, в котором нужно показывать документы по конкретным запросам. Таких запросов десятки тысяч.
В процентах, разумеется, это ничтожная доля — потому что уникальных запросов пользователи задают несопоставимо больше.
Илья добавил важное уточнение: habrahabr.ru/company/yandex/blog/174213/#comment_6057001
В тексте уже звучала цифра:
В ранжировании эксперты определяют порядок, в котором нужно показывать документы по конкретным запросам. Таких запросов десятки тысяч.В процентах, разумеется, это ничтожная доля — потому что уникальных запросов пользователи задают несопоставимо больше.
Мы обозначим круг задач, для решения которых FML может оказаться полезным и за пределами Яндекса, и сравним его с аналогами, доступными на рынке.
Единичные проекты сотрудничества (как с CERN)? Лицензирование? Опенсорс?
Это все прекрасно, но Вам в Яндексе стоит серьезно задуматься о ранжировании дублированного контента в выдаче.
Наглядный пример мы совсем недавно отправляли в службу поддержки:
Воры контента сделали точную копию сайта, а именно скопировали весь текстовый контент (несколько десятков тысяч уникальных авторских статей). И мало того, что сайт копипастеров отлично индексируется, так по большей части низкочастотных запросов (фраза из статей) они вылезли выше чем оригинал. Сайту вору уже больше года.
Поддержка отписывается что Яндекс это зеркало рунета и бла бла бла, но проблему это не решает. Кто угодно может сделать копию ЛЮБОГО сайта, с большей вероятностью появится в поиске и навредить честным людям.
Ах да, инструмент «Оригинальные тексты» не помогает.
При всей моей любви к вашей ПС, ваши коллеги из гугла по крайней мере реагируют на такие запросы и убивают дублирующий контент.
Наглядный пример мы совсем недавно отправляли в службу поддержки:
Воры контента сделали точную копию сайта, а именно скопировали весь текстовый контент (несколько десятков тысяч уникальных авторских статей). И мало того, что сайт копипастеров отлично индексируется, так по большей части низкочастотных запросов (фраза из статей) они вылезли выше чем оригинал. Сайту вору уже больше года.
Поддержка отписывается что Яндекс это зеркало рунета и бла бла бла, но проблему это не решает. Кто угодно может сделать копию ЛЮБОГО сайта, с большей вероятностью появится в поиске и навредить честным людям.
Ах да, инструмент «Оригинальные тексты» не помогает.
При всей моей любви к вашей ПС, ваши коллеги из гугла по крайней мере реагируют на такие запросы и убивают дублирующий контент.
А как доказать, кто появился раньше, кто оригинал? То, что на вас раньше кто-то ссылался? Существует неимоверное количество продажных сайтов, и целые их сети для подъёма рейтинга ресурсов за счёт ссылок на них и т.п. А с помощью инструмента «Оригинальные тексты» могут удалить и вас.
Почему вы вообще считаете, что это работа поисковика разбирать, кто из вас оригинал? Если ваши тексты являются интеллектуальной собственностью, и вы обладаете авторским правом на неё, почему бы вам не решить вопрос в судебном порядке?
Если вы хотите, чтобы копии не было в поисковиках, вам нужно будет также обращаться и в остальные, зачастую не менее популярные поисковики, а они, насколько я понимаю, далеко не так открыты к людям, как наш любимый Яндекс.
Почему вы вообще считаете, что это работа поисковика разбирать, кто из вас оригинал? Если ваши тексты являются интеллектуальной собственностью, и вы обладаете авторским правом на неё, почему бы вам не решить вопрос в судебном порядке?
Если вы хотите, чтобы копии не было в поисковиках, вам нужно будет также обращаться и в остальные, зачастую не менее популярные поисковики, а они, насколько я понимаю, далеко не так открыты к людям, как наш любимый Яндекс.
Вопрос часто не в том, кто первый, а в том, что бан и пессимизация накладываются на источник контента, а не на вора. Т.е. в логике банов вопрос «кто был первый, а кто неинтересный дубль недостойный выдачи» очень даже легко решается, причем автоматом и сплеча. А в ранжировании значит трудно решить?
Обсуждаемый вопрос — очень сложная, неразрешенная проблема. На данный момент научное сообщество «тренируется» на соц. сетях в выявлении источников трендов/истории ретвитов. 3 или 4 работы на эту тему были на последнем WSDM. Однако, повторюсь, хорошего, применимого на практике решения пока в природе не существует (как минимум не известно авторам данной статьи). Тем не менее, проблема и боль, которая стоит за подобными сообщениями понятна и как только будет найдено хорошее решение оно будет внедрено.
Раньше для доказательства авторства рукописей достаточно было отправить копию себе заказным письмом до востребования. Возможно, сейчас можно применить платную индексацию на archive.org. И по большому счёту совершенно не задача поисковиков снижать рейтинг копий, а ваша задача следить за копиями, и оперативно пользоваться каким-то механизмом борьбы с источником.
Например, если на ваш сайт, первый в поисковой выдаче по запросу «Быстрое похудание» будет вести только поисковик, а на другой сайт, вашу копию, тысяча ссылок с блогов и ресурсов из Яндекс.Каталога, то даже если вы докажете, что вы — оригинал, то поможете Яндексу вычислить «продажные» блоги и ресурсы, существующие ради SEO. Но это много, много ручного ресурса.
Например, если на ваш сайт, первый в поисковой выдаче по запросу «Быстрое похудание» будет вести только поисковик, а на другой сайт, вашу копию, тысяча ссылок с блогов и ресурсов из Яндекс.Каталога, то даже если вы докажете, что вы — оригинал, то поможете Яндексу вычислить «продажные» блоги и ресурсы, существующие ради SEO. Но это много, много ручного ресурса.
Добрый день. Не могли бы Вы сообщить адрес сайта? Можно личным сообщением.
Привет оптимизаторам :)!
А не оптимизаторам, а владельцам сайтов? Создание «сайта, интересного посетителю» — интересного профессионального уникального контента — дорогое удовольствие, которое часто не окупается, если траффик идет только с Директа и Гугла, а органический поиск забанил. Например Матрикснет недавно забанил лучший украинский интернет-магазин в своей нише, в результате ошибки в алгоритмах (по словам Платона). Три недели вне поисковой выдачи старый уважаемый магазин терпит убытки. Оптимизиторы-спаммеры-дорвейщики это все хорошо, но Яндекс и Гугл это естественные монополисты от которых зависят судьбы людей в бизнесе и многим тут не до веселых шуток. А ложная сработка руками не убирается так просто и анализ «почему так случилось» может идти неделю. Это ж вам не простая формула, а искусственный интеллект…
Любая классификация (в том числе определение заспамленности или «взрослости» контента) — вероятностная задача, в которой есть полнота и точность (которые никогда не достигают точных 100%).
Поэтому ситуации вроде ошибочной пессимизации или пропадания были и будут всегда. Мы следим за цифрами в среднем по всему множеству сайтов, и в случае значительных ухудшений ситуации в целом — откатываем алгоритм к предыдущей версии. Заниматься ручным исправлением ситуации с отдельными сайтами по жалобам — с точки зрения пользовательского счастья менее эффективно, чем решать более общую проблему, приведшую к жалобе. А мы работаем прежде всего на пользовательское счастье.
Поэтому ситуации вроде ошибочной пессимизации или пропадания были и будут всегда. Мы следим за цифрами в среднем по всему множеству сайтов, и в случае значительных ухудшений ситуации в целом — откатываем алгоритм к предыдущей версии. Заниматься ручным исправлением ситуации с отдельными сайтами по жалобам — с точки зрения пользовательского счастья менее эффективно, чем решать более общую проблему, приведшую к жалобе. А мы работаем прежде всего на пользовательское счастье.
Хорошая статья
главное — не из рубрики «Превед оптимизаторам!» :)
ждем продолжение
главное — не из рубрики «Превед оптимизаторам!» :)
ждем продолжение
Пожалуйста: habrahabr.ru/company/yandex/blog/174975/
Пост похож на вкусную затравку, но ничего интересного в статье, а также никаких интересных подробностей по ссылкам на YAMR и Матрикснет.
Что за СМИ такие, которые называют ранжирование релевантностью, и что за формула, выросшая в 2000 раз за 6 лет — не раскрыто.
Раз уж решили рассказать, интересно в первую очередь услышать об алгоритмах, используемых для ранжирования тех самых 10^8 найденных документов, сравнения с известными алгоритмами кластеризации; про хранение этих данных и использование их в оперативных запросах; про кеширование результатов.
На очередной пост наподобии поста про новыенескучные обои возможности Я.Браузера время тратить не хотелось бы.
Что за СМИ такие, которые называют ранжирование релевантностью, и что за формула, выросшая в 2000 раз за 6 лет — не раскрыто.
Раз уж решили рассказать, интересно в первую очередь услышать об алгоритмах, используемых для ранжирования тех самых 10^8 найденных документов, сравнения с известными алгоритмами кластеризации; про хранение этих данных и использование их в оперативных запросах; про кеширование результатов.
На очередной пост наподобии поста про новые
Начинали они скорее всего с BM25
Статья, как и ее продолжение, не про поисковую систему в целом, а про то как создавать и улучшать одну единственную ее часть — формулу ранжирования. При этом, мы хотим сосредоточиться не на том, какие конкретно скрипты и с какими параметрами запускать, чтобы сделать так же, а на более общих проблемах с которыми мы столкнулись. В частности речь идет о создании экосистемы разработки вокруг задачи ранжирования, что является довольно сложной задачей, если разработкой занимается более 2-х человек.
Кстати, какого рода сравнение алгоритмов обучения ранжированию с алгоритмами кластеразации вы просите?
Кстати, какого рода сравнение алгоритмов обучения ранжированию с алгоритмами кластеразации вы просите?
Про скрипты вопроса и не было. А что такое формула в принципе не очень понятно, а формула же, занимающая 40КБ, о которой написано в топике — и подавно.
Было бы интересно про ранжирование, а не экосистему.
Про сравнение имелось в виду, используете ли вы K-means для первичного отбора, но теперь я понимаю, что это за пределами топика.
Было бы интересно про ранжирование, а не экосистему.
Про сравнение имелось в виду, используете ли вы K-means для первичного отбора, но теперь я понимаю, что это за пределами топика.
K-means не применим в рантайме, так как стучит минимум кубом и вообще не всегда сходится. Более того, в рантайме очень редко используется кластеризация вообще.
Формула — это набор действий над факторами (числами, характеризующими набор пользователь/запрос/документ), результатом работы которых является число, определяющее порядок ранжирования. Примерами действий могут быть такие: сложить, сравнить с порогом, домножить, заменить и т.п. Мы исходим из того, что размер формулы отражает рост количества этих действий, так как в процессе формат изменяеся не слишком сильно.
Формула — это набор действий над факторами (числами, характеризующими набор пользователь/запрос/документ), результатом работы которых является число, определяющее порядок ранжирования. Примерами действий могут быть такие: сложить, сравнить с порогом, домножить, заменить и т.п. Мы исходим из того, что размер формулы отражает рост количества этих действий, так как в процессе формат изменяеся не слишком сильно.
НЛО прилетело и опубликовало эту надпись здесь
Эта статья — отличное начинание, не откладывайте в долгий ящик продолжение, очень интересно будет почитать про оценку удовлетворённости результатами поиска, про пользовательские метрики (как формируются, какие из них используются, а какие нет и почему).
Спасибо за отзыв, продолжение не за горами.
А вот и продолжение habrahabr.ru/company/yandex/blog/174975/
Кластер на GPU вещь хорошая, математику формулах ранжирования быстро считает. Для своего маленького поисковичка тоже 2 видеокарты использую.
Человек-асессор в каждом конкретном случае знает, почему он поставил ту или иную оценку.
Обучаемый алгоритм — не знает, потому что:
— все машинные самообучаемые системы на данный момент — «чёрные ящики»,
— индивидуальные оценки так или иначе обобщаются, но не обобщаются их причины.
Такой «ослеплённый» алгоритм не в состоянии обработать крайние случаи (причём мы не можем заранее знать, какие именно), и очень слаб в эвристике.
Однако философская суть поиска — искать то, что еще не известно. А это и есть эвристика и и крайние случаи. Получается, ваш подход к организации ранжирования противоречит сути самого поиска.
Или я ошибся в логике?
Обучаемый алгоритм — не знает, потому что:
— все машинные самообучаемые системы на данный момент — «чёрные ящики»,
— индивидуальные оценки так или иначе обобщаются, но не обобщаются их причины.
Такой «ослеплённый» алгоритм не в состоянии обработать крайние случаи (причём мы не можем заранее знать, какие именно), и очень слаб в эвристике.
Однако философская суть поиска — искать то, что еще не известно. А это и есть эвристика и и крайние случаи. Получается, ваш подход к организации ранжирования противоречит сути самого поиска.
Или я ошибся в логике?
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Ранжирование в Яндексе: как поставить машинное обучение на поток (пост #1)