Поисковые технологии *

Похоже, что у создателей поисковой машины Yahoo сейчас трудное время — различать участки с контентом от навигационных зон на веб-страницах становится всё сложнее. Однако, различение может быть полезным в улучшении качества ранжирования, а также отображении в поисковых результатах более релевантных участков. Yahoo ввела специальный CSS-класс под названием robots-nocontent. Его можно использовать в таких элементах, как <div> или <p>, для извещения поисковому роботу Yahoo, что эта часть страницы не имеет отношения к основному контенту. В соответствующем разделе своего справочника, Yahoo советует использовать этот синтаксис в заголовках, в подвалах, навигационных секциях сайта…

Я, конечно, понимаю заинтересованность команды Yahoo во введении подобного элемента — это действительно может улучшить выдачу результатов. Но мне кажется, что большинство веб-мастеров проигнорируют это нововведение, как раньше произошло с гугловским параметром nofollow. Да и наверняка будут веб-мастера, которые проигнорируют новинку из-за боязни снижения позиции своего сайта в выдаче результатов.

Владельцы продвинутых поисковых движков нового поколения Autonomy и Blinkx закончили процесс слияния. Это было логично, потому что технология (поиск среди неструктурированной разнородной информации по паттернам) у них по сути одна и та же, ведь основателем Blinkx был ведущий программист Autonomy, который ушёл из фирмы и основал своё дело. Теперь новая-старая компания приступает к следующей фазе своего развития.

Первичный выпуск акций должен состояться на альтернативной площадке Лондонской бирже в мае 2007 г. Планируется отдать народу только потребительское подразделение Blinkx, тогда как бизнес корпоративных поисковиков остаётся в собственности Autonomy.

На веб-сайте Blinkx осуществляется поиск по более чем 7 млн часам видеоматериалов, в том числе по закадровому тексту (работает распознавание речи) и объектам в кадре (распознавание образов). Добавить своё видео в поисковый индекс может любой пользователь.

С две недели назад в сети появился новый «поисковик» 2new.ru. В кавычках, потому что все, что он делает, это выдает результаты поиска Google в дизайне Яндекса.
Казалось бы, мелочь, но за две недели я окончательно пересел на поиск по нему. Как ни странно, это и удобно и привычно.

На рынке корпоративного поиска Microsoft и Google занимают принципиально разные позиции. Так, Google считает, что домашние и корпоративные пользователи — это одни и те же люди, которые могут использовать один и тот же продукт. Компания Microsoft уточняет: да, это те же люди, однако дома и на работе у них разные нужды, поэтому им требуются разные инструменты.

Спор по этому принципиальному вопросу состоялся между представителями Google и Microsoft на конференции Gilbane, посвященной корпоративным системам управления контентом.

Компания blinkx, специализирующаяся на поиске видео, объявила, что поисковая система Quintura будет использовать индекс blinkx для своего видеопоиска на www.Quintura.com.

По условиям соглашения, blinkx предоставляет поисковику свой индекс, что позволит Quintura выдавать результаты из базы blinkx объёмом свыше 7 миллионов часов видео-контента.

«Большой индекс видео-контента blinkx — прекрасное дополнение к нашему сервису», — сказал Яков Садчиков, глава компании Quintura. — «С визуализацией Интернета и увеличением медиа контента пользователям потребуются новые способы, позволяющие проще и быстрее находить онлайн-видео. В сочетании с визуальными поисковыми технологиями Quintura индекс blinkx дает возможность предоставить пользователям уникальные визуальные и интуитивные стороны поиска по видео. Новый сервис стал возможен благодаря технологическому прорыву наших компаний в визуализации поиска и индексировании онлайн-видео.»

Крупнейшие поисковые сайты Google, Yahoo, Ask и MSN объявили о принятии единого стандарта для хранения файла Sitemap XML. Веб-мастерам рекомендуется добавить такую строчку в robots.txt:

Sitemap: www.example.com/sitemap.xml

Функция Auto-Discovery позволяет сэкономить время: поисковый робот теперь будет сам находить файл Sitemap на сайте, так что теперь не нужно его вручную закачивать в каждый поисковик.

Как объясняется на сайте Sitemaps.org, единый стандарт должен облегчить процесс индексации сайта поисковыми системами. С помощью этого XML-файла веб-мастер прямо указывает поисковику, какие страницы на сайте нужно индексировать. Таким образом можно существенно сэкономить исходящий трафик, а часто обновляемые страницы индексируются чаще.

Разработчики интеллектуального поисковика «Нигма» реализовали новый сервис – поиск по электронным библиотекам. Его запуск приурочен ко второму дню рождения проекта, который команда отпразднует 12 апреля. По данным опроса, проведенного компанией в прошлом месяце, пользователей «Нигмы» более всего интересовал именно поиск по библиотекам.

Кроме того, на завтра у «Нигмы» запланирована промо-акция – раздача шоколадных плиток у станции метро «Университет» и на факультете психологии МГУ. Проводиться она будет с 10.00 до 14.00 по московскому времени.

Напомним, поисковик «Нигма» разрабатывается группой студентов и аспирантов факультетов ВМиК и психологии МГУ им. Ломоносова. Особенность системы – наличие искусственного интеллекта, позволяющего группировать найденные сайты в кластеры, наблюдать которые можно слева от результатов поиска.

Конструктор Yahoo! Alpha работает через интуитивный интерфейс: создать свой метапоисковик можно в несколько щелчков мышкой, перетаскивая виджеты на экране. Пока выпущена только бета-версия Yahoo! Alpha, но она выглядит очень многообещающе.

Исследователи Microsoft опубликовали документ, в котором сообщается, что многочисленные ссылки, продвигающие в интернете «мусорные» страницы (doorway pages), генерируются и распространяются небольшой группой людей, обладающих связями с крупными рекламодателями и веб-хостерами. Специалисты полагают, что исследование поможет ограничить практику распространения «мусорных» страниц.

«Вы знаете, что 75% британцев используют один поисковик для поиска информации? Один и тот же поисковик. Самый крупный поисковик. Самый популярный поисковик. Почему? Не потому, что нет других поисковиков, просто люди не используют их.»

Это – цитата из манифеста кампании Information Revolution, начатой в Великобритании. Организовали её не вовсе не добровольцы, а конкуренты самого крупного поисковика Google – компания Ask.com.

Quintura for Kids, визуальный поисковик для детей от Quintura, теперь функционирует на собственной индексной базе. Это первый проект компании, который использует веб-индекс, созданный по фирменной технологии нейронных сетей.
«С самого своего выхода в декабре 2006 г. Quintura for Kids пользуется постоянным спросом у интернет-аудитории, особенно у родителей и учителей — они рекомендуют её своим детям, — сказал Яков Садчиков, сооснователь и президент Quintura. — Чтобы и дальше радовать своих пользователей, мы обновляем Quintura for Kids ещё более детальным облаком подсказок, ускорением сервиса и повышением релевантности поисковых результатов».

В ближайших планах компании – запуск партнерской программы для сайтов и блогов, которые смогут включить визуальную карту Quintura в инструменты локального поиска.

Сайт AOL France отличался до сих пор от других порталов группы AOL своим собственным поисковиком, основанным на технологии Exalead. Эта эпоха заканчивается, поскольку контракт, который связывал Exalead и AOL France, не будет продлён. Отныне, технологии поиска порталу будет поставлять Google.

Во Франции не осталось ни одного сколько-нибудь значимого портала, использующего технологию Exalead (Netscape.fr также был потерян в своё время). Поисковику не остаётся ничего, кроме как наращивать аудиторию своего собственного сайта.

В Голландии Exalead подписывает соглашение с IIse Media.

//Référencement, Design et Cie

Российский поисковик Webalta объявил о сотрудничестве с компанией Altastat, которая займётся продвижением поисковика с помощью партнёрских программ.

Для владельцев сайтов (включая блоги) будет предложено три программы сотрудничества. Программа Altalink предполагает размещение текстовых ссылок на поиск Webalta с оплатой за переходы посетителей сайтов, разместивших у себя ссылки, к результатам поиска. Программа Context обеспечивает размещение контекстной рекламы системы «Оптимист» на сайтах участников программы с оплатой за переходы посетителей на сайты рекламодателей, работающих с системой контекстной рекламы Webalta. Программа Referalta направлена на привлечение новых участников самой системы Altastat.

Основным отличием от других игроков на рынке интернет-рекламы в компании считают своё либеральное отношение к партнёрам: к участию в рекламных программах будут допущены сайты, размещённых на бесплатных хостингах, веб-мастеру не требуется предоставлять статистику посещаемости своего ресурса и убирать с его страниц рекламу конкурентов.

Сотрудники «Вебальты» начали обзвон фирм, которые пользуются услугами систем «Бегун», «Яндекс.Директ» и Google Adsense.

О том, что компания «Вебальта» предлагает размещение рекламы на своих страницах клиентам конкурентов, сообщил «Ведомостям» директор фирмы по ремонту квартир, чья реклама занимает верхние позиции в «Яндекс.Директ». Сотрудники «Вебальты» обзванивают партнёров конкурентов или рассылают им электронные письма с предложением разместить рекламу и на страницах «Вебальты».

Алексей Гурешов, генеральный директор «Вебальты», говорит, что его компания обзванивает чужих рекламных партнёров с начала своего существования и уже набрала 500 клиентов.

Пользователи Google считают, что Yahoo — более интересный предмет для поиска, чем секс. По крайней мере, об этом свидетельствуют данные статистики, которые доступны с помощью Google Trends.

Для проверки возможного влияния ТИЦ на ранжирование сайтов, для значений индекса популярности в поисковой машине «Вершки Рунета» введены поправочные коэффициенты, равные значениям ln(CY) соответствующих сайтов.

Результаты оказались двоякими: с одной стороны, это на первый взгляд улучшило выдачу, дав больший вес известным сайтам Рунета, с другой стороны наблюдается эффект «выезда» крупных порталов по непрофильным запросам, например, по запросу «президент» поднялись сайты информационных агентств rian.ru и lenta.ru, как имеющие одни из высоких значений CY.

Если бы значение CY было зафиксировано каким-нибудь интервалом, скажем от 0 до e^10, и расчитывалось внутри каждой темы независимо (т.е. все «самые главные» сайты внутри каждой темы имели бы одинаковый самый высокий рейтинг), то такой попровочный коэффициент был бы более полезен в ранжировании (по крайней мере для «Вершков Рунета» :).

Возращаясь к тесту апдейтов поисковиков от «Ашманов и партнёры», проверим, а насколько хорош Exalead для поиска в Рунете.

Замечу, что с момента моей первой соноты, тест Ашманова немного изменился, в него были добавлены новые запросы и проверочные сайты для них, другие же запросы были убраны. Я тестировал Exalead по запросам, входившим в тест качества на момент моей первой соноты.

Всего 21 запрос. Exalead дал в ответах проверочные сайты на 12 из них. Для этих 12 запросов средняя позиция проверочных сайтов равна 1.5, что превосходит показатель Google (1.64), лидирующего в данный момент в этом тесте у «Ашманов и партнёры».

Похоже у Exalead нет поддержки русской морфологии (или её тщательно скрывают), тем не менее, этот поисковик уже достаточно хорошо ищет по Рунету. Для справки, в базе Exalead на данный момент находится сыше 8 млрд. проиндексированых страниц.

Газета New York Times опубликовала заметку Google Answer to Filling Jobs Is an Algorithm (также доступную здесь), рассказывающую о том, как Google старается не потонуть в примерно 100000 резюме, подаваемых ежемесячно на вакантные позиции. Помимо расширения онлайновой формы заявления, теперь запрашивающей больше информации о кандидате, также сообщается о введении специальных алгоритмов, оценивающих каждое заявление на вакансию и присваивающих каждому такому заявлению некий коэффициент соответствия от 0 до 100.

Сведя каждое заявление к абстрактному числу (своего рода ранжирующая функция), несложно подключить обычный поиск, который у Gogle уже есть. Тем самым Google несложно будет сделать отдельные поисковики по всем вакансиям в мире, а также по аналогичным сервисам: анкетам сайтов знакомств, покупки/продажи/аренды недвижимости и т.п., где требуется многокритериальный поиск… Возможно, нечно подобное и появится скоро, эти ниши явно денежные :)

//3form (см. также упоминание о Google Online Assessments, — Google готовит нечто похожее на Brainbench?).

Новый концепт «Андромеда» страницы результатов поиска:



Сверстано пока вчерновую, хотелось бы посмотреть на фидбэк, прежде чем вылизывать дальше…

Следуя моде давать прогнозы на грядущий год, выскажу предположение, что если не в следующем, то скоро появится новый стандарт сайта компании, где вместо уже привычной заглавной страницы с иерархическим меню самого различного покроя, появится google-like интерфейс — заглавная страница будет содержать “визитку” компании плюс строку ввода поисковика по всему объёму предоставлемой информации. Кстати, компания Google уже выпустила пакет Google Apps for Domain для содания своего “google.com”, оталось интегрировать это с Google Appliance или Google Mini, плюс желательно возродить Google Answers в локальном варианте (типа Google Answers Mini) и прототип CMS нового поколения будет готов.

Крупные компании уже давно могут предложить гораздо больше информации потенциальному клиенту о своих товарах и услугах, нежели можно удобно эти данные расположить в иерархических меню, да ещё так, чтобы пользователь разобрался со структурой с первого захода. А так будет всем “интуитивно понятный” интерфейс поисковой строки.

Конечно, строка поиска стандартно присутствует почти на каждом сайте, но зачатую на отшибе в правом вернем углу и зачастую чисто наминально, ибо возможности поиска, “зашитые” в некоторые CMS, весьма куцые. А будет наоборот — строка поиска будет в центре внимания и самым крупным объектом на странице, а меню станет вспомогательным инструментом и будет меняться в зависимости от того, что ищет пользователь, позволяя быстрее ориентироваться в полученых результатах или уточнять запросы в один/два клика.