Wall Street Journal провело расследование работы поиска Google. Журналисты заявили, что компания серьезно вмешивается в алгоритм формирования поисковой выдачи.

По словам собеседников издания, в 2018 году Google внесла в алгоритмы более 3200 изменений, в 2017 году — 2400, а в 2010 году — около 500. В самой корпорации это объясняют тем, что примерно 15% запросов представляют собой слова или комбинации, с которыми система ранее не сталкивалась, и поэтому разработчики вынуждены корректировать работу алгоритмов для релевантной выдачи.

WSJ утверждает, что, тем не менее, Google отдает предпочтение крупным компаниям, так как на этих площадках покупатель вероятнее что-то приобретет. В итоге на верхние строчки выдачи попадает Amazon. Расследователи заявили, что это происходит даже тогда, когда продукты уже вышли из продажи в магазине. «Неверно также полагать, что мы не пытаемся решить проблему с отображением вышедших из продажи товаров на высоких позициях в выдаче», — в ответ заявила представитель корпорации.

Google опубликовала статистику самых популярных запросов за 2022 год во всём мире и для некоторых стран. России среди доступных нет, как и многих других, например Франции, Казахстана и Латвии. Возможно, для некоторых стран статистика ещё не готова.  

В официальном блоге Google подробно растолковано, каким образом поисковый движок обрабатывает запросы с надбуквенными символами: ударениями, французскими аксан-гравами и т.д.

Компания «Яндекс» выпустила информационный бюллетень «Поиск в интернете: что и как ищут пользователи». Информационный бюллетень включает в себя данные с сентября 1997 года по сентябрь 2008 года. Полную версию (13 страниц) можно скачать в формате PDF, а здесь мы приводим выжимку самых интересных фактов.

Начнём с самых популярных запросов последнего времени. Их список в целом изменяется крайне медленно. На топ-10 не влияют ни новости, ни сезонность — речь идёт о десятках тысяч одинаковых запросов в день. Однако за последние полтора года самые часто задаваемые запросы к «Яндексу» изменились достаточно сильно (см. таблицу). Это первое серьёзное изменение первой десятки за несколько лет. Основная причина этих изменений — появление и огромная популярность социальных сетей. Первый раз за несколько лет запрос [порно] перестал быть самым популярным, уступив запросам [одноклассники] и [в контакте]. В топ-50 самых частых запросов в августе 2008 года входит двенадцать запросов, связанных с социальными сетями.

Всего 90 дней — таков новый стандарт приватности, о котором объявила компания Yahoo. Именно столько они будут хранить логи всех действий пользователя (в том числе запросы к поисковой системе с привязкой к IP-адресам, просмотры страниц, рекламные кукисы и т.д.), после чего обещают безвозвратно удалять эту приватную информацию. Это самые жёсткие правила приватности среди всех крупных интернет-компаний. Другими словами, Yahoo устанавливает новый стандарт приватности и можно ожидать, что скоро её примеру последуют Google, Microsoft и прочие. До настоящего времени Yahoo хранила логи 13 месяцев. Google удаляет часть информации из логов через 9 месяцев. У Microsoft срок хранения приватных данных равен 18 месяцам.

Новые правила для поисковых логов вступят в действия с января. Для всех остальных сервисов Yahoo аналогичные правила будут внедрять постепенно, вплоть до середины 2010 года.

В то же время некоторые поисковые системы предоставляют полностью анонимный доступ к своему сервису и вообще не хранят логи ни в каком виде. Например, так работает функция AskEraser на поисковике Ask.com.

Статистическая служба «Рамблера» опубликовала очередную порцию статистики. Вот некоторые тенденции «кризисного» времени.

Отрицательную динамику числа запросов по отношению к показателям марта 2008-го показали запросы «инфляция» (-48%), «сбережения» (-22%) и «кредит» (-21%). Пользователи просто переключились на другие формулировки («девальвация» вместо «инфляции»), в том числе абсолютно новые: например, запрос «когда закончится кризис» вырос с 2 до 1695 запросов, а «анекдоты про кризис» — с 3 до 1227.



Наибольший спад посещаемости за год, по данным рейтинга Рамблер Топ100, отмечен у сектора «Увлечения и хобби» (-79%). Самый большой прирост посещений зарегистрирован в секторах «промышленность» (197%), «кино» (159%), «программы» (128%), на рисунке диаметр кругов соответствует размеру аудитории.

Год назад учёные из Google произвели революцию в эпидемиологии, когда определили паттерн поисковых запросов, который характерен для инфицированного гриппом человека (научная работа в PDF). Соответственно, путём анализа всего объёма поисковых запросов оказалось возможным с высокой точностью предсказывать эпидемию гриппа примерно за две недели до её начала. Так появился сервис Google Flu Trends.

В научно-исследовательских лабораториях Google решили не останавливаться на достигнутом. Если мы можем предсказать эпидемию гриппа по поисковым запросам, то предсказать движение фондовых индексов вообще легко, решили они, написали ещё одну научную работу (PDF) и запустили на сайте Google Finance новую фичу Google Domestic Trends, предназначенную специально для инвесторов.

Идея в том, что поисковые запросы являются опережающим индикатором для фондового рынка, также как они являются опережающим индикатором для эпидемии гриппа. Эти явления (сильное движение рынка и вирусная эпидемия) вообще похожи друг на друга по многим признакам.

В Google Domestic Trends используется похожий принцип для анализа состояния того или иного экономического сектора. Для каждого сектора выявляется набор характерных ключевых слов, а потом строится график по количеству поисковых запросов. Мы сразу видим, как меняется интерес публики к этому сектору, и можем сделать предположения, как изменится в связи с этим спрос на соответствующие акции.

Финансовый директор компании Google, профессор экономики Хэл Вариан (Hal Varian) абсолютно уверен, что мы начали выходить из кризиса. Его уверенность основана отнюдь не на отчётах правительства и корпораций, а на гораздо более точном опережающем индикаторе — статистике поисковых запросов американцев.

В марте начало снижаться количество поисковых запросов, связанных с безработицей, говорит Вариан. Кроме того, наблюдается рост запросов на поиск недвижимости и контактной информации агентов недвижимости. Всё это указывает на будущий подъём рынка недвижимости.

Финдиректор поискового гиганта призывает правительство США внимательнее относиться к статистике поисковых запросов, которая является чётким индикатором здоровья экономики и общественного сознания. Нужно учитывать поисковые запросы при планирования государственного бюджета и антикризисных мероприятий.

Не так давно пришлось мне писать эссе, затрагивающее систему образования в информационном обществе.

И я задался вопросом: в какой стране информационные технологии наиболее интенсивно используются в образовательных целях? Опыт такой страны можно было бы перенести на другие страны, в том числе и на Россию.

Для ответа на этот вопрос я решил воспользоваться Google Trends. Я старался вводить поисковые запросы, которые люди могут делать только в целях самообразования, а потом смотрел, жители какой страны делали больше всего таких запросов. Конечно, у такого метода есть свои недостатки, но Google, во-первых, приравнивает запросы, сделанные на разных языках, а во-вторых, имеет наибольший территориальный охват из всех.

Сделав несколько десятков таких запросов, я получил совершенно неожиданный для себя результат. Абсолютным и неоспоримым лидером в таких запросах стали Филиппины. Не Финляндия, не Америка, не Индия, а именно Филиппины — страна, не демонстрирующая особенного экономического чуда, не занимающая первые места в образовательных рейтингах, не особенно богатая ИТ-инфраструктурой, и не реализующая какую-то особую образовательную политику.

Давайте посмотрим статистику, на основании которой можно сделать выводы о существовании образовательной аномалии.

Вот распределение количества запросов по странам:

С рождением Интернета и поисковых систем появились новые возможности для изучения человеческого поведения. Каждый раз, когда пользователь делает запрос в поисковой строке, он делится крупицей информации о своей жизни и интересах.

Обобщая запросы от миллионов людей, мы можем выявлять тенденции, динамику и некоторые взаимозависимости при изменении интересов у определённых групп людей.

Подобные исследования обеспечивают простор как для деятельности учёных, так и для роста эффективности работы поисковых систем. Например, анализируя взаимозависимости запросов пользователей в демографическом срезе, можно улучшить поисковые подсказки. Подобная технология уже используется в саджестах от Поиска@Mail.Ru.

Разработчики поисковых систем уделяют много внимания анализу логов поисковых запросов. Но часто такие исследования ограничиваются анализом пользовательских запросов в рамках одной поисковой сессии (обычно длящейся до 30 минут). Или же в процессе анализа больше внимания уделяется частоте запросов и обобщённым данным об их популярности. При этом, как правило, исследователи рассматривают эту информацию в краткосрочном срезе. Однако человеческая жизнь многогранна и интересы людей со временем меняются. Поэтому именно ретроспективный долгосрочный анализ логов поисковых запросов открывает по-настоящему богатые возможности для исследований.

В одной из своих презентаций Google опубликовал интересную цифру. Оказывается, каждый день поисковый сайт обрабатывает 16% новых поисковых запросов, которые никогда не встречались ранее.

Казалось бы, откуда они берутся, если все слова из словаря со всеми возможными опечатками и во всех сочетаниях уже исчерпаны? Но если подумать, то можно легко понять, откуда они берутся. Во-первых, свой вклад вносят пара сотен языков, отличных от английского. Во-вторых, пользователи очень часто ищут специфическую информацию в длинных уникальных поисковых запросах (адреса конкретных заведений, имена и биография, цитаты из песен, литературных произведений и фрагменты кода, многое другое). В конце концов, это бессмысленные сочетания клавиш, которые случайно попали в поисковик, а также незаконченные запросы из «динамического» поиска, который обновляет результаты по мере набора текста пользователем.

В январе 2011 года компания Google удалила некоторые «пиратские» слова из списка автодополнения и «мгновенного поиска». Эта инициатива поискового гиганта вызвала неодобрение в интернет-сообществе, потому что такие методы попахивают цензурой, причём самовольной, ведь Google ни с кем не согласовывала список запрещённых слов. В него попали такие термины, как [torrent], [BitTorrent], [RapidShare] и прочие. В результате введения цензуры на Google количество «пиратских» поисковых запросов за год заметно снизилось.

Сейчас стало известно, что Google существенно дополнил «чёрный список». В него включены почти все крупные файлообменные сайты, в том числе теперь в автодополнении и «мгновенном поиске» блокируются запросы [thepiratebay], [the pirate bay], [isohunt], [torrentreactor], [btjunkie], [kickasstorrents], [sumotorrent], [btmon], [extratorrent], [4shared], [filesonic], [fileserve].

Новое развлечение для любителей поисковых систем — специальным образом составленный запрос в гугле выдаёт более 86000 сетевых принтеров, доступ к которым был открыт в момент обхода гуглом.

10-14 марта 2014 года случилась масштабная конференция «Неделя Байнета. Пробуждение», на которой доклады о положении дел в самой зоне .BY сделали докладчики из Москвы. Я постараюсь не перегружать рассказ подробным репортажем о самом мероприятии: видеоматериалов, презентаций и фотографий — масса, часть их опубликуют до конца недели. Тема этой заметки — сам Белорусский Интернет как он видится из зоны RU весной 2014 и впечатления о первом посещении страны.

Языки, на которых пользователи интернет-поиска составляют свои поисковые запросы, появились на наших глазах. Лексически они слабо отличимы от более привычных нам языков, например, русского или английского, и в начале своего существования совпадали с родительскими языками. Но языки поисковых запросов быстро отошли от родительских и обзавелись собственными наборами идиом, синтаксисом и даже особыми «частями речи». Небольшой размер и простота их грамматик, а также возможность изучать полное множество высказываний, порожденных на таких языках, делают их идеальными модельными объектами для тестирования моделей усвоения языка.

Я провел небольшое исследование того языка запросов, на котором пользователи обращаются к поиску Яндекса, и на его основе подготовил доклад. Как это часто бывает, вопросов осталось больше чем ответов. Однако результаты получились достаточно интересными.



Хотелось бы также поблагодарить Елену Грунтову за одну из основных идей для исследования и помощь в подготовке доклада.