Wall Street Journal провело расследование работы поиска Google. Журналисты заявили, что компания серьезно вмешивается в алгоритм формирования поисковой выдачи.
По словам собеседников издания, в 2018 году Google внесла в алгоритмы более 3200 изменений, в 2017 году — 2400, а в 2010 году — около 500. В самой корпорации это объясняют тем, что примерно 15% запросов представляют собой слова или комбинации, с которыми система ранее не сталкивалась, и поэтому разработчики вынуждены корректировать работу алгоритмов для релевантной выдачи.
WSJ утверждает, что, тем не менее, Google отдает предпочтение крупным компаниям, так как на этих площадках покупатель вероятнее что-то приобретет. В итоге на верхние строчки выдачи попадает Amazon. Расследователи заявили, что это происходит даже тогда, когда продукты уже вышли из продажи в магазине. «Неверно также полагать, что мы не пытаемся решить проблему с отображением вышедших из продажи товаров на высоких позициях в выдаче», — в ответ заявила представитель корпорации.
А вот в eBay несколько лет назад, напротив, заметили, что из Google приходит меньше трафика. Выяснилось, что поисковик пессимизировал позиции части страниц eBay в выдаче. После переговоров позиции вернули, но при условии, что ресурс проследит за наполнением страниц и их релевантностью.
Однако авторы материала утверждают, что в Google не только формируют выдачу в пользу крупных компаний, но и дают им советы о том, как улучшить свои позиции в поиске. Эту информацию подтвердили некие работники гиганта.
В iProspect, которое является одним из крупнейших рекламных клиентов Google, рассказали, что после крупных обновлений поиска созваниваются с разработчиками для обсуждения изменений. «Однако в Google нам не сообщают ничего такого, о чем компания не рассказывала бы публично», — заявили рекламщики.
Источник газеты поделился, что руководство несколько лет обсуждает смену стратегии формирования поиска, но пока никаких решений по этому вопросу нет.
Авторы расследования отмечают, что к непоисковым блокам корпорация относится мягче. Однако Google может вмешиваться в работу тех блоков, которые появляются на одной странице с поисковой выдачей — подборок новостей или видеороликов по теме.
Протестировали журналисты WSJ и поисковую выдачу на основе автозаполнения. На примере имен политиков они выяснили, что в ответ на ряд запросов поисковик просто не предлагает многие варианты, которые оказывались в подсказках от Bing от Microsoft и DuckDuckGo.
По запросу «abortion is» («аборт это») Google выдал варианты автозаполнения: «legal» («легально»), «normal» («нормально»), «safe» («безопасно»), «a constitutional right» («конституционное право»). Bing же предлагает еще «bad» («плохо»), «immoral» («аморально»), «not murder» («не убийство»).
В целом, в публичных правилах Google автозаполнение определяется как функция, которая не может предлагать варианты, связанные с харассментом, угрозами, «ненадлежащей сексуализацией» или раскрытием частной и деликатной информации. Источник подтвердил, что в Google ведут черный список запросов и изымают их из предложений вручную.
В компании заявили, что не ведут политически мотивированные черные списки компаний, людей или сайтов. Однако источник подтвердил, что списки ведутся, и состоящие в них ресурсы не могут появиться в поисковой выдаче вообще или по определенному запросу. Он утверждает, что этот список ведется отдельно и не составляется, к примеру, по запросам от правительств на удаление запрещенных данных. Сайт может попасть в блэк-лист, если, в том числе, использует спам-тактики вывода в верхнюю часть поисковой выдачи, искусственно набивая себе рейтинг.
Издание напомнило, что сооснователь Google Сергей Брин изначально выступал против введения агрессивной антиспам-политики, так как это потребует слишком большого человеческого вмешательства. Например, он лично выступил за показ антисемитских сайтов в выдаче по запросу «jew» («еврей»). Между тем другой сооснователь Ларри Пейдж якобы дал добро на борьбу со спамом: «Делайте что нужно. Сергей просто разрушит эту компанию».
На слушаниях в Конгрессе представители компании утверждали, что любое изменение алгоритма рассматривается специальным комитетом, однако источники поделились, что множество мелких изменений принимают без одобрения комитета, так как в противном случае их было бы долго согласовывать. Представители Google подтвердили это официально, отметив, впрочем, что любое мелкое изменение оценивается по другим принципам.
Журналисты указывают на вероятность влияния на выдачу даже действий отдельного сотрудника корпорации. Так, в 2015 году один из них пожаловался на результаты выдачи по запросу «как вакцинация вызывает аутизм» («how do vaccines cause autism»), которые показывали сайты, агитирующие против прививок. В результате на первое место выдачи вывели сайт howdovaccinescauseautism.com — страницу с единственной фразой на ней: «They f—ing don’t» («Никак, *****»).
«Они решают эти проблемы (алгоритмов) при помощи миллионов строк сложного кода. С другой стороны, наравне с ними Google располагает армией из 10 тысяч низкооплачиваемых подрядчиков, которые сидят у себя дома и оценивают результаты работы», — пишет WSJ. По словам одного из таких работников, в 2016 году за час ему платили $13,5, при этом за год работы с ним ни разу не связались и не рассказали, как используются результаты его труда.
Источники утверждают, что глава Google Сундар Пичаи более открыт к обсуждению проблем поисковой выдачи со сторонними компаниями и людьми, чем основатели Сергей Брин и Ларри Пейдж.
WSJ ссылается на внутреннее расследование Google от 2016 года, которое показало, что примерно в 0,1–0,25% случаев в поисковую выдачу попадает дезинформация того или иного рода. Это примерно 2 миллиарда поисковых запросов в год. Однако представительница Google объяснила, что в 0,1–0,25% случаев речь идет не исключительно о дезинформации, а о любом несоответствии результатов поисковой выдачи стандартам качества компании.
В издании отмечают, что Google пытается бороться с дезинформацией не вручную, а алгоритмическими методами при помощи фильтрации поиска. Один из топ-менеджеров компании рассказал, что эта проблема слишком сложная, и корпорация не хочет в нее погружаться.
См. также: «Квантовая ставка Google на ИИ – и что она означает для всего человечества»
Сама компания в октябре анонсировала крупнейшее за пять лет обновление поисковика. Теперь в его работе задействуют технологию BERT, которая основана на искусственном интеллекте. Разработка утверждает, поисковик сможет лучше понимать пользователей, так как будет анализировать не отдельные слова, а запросы целиком, учитывать полный контекст, рассматривая слова, которые идут до и после ключевого, что особенно полезно для понимания цели запросов. В поиске задействуют новейшие тензорные процессоры Google (Google Tensor Processing Unit, Google TPU).
