Wall Street Journal провело расследование работы поиска Google. Журналисты заявили, что компания серьезно вмешивается в алгоритм формирования поисковой выдачи.
По словам собеседников издания, в 2018 году Google внесла в алгоритмы более 3200 изменений, в 2017 году — 2400, а в 2010 году — около 500. В самой корпорации это объясняют тем, что примерно 15% запросов представляют собой слова или комбинации, с которыми система ранее не сталкивалась, и поэтому разработчики вынуждены корректировать работу алгоритмов для релевантной выдачи.
WSJ утверждает, что, тем не менее, Google отдает предпочтение крупным компаниям, так как на этих площадках покупатель вероятнее что-то приобретет. В итоге на верхние строчки выдачи попадает Amazon. Расследователи заявили, что это происходит даже тогда, когда продукты уже вышли из продажи в магазине. «Неверно также полагать, что мы не пытаемся решить проблему с отображением вышедших из продажи товаров на высоких позициях в выдаче», — в ответ заявила представитель корпорации.
А вот в eBay несколько лет назад, напротив, заметили, что из Google приходит меньше трафика. Выяснилось, что поисковик пессимизировал позиции части страниц eBay в выдаче. После переговоров позиции вернули, но при условии, что ре��урс проследит за наполнением страниц и их релевантностью.
Однако авторы материала утверждают, что в Google не только формируют выдачу в пользу крупных компаний, но и дают им советы о том, как улучшить свои позиции в поиске. Эту информацию подтвердили некие работники гиганта.
В iProspect, которое является одним из крупнейших рекламных клиентов Google, рассказали, что после крупных обновлений поиска созваниваются с разработчиками для обсуждения изменений. «Однако в Google нам не сообщают ничего такого, о чем компания не рассказывала бы публично», — заявили рекламщики.
Источник газеты поделился, что руководство несколько лет обсуждает смену стратегии формирования поиска, но пока никаких решений по этому вопросу нет.
Авторы расследования отмечают, что к непоисковым блокам корпорация относится мягче. Однако Google может вмешиваться в работу тех блоков, которые появляются на одной странице с поисковой выдачей — подборок новостей или видеороликов по теме.
Протестировали журналисты WSJ и поисковую выдачу на основе автозаполнения. На примере имен политиков они выяснили, что в ответ на ряд запросов поисковик просто не предлагает многие варианты, которые оказывались в подсказках от Bing от Microsoft и DuckDuckGo.
По запросу «abortion is» («аборт это») Google выдал варианты автозаполнения: «legal» («легально»), «normal» («нормально»), «safe» («безопасно»), «a constitutional right» («конституционное право»). Bing же предлагает еще «bad» («плохо»), «immoral» («аморально»), «not murder» («не убийство»).
В целом, в публичных правилах Google автозаполнение определяется как функция, которая не может предлагать варианты, связанные с харассментом, угрозами, «ненадлежащей сексуализацией» или раскрытием частной и деликатной информации. Источник подтвердил, что в Google ведут черный список запросов и изымают их из предложений вручную.
В компании заявили, что не ведут политически мотивированные черные списки компаний, людей или сайтов. Однако источник подтвердил, что списки ведутся, и состоящие в них ресурсы не могут появиться в поисковой выдаче вообще или по определенному запросу. Он утверждает, что этот список ведется отдельно и не составляется, к примеру, по запросам от правительств на удаление запрещенных данных. Сайт может попасть в блэк-лист, если, в том числе, использует спам-тактики вывода в верхнюю часть поисковой выдачи, искусственно набивая себе рейтинг.
Издание напомнило, что сооснователь Google Сергей Брин изначально выступал против введения агрессивной антиспам-политики, так как это потребует слишком большого человеческого вмешательства. Например, он лично выступил за показ антисемитских сайтов в выдаче по запросу «jew» («еврей»). Между тем другой сооснователь Ларри Пейдж якобы дал добро на борьбу со спамом: «Делайте что нужно. Сергей просто разрушит эту компанию».
На слушаниях в Конгрессе представители компании утверждали, что любое изменение алгоритма рассматривается специальным комитетом, однако источники поделились, что множество мелких изменений принимают без одобрения комитета, так как в противном случае их было бы долго согласовывать. Представители Google подтвердили это официально, отметив, впрочем, ��то любое мелкое изменение оценивается по другим принципам.
Журналисты указывают на вероятность влияния на выдачу даже действий отдельного сотрудника корпорации. Так, в 2015 году один из них пожаловался на результаты выдачи по запросу «как вакцинация вызывает аутизм» («how do vaccines cause autism»), которые показывали сайты, агитирующие против прививок. В результате на первое место выдачи вывели сайт howdovaccinescauseautism.com — страницу с единственной фразой на ней: «They f—ing don’t» («Никак, *****»).
«Они решают эти проблемы (алгоритмов) при помощи миллионов строк сложного кода. С другой стороны, наравне с ними Google располагает армией из 10 тысяч низкооплачиваемых подрядчиков, которые сидят у себя дома и оценивают результаты работы», — пишет WSJ. По словам одного из таких работников, в 2016 году за час ему платили $13,5, при этом за год работы с ним ни разу не связались и не рассказали, как используются результаты его труда.
Источники утверждают, что глава Google Сундар Пичаи более открыт к обсуждению проблем поисковой выдачи со сторонними компаниями и людьми, чем основатели Сергей Брин и Ларри Пейдж.
WSJ ссылается на внутреннее расследование Google от 2016 года, которое показало, что примерно в 0,1–0,25% случаев в поисковую выдачу попадает дезинформация того или иного рода. Это примерно 2 миллиарда поисковых запросов в год. Однако представительница Google объяснила, что в 0,1–0,25% случаев речь идет не исключительно о дезинформации, а о любом несоответствии результатов поисковой выдачи стандартам качества компании.
В издании отмечают, что Google пытается бороться с дезинформацией не вручную, а алгоритмическими методами при помощи фильтрации поиска. Один из топ-менеджеров компании рассказал, что эта проблема слишком сложная, и корпорация не хочет в нее погружаться.
См. также: «Квантовая ставка Google на ИИ – и что она означает для всего человечества»
Сама компания в октябре анонсировала крупнейшее за пять лет обновление поисковика. Теперь в его работе задействуют технологию BERT, которая основана на искусственном интеллекте. Разработка утверждает, поисковик сможет лучше понимать пользователей, так как будет анализировать не отдельные слова, а запросы целиком, учитывать полный контекст, рассматривая слова, которые идут до и после ключевого, что особенно полезно для понимания цели запросов. В поиске задействуют новейшие тензорные процессоры Google (Google Tensor Processing Unit, Google TPU).
