Мы привыкли себе представлять Google, как «корпорацию добра», делающую наш мир лучше. Но так ли это на самом деле? Возможно, мы видим лишь только то, что хотим видеть и игнорируем все остальные факты, которые с каждым днем все ярче и ярче показывают обратную сторону этого злобного гиганта.
Корпорация Google, занимаясь своей деятельностью, делает все возможное, чтобы укрепить свое монопольное положение на рынке и не дать заниматься этой же деятельностью кому-то другому. Эта корпорация делает свою работу настолько агрессивно, что расследованием ее деятельностью занималась Федеральная Торговая Комиссия США. К сожалению, данное антимонопольное разбирательство против Google прекращено. Однако, похожие разбирательства ожидают Google и в Европе и, вполне возможно, что итог этих разбирательств будет иным.
Как и любая корпорация, Google отлично умеет играть словами. Многие люди действительно слепо верят в ее благие намеряния, особенно это касается людей, которые там работают. Но иногда происходит прозрение. Например, можно прочитать мысли бывшего программиста Google.
Хотим мы этого или нет, но мы уже сегодня очень сильно зависим от этой корпорации. Я говорю об этом не только с точки зрения вебмастера, но и со стороны каждого пользователя.
Несмотря на то, что Google утверждает обратное, вебмастера для этой корпорации это всего лишь расходный материал. Они нужны поисковой системе, чтобы создавать уникальный контент, который потом Google будет показывать на своих страницах в виде ссылок со сниппетами. Причем поисковая система стремится к тому, чтобы этих сниппетов пользователю было вполне достаточно, чтобы найти ответ на интересующий его вопрос.
Современный вебмастер вынужден тратить огромную часть своего времени не на создание действительно качественных сайтов, которые нравятся пользователям, а на максимальное соответствие требованиям Google, которые почему-то называются рекомендациями по обеспечению «качества». Несоответствие этим требованиям может кончиться попаданием под спам фильтр или даже баном.
Наверное, сейчас у многих из вас возникла мысль о том, что Google нам ничего не обязан. Он посылает нам свой бесплатный трафик, и мы можем следовать его правилам и получать его, либо не следовать и тем самым отказаться от этого бесплатного бонуса. Но в такой точке зрения есть лишь доля истины. Ниже я постараюсь объяснить, почему я так думаю.
При попадании под спам фильтр или бане сайт лишается не только обычного поискового трафика, но и тех поисковых запросов, по которым этот сайт является главным или даже единственным релевантным результатом. Одним из примеров таких запросов является имя сайта. Это самый важный поисковый запрос для сайта. У крупных сайтов трафик по такому запросу может составлять десятки или даже сотни тысяч посетителей в день. В этом трафике нет никакой заслуги поисковой системы. По сути, все эти пользователи являются так называемыми «букмаркерами» (от английского слова bookmark), которые ищут совершенно определенный сайт.
Не будем далеко ходить за примером и рассмотрим эту ситуацию на примере habrahabr.ru:
Как вы думаете, что еще могут искать люди по подобным поисковым запросам?
«habrahabr», «habrahabr,ru», «habrahabr ru», «хабрахабр», «habra habr», «habrahabr песочница» и т.д.
Этот список можно продолжать бесконечно долго. С моей точки зрения, 99% людей по подобным запросам «ищет» совершенно определенный сайт — habrahabr.ru. Это утверждение очевидно, но есть и косвенные доказательства — достаточно посмотреть на дату возникновения этого запроса, на карту стран, ищущих этот запрос в Google Trends, на соответствие истории трафика на сайте и истории популярности запроса и т.д. Я написал слово «ищет» в кавычках т.к. совершенно не обязательно при этом заходить на Google и что-либо набирать в строке поиска. Достаточно набрать данный поисковый запрос в строке браузера подконтрольного Google Процент влияния этих браузеров все выше и выше — Google Chrome — 35%, Firefox — 22%. В некоторых случаях Google может получать контроль над адресной строкой и остальных браузеров.
Как мы видим, Google не только может нас лишить бесплатного поискового трафика, но и отобрать наш самый лучший трафик — наших постоянных посетителей. Конечно же, я не говорю обо всех постоянных посетителях. Но, как я писал выше, количество такого трафика достаточно велико. При этом наши постоянные посетители могут перенаправляться куда угодно, начиная от сайтов конкурентов и кончая низкокачественными спам сайтами.
Например, вы бы хотели попасть вот на такие ссылки по запросу «habrahabr + имя какой-нибудь статьи»?
mysitecost.ru/habrahabr.com
www.youtube.com/watch?v=3nAVh3wr9Aw
или какая-нибудь ссылка на спам профайл в соц сети с именем вашего сайта
и т.д.
Можете не заходить на эти ссылки — на них нету ничего полезного. Это самые безобидные примеры. А бывает, что вместо зафильтрованного сайта выдается, например, спам сайт с очень агрессивной рекламой или же редирект страница, которая использует тайтл вашего сайта, вводя пользователей в заблуждение, и при этом редиректит пользователя на совершенно произвольные адреса.
Именно такие ссылки выдает Google в случае, если сайт попал под спам фильтр или бан. При этом Google совершенно не волнует мнение пользователей. Можно сказать, что на этих пользователей им наплевать. Ведь это небольшой процент от всех поисковых запросов. Зато это положительно влияет на доход корпорации.
Неопытный пользователь при этом может подумать, что сайт больше не существует и перестанет его искать в дальнейшем. И это не фантастика — это реальность. Посмотрите, как ведут себя неопытные интернет пользователи — порой они даже не понимают разницы между адресной и поисковой строкой в браузере. Некоторые пользователи даже не знают, что на сайт можно зайти через адресную строку. Они просто открывают браузер, там сразу же грузится поиск Google как стартовая страница, затем они набирают имя сайта, который хотят посетить. При этом такие пользователи наиболее ценны для владельца сайта т.к. они не избалованы.
Надо сказать, что поисковая система Google не всегда была «корпорацией зла». В далеком прошлом эта поисковая система, основанная двумя студентами Стэнфорского университета, предоставляла вполне релевантные результаты. Точнее, они были намного более релевантными, чем результаты поиска в других поисковых системах на тот момент. Это были самые обычные поисковые результаты, не напичканные рекламой и собственными продуктами Google.
Какое-то время Google действительно занималась улучшением качества поиска и борьбой с поисковым спамом. Я помню момент, когда в один прекрасный день Google начал отдавать предпочтение качественным сайтам с точки зрения пользователя. И это было действительно правильное нововведение. Многим вебмастерам тогда пришлось изменить свой подход к созданию сайтов. Я был одним из них. Тогда я подумал, что открыл секрет Google. Все что нужно — это делать качественный сайт, который будут любить посетители и совершенно не думать о поисковой оптимизации. Как оказалось позже, я сильно ошибался.
В какой-то момент все изменилось. Началось все с введения фильтра Panda. Еще тогда я подумал — какое это имеет отношение к качеству сайта? Когда мы читаем какой-то интересный материал неужели нам важно, уникальный он или нет? По сути, с введением данного фильтра Google начал борьбу против своих конкурентов — агрегаторов контента. Такие сайты очень нравятся людям. Часто хорошо сделанный контент агрегатор может предоставить намного больше информации пользователю, чем Google. Такие сайты могут иметь свою внутреннюю умную поисковую систему, учитывающую уникальные особенности их тематики. Google просто невыгодно слать трафик на подобные сайты, т.к. он там и останется.
К тому же, с моей точки зрения, к моменту введения этого фильтра Google был уже не в состоянии адекватно определять первоисточник контента чисто с технической точки зрения. Вместо того, чтобы просто фильтровать страницы с неуникальным контентом в выдаче, Google придумал фильтр на целый сайт и убил двух зайцев сразу. Заодно Google создал инструмент, вынуждающий авторов контента зарегистрироваться в их социальной сети и пользоваться им для указания авторства.
Первоначально фильтр сильно испортил выдачу, но затем самые «выступающие углы» отшлифовали, и крики среди вебмастеров утихли. Вебмастера смирились с новыми реалиями, а фильтр продолжал получать все новые и новые апдейты, ухудшая качество выдачи все больше и больше.
Прошел год с момента введения Panda и Google в очередной раз «порадовала» вебмастеров новым фильтром с незамысловатым названием Penguin. Произошло это из за жадности, а так же из за технического несовершенства поисковой системы Google. К тому моменту вебмастера научились эффективно манипулировать устаревшим поисковым алгоритмом Google, ставя линки на свои собственные сайты. Появились даже крупные биржи по продаже ссылок. Их клиенты с радостью платили за подобные услуги, при этом эти деньги шли мимо Google. Это сильно задело самомнение корпорации.
У многих людей возник очень логичный и понятный вопрос? Почему Google начал накладывать фильтр на весь сайт вместо того, чтобы просто не учитывать «плохие» ссылки? С моей точки зрения, к тому моменту Google бы уже не способен адекватно определить какая ссылка «искусственная», а какая «натуральная». Я думаю, что какое-то время он именно так и делал. Но ситуация вышла из под контроля и Google сделал этот вынужденный шаг. При малейшим подозрении на «искусственные» ссылки сайт просто начал попадать под фильтр или в бан. При этом методы определения таких ссылок у Google неточные и часто дают ошибку.
Думаю многие в курсе, что основная масса адалт трафика сосредоточена на Google. Этот трафик представляет собой приличный процент всего трафика на этой поисковой системе. Но, последнее время, по многим адалт запросам Google выдает абсолютно нерелевантные результаты, наплевав тем самым на своих же пользователей.
Такая нелюбовь к подобным запросам наблюдалась и раньше. Google всегда отдавал предпочтение неадалт сайту по адалт запросу. Но сейчас это приняло поистине гигантские масштабы.
Многие из нас привыкли считать Google как компанию, которая соблюдает общепринятые стандарты. Но, например, Google по своему трактует robots.txt. Директива crawl-delay игнорируется, почти полностью игнорируется и директива Disallow (эти страницы появляются в выдаче, несмотря на эти ограничения, и я видел много примеров).
Недавно я почитал на форумах о том, что Google индексирует даже те страницы, в которых вообще нечего индексировать. Например, страница редиректа, которая не выдает никакого контента и редиректит пользователя (не через javascript и не через meta refresh и не через flash — пишу для уточнения) на какой-то урл.
Буквально на днях я читал на habrahabr о том, как Google индексирует внутренние страницы принтеров. С моей точки зрения, это уже вторжение в частную жизнь.
Также вторжением в личную жизнь я считаю индексирование wifi точек.
Несмотря на то, что Google активно перестраивает свою выдачу в соответствии со своими безумными фильтрами, она остается низкокачественной.
Старые алгоритмы устарели и больше не работают. А новые еще не придуманы. И пока они не придуманы, поисковая система работает в режиме «каталога» — выдает по крупным запросам в основном трастовые сайты из небольшого списка. Иногда один трастовый сайт может занимать сразу несколько позиций т.к. попросту нечего больше показывать.
Так же в новой выдаче нашлось место настоящим спам сайтам. Она просто кишит ими. В качестве эксперимента я несколько месяцев назад установил на одном из доменов один из популярных бесплатных скриптов. Я не стал добавлять плагины, которые защищают сайт от спама и в результате сайт был заспамлен по полной программе. На сайте нету ничего кроме спама. Google любит этот сайт, на сайте большое количество посетителей. Наверняка в один прекрасный день этот сайт пропадет из выдачи, но на его место мгновенно придут тысячи новых т.к. методы Google не работают.
С введением подобных фильтров Google не только показал свою жадность, но и неспособность физически выбирать релевантные результаты по поисковым запросам.
Думаю, что подобное обращение с поисковой системой и собственными пользователями со временем погубит Google как поисковик. Возможно, они и так это уже знают, поэтому мы видим огромный интерес Google к продуктам, которые очень мало связаны с поиском.
Ну и напоследок я бы хотел привести статистику Google из Alexa. Приведу ее по нескольким основным доменам этой корпорации.
и т.д.
Как видите, везде неуклонный спад. На графике google.com виден резкий спад и может показаться, что в этот момент Alexa вывела график с ошибкой. Однако, график google.de или google.fr опровергают это предположение.
При этом, практически на всех поисковых остальных системах мы, наоборот, видим неуклонный рост, пускай и небольшой. Люди идут туда от безвыходности т.к. им впаривают «туфту», решают за них что им посещать.
Ну и напоследок я бы хотел сказать, что возможно многие из вас не согласятся ни с названием, ни с содержанием данной статьи. Пожалуйста, рассматривайте эту статью лишь как мое мнение об этой поисковой системе.
Корпорация Google, занимаясь своей деятельностью, делает все возможное, чтобы укрепить свое монопольное положение на рынке и не дать заниматься этой же деятельностью кому-то другому. Эта корпорация делает свою работу настолько агрессивно, что расследованием ее деятельностью занималась Федеральная Торговая Комиссия США. К сожалению, данное антимонопольное разбирательство против Google прекращено. Однако, похожие разбирательства ожидают Google и в Европе и, вполне возможно, что итог этих разбирательств будет иным.
Как и любая корпорация, Google отлично умеет играть словами. Многие люди действительно слепо верят в ее благие намеряния, особенно это касается людей, которые там работают. Но иногда происходит прозрение. Например, можно прочитать мысли бывшего программиста Google.
Хотим мы этого или нет, но мы уже сегодня очень сильно зависим от этой корпорации. Я говорю об этом не только с точки зрения вебмастера, но и со стороны каждого пользователя.
Вебмастера — рабы Google
Несмотря на то, что Google утверждает обратное, вебмастера для этой корпорации это всего лишь расходный материал. Они нужны поисковой системе, чтобы создавать уникальный контент, который потом Google будет показывать на своих страницах в виде ссылок со сниппетами. Причем поисковая система стремится к тому, чтобы этих сниппетов пользователю было вполне достаточно, чтобы найти ответ на интересующий его вопрос.
Современный вебмастер вынужден тратить огромную часть своего времени не на создание действительно качественных сайтов, которые нравятся пользователям, а на максимальное соответствие требованиям Google, которые почему-то называются рекомендациями по обеспечению «качества». Несоответствие этим требованиям может кончиться попаданием под спам фильтр или даже баном.
Наверное, сейчас у многих из вас возникла мысль о том, что Google нам ничего не обязан. Он посылает нам свой бесплатный трафик, и мы можем следовать его правилам и получать его, либо не следовать и тем самым отказаться от этого бесплатного бонуса. Но в такой точке зрения есть лишь доля истины. Ниже я постараюсь объяснить, почему я так думаю.
При попадании под спам фильтр или бане сайт лишается не только обычного поискового трафика, но и тех поисковых запросов, по которым этот сайт является главным или даже единственным релевантным результатом. Одним из примеров таких запросов является имя сайта. Это самый важный поисковый запрос для сайта. У крупных сайтов трафик по такому запросу может составлять десятки или даже сотни тысяч посетителей в день. В этом трафике нет никакой заслуги поисковой системы. По сути, все эти пользователи являются так называемыми «букмаркерами» (от английского слова bookmark), которые ищут совершенно определенный сайт.
Не будем далеко ходить за примером и рассмотрим эту ситуацию на примере habrahabr.ru:
Как вы думаете, что еще могут искать люди по подобным поисковым запросам?
«habrahabr», «habrahabr,ru», «habrahabr ru», «хабрахабр», «habra habr», «habrahabr песочница» и т.д.
Этот список можно продолжать бесконечно долго. С моей точки зрения, 99% людей по подобным запросам «ищет» совершенно определенный сайт — habrahabr.ru. Это утверждение очевидно, но есть и косвенные доказательства — достаточно посмотреть на дату возникновения этого запроса, на карту стран, ищущих этот запрос в Google Trends, на соответствие истории трафика на сайте и истории популярности запроса и т.д. Я написал слово «ищет» в кавычках т.к. совершенно не обязательно при этом заходить на Google и что-либо набирать в строке поиска. Достаточно набрать данный поисковый запрос в строке браузера подконтрольного Google Процент влияния этих браузеров все выше и выше — Google Chrome — 35%, Firefox — 22%. В некоторых случаях Google может получать контроль над адресной строкой и остальных браузеров.
Как мы видим, Google не только может нас лишить бесплатного поискового трафика, но и отобрать наш самый лучший трафик — наших постоянных посетителей. Конечно же, я не говорю обо всех постоянных посетителях. Но, как я писал выше, количество такого трафика достаточно велико. При этом наши постоянные посетители могут перенаправляться куда угодно, начиная от сайтов конкурентов и кончая низкокачественными спам сайтами.
Например, вы бы хотели попасть вот на такие ссылки по запросу «habrahabr + имя какой-нибудь статьи»?
mysitecost.ru/habrahabr.com
www.youtube.com/watch?v=3nAVh3wr9Aw
или какая-нибудь ссылка на спам профайл в соц сети с именем вашего сайта
и т.д.
Можете не заходить на эти ссылки — на них нету ничего полезного. Это самые безобидные примеры. А бывает, что вместо зафильтрованного сайта выдается, например, спам сайт с очень агрессивной рекламой или же редирект страница, которая использует тайтл вашего сайта, вводя пользователей в заблуждение, и при этом редиректит пользователя на совершенно произвольные адреса.
Именно такие ссылки выдает Google в случае, если сайт попал под спам фильтр или бан. При этом Google совершенно не волнует мнение пользователей. Можно сказать, что на этих пользователей им наплевать. Ведь это небольшой процент от всех поисковых запросов. Зато это положительно влияет на доход корпорации.
Неопытный пользователь при этом может подумать, что сайт больше не существует и перестанет его искать в дальнейшем. И это не фантастика — это реальность. Посмотрите, как ведут себя неопытные интернет пользователи — порой они даже не понимают разницы между адресной и поисковой строкой в браузере. Некоторые пользователи даже не знают, что на сайт можно зайти через адресную строку. Они просто открывают браузер, там сразу же грузится поиск Google как стартовая страница, затем они набирают имя сайта, который хотят посетить. При этом такие пользователи наиболее ценны для владельца сайта т.к. они не избалованы.
Почему это происходит?
Надо сказать, что поисковая система Google не всегда была «корпорацией зла». В далеком прошлом эта поисковая система, основанная двумя студентами Стэнфорского университета, предоставляла вполне релевантные результаты. Точнее, они были намного более релевантными, чем результаты поиска в других поисковых системах на тот момент. Это были самые обычные поисковые результаты, не напичканные рекламой и собственными продуктами Google.
Какое-то время Google действительно занималась улучшением качества поиска и борьбой с поисковым спамом. Я помню момент, когда в один прекрасный день Google начал отдавать предпочтение качественным сайтам с точки зрения пользователя. И это было действительно правильное нововведение. Многим вебмастерам тогда пришлось изменить свой подход к созданию сайтов. Я был одним из них. Тогда я подумал, что открыл секрет Google. Все что нужно — это делать качественный сайт, который будут любить посетители и совершенно не думать о поисковой оптимизации. Как оказалось позже, я сильно ошибался.
В какой-то момент все изменилось. Началось все с введения фильтра Panda. Еще тогда я подумал — какое это имеет отношение к качеству сайта? Когда мы читаем какой-то интересный материал неужели нам важно, уникальный он или нет? По сути, с введением данного фильтра Google начал борьбу против своих конкурентов — агрегаторов контента. Такие сайты очень нравятся людям. Часто хорошо сделанный контент агрегатор может предоставить намного больше информации пользователю, чем Google. Такие сайты могут иметь свою внутреннюю умную поисковую систему, учитывающую уникальные особенности их тематики. Google просто невыгодно слать трафик на подобные сайты, т.к. он там и останется.
К тому же, с моей точки зрения, к моменту введения этого фильтра Google был уже не в состоянии адекватно определять первоисточник контента чисто с технической точки зрения. Вместо того, чтобы просто фильтровать страницы с неуникальным контентом в выдаче, Google придумал фильтр на целый сайт и убил двух зайцев сразу. Заодно Google создал инструмент, вынуждающий авторов контента зарегистрироваться в их социальной сети и пользоваться им для указания авторства.
Первоначально фильтр сильно испортил выдачу, но затем самые «выступающие углы» отшлифовали, и крики среди вебмастеров утихли. Вебмастера смирились с новыми реалиями, а фильтр продолжал получать все новые и новые апдейты, ухудшая качество выдачи все больше и больше.
Прошел год с момента введения Panda и Google в очередной раз «порадовала» вебмастеров новым фильтром с незамысловатым названием Penguin. Произошло это из за жадности, а так же из за технического несовершенства поисковой системы Google. К тому моменту вебмастера научились эффективно манипулировать устаревшим поисковым алгоритмом Google, ставя линки на свои собственные сайты. Появились даже крупные биржи по продаже ссылок. Их клиенты с радостью платили за подобные услуги, при этом эти деньги шли мимо Google. Это сильно задело самомнение корпорации.
У многих людей возник очень логичный и понятный вопрос? Почему Google начал накладывать фильтр на весь сайт вместо того, чтобы просто не учитывать «плохие» ссылки? С моей точки зрения, к тому моменту Google бы уже не способен адекватно определить какая ссылка «искусственная», а какая «натуральная». Я думаю, что какое-то время он именно так и делал. Но ситуация вышла из под контроля и Google сделал этот вынужденный шаг. При малейшим подозрении на «искусственные» ссылки сайт просто начал попадать под фильтр или в бан. При этом методы определения таких ссылок у Google неточные и часто дают ошибку.
Неуважительное отношение к адалт запросам
Думаю многие в курсе, что основная масса адалт трафика сосредоточена на Google. Этот трафик представляет собой приличный процент всего трафика на этой поисковой системе. Но, последнее время, по многим адалт запросам Google выдает абсолютно нерелевантные результаты, наплевав тем самым на своих же пользователей.
Такая нелюбовь к подобным запросам наблюдалась и раньше. Google всегда отдавал предпочтение неадалт сайту по адалт запросу. Но сейчас это приняло поистине гигантские масштабы.
Наплевательство на общепринятые нормы
Многие из нас привыкли считать Google как компанию, которая соблюдает общепринятые стандарты. Но, например, Google по своему трактует robots.txt. Директива crawl-delay игнорируется, почти полностью игнорируется и директива Disallow (эти страницы появляются в выдаче, несмотря на эти ограничения, и я видел много примеров).
Индексация того, чего не нужно индексировать
Недавно я почитал на форумах о том, что Google индексирует даже те страницы, в которых вообще нечего индексировать. Например, страница редиректа, которая не выдает никакого контента и редиректит пользователя (не через javascript и не через meta refresh и не через flash — пишу для уточнения) на какой-то урл.
Буквально на днях я читал на habrahabr о том, как Google индексирует внутренние страницы принтеров. С моей точки зрения, это уже вторжение в частную жизнь.
Также вторжением в личную жизнь я считаю индексирование wifi точек.
Качество поиска на данный момент
Несмотря на то, что Google активно перестраивает свою выдачу в соответствии со своими безумными фильтрами, она остается низкокачественной.
Старые алгоритмы устарели и больше не работают. А новые еще не придуманы. И пока они не придуманы, поисковая система работает в режиме «каталога» — выдает по крупным запросам в основном трастовые сайты из небольшого списка. Иногда один трастовый сайт может занимать сразу несколько позиций т.к. попросту нечего больше показывать.
Так же в новой выдаче нашлось место настоящим спам сайтам. Она просто кишит ими. В качестве эксперимента я несколько месяцев назад установил на одном из доменов один из популярных бесплатных скриптов. Я не стал добавлять плагины, которые защищают сайт от спама и в результате сайт был заспамлен по полной программе. На сайте нету ничего кроме спама. Google любит этот сайт, на сайте большое количество посетителей. Наверняка в один прекрасный день этот сайт пропадет из выдачи, но на его место мгновенно придут тысячи новых т.к. методы Google не работают.
Выводы
С введением подобных фильтров Google не только показал свою жадность, но и неспособность физически выбирать релевантные результаты по поисковым запросам.
Думаю, что подобное обращение с поисковой системой и собственными пользователями со временем погубит Google как поисковик. Возможно, они и так это уже знают, поэтому мы видим огромный интерес Google к продуктам, которые очень мало связаны с поиском.
Ну и напоследок я бы хотел привести статистику Google из Alexa. Приведу ее по нескольким основным доменам этой корпорации.
и т.д.
Как видите, везде неуклонный спад. На графике google.com виден резкий спад и может показаться, что в этот момент Alexa вывела график с ошибкой. Однако, график google.de или google.fr опровергают это предположение.
При этом, практически на всех поисковых остальных системах мы, наоборот, видим неуклонный рост, пускай и небольшой. Люди идут туда от безвыходности т.к. им впаривают «туфту», решают за них что им посещать.
Ну и напоследок я бы хотел сказать, что возможно многие из вас не согласятся ни с названием, ни с содержанием данной статьи. Пожалуйста, рассматривайте эту статью лишь как мое мнение об этой поисковой системе.