Оригинальные тексты: Яндекс против копипаста

[@Lerg]

Т.е. для блогов это не подойдёт?
Есть ли возможность автоматизировать этот процесс? Нажал «Опубликовать» и оно сразу и на яндекс, и на сайт отправляется.

[@almirus]

ДА было бы хорошо, если бы был плагин для wordpress и Yandex предоставлял бы API.

[@Andrew1000000]

Сервис пока тестируется, разработчики обещают подумать об API. Конечно, было бы неплохо иметь такой плагин для Wordpress.

[@easyman]

Зачем ждать можно уже сейчас писать плагин, котрый будет вести себя как браузер!
Работы примерно на вечер.

[@Alexx_ps]

Напишите, а мы скачаем.

[@BiSeTrojanov]

Что значит "подумать об API"? Без API эта штука и не нужна. В Web2.0 проектах типа Хабра это не админ пишет новости, а посетители. Не будет же админ работать мартышкой и отправлять тексты сразу туда

[@step307]

А в «проектах типа Хабра» кому принадлежат права на «новости»?
А если пользователь потом захочет опубликовать этот материал в своем бложике?
А может автор не против «перепечатки» на других сайтах, кому решать на счет защиты — автору или владельцу сайта?

Вобщем тут вопросов больше чем ответов.

[@BiSeTrojanov]

> А если пользователь потом захочет опубликовать этот материал в своем бложике?
Тогда действует правило про кросс-постинг
> может автор не против «перепечатки» на других сайтах
А это не автору решать, тоже самое правило про кросс-постинг. В данном случае, это науськивание на кросс-постинг

[@arkady]

Поставить чекбокс типа «Отправить пост в отдел Яндекса по борьбе с копипэстом» или наоборот «Не отправлять пост Яндексу, я хочу его еще в свой бложик!»

[@fog]

Хорошая идея. Но API, определённо нужно.

[@0mm]

Печалит ограничение с ТИЦ. Получается, что хороший, но новый блог, будет отличной кормушкой…

[@unconnected]

так его еще и найти тем же ботам надо, этот хороший новый блог :)

[@gregox]

да, этот момент весьма не порадовал, и вообще непонятно какое отношение ТИЦ имеет к копирайт…

[@0mm]

Никакого. Яндекса уже не первый раз использует ТИЦ как некий фильтр от «всех подряд». Если верить написанному на сайте, то потом ограничение будет снято, я так понимаю, после успешного тестирования сервиса.

[@Chuzhoy]

Сейчас уже нету ограничений по тиц.

[@0mm]

Это как же? Или я вас не понял или меня глаза подводят. Но панель веб-мастера доступно сообщает, что такое ограничение есть и один из моих блогов явно под него попадает.

[@Chuzhoy]

Уж не знаю с чем это связано, но вот сейчас ещё раз на всякий случай зашел и проверил. Для всех сайтов без тиц можно добавить текст.

[@0mm]

Видимо, к кому-то из нас, у яндекса особое отношение. Ибо у меня как было ограничение, так и осталось :)

[@Chuzhoy]

Воо истину неисповедимы пути яндекса. Попробовал добавить совсем новый сайт без тиц. На этот раз заявил, что — нструмент доступен для сайтов с ТИЦ не менее 10.

[@t1r1]

А как Вы до этого заходили?

[@Chuzhoy]

Заходил как всегда, просто попробовал добавить ещё один сайт с нулевым тиц

[@WolfBespredel]

Ох щас начнут в этот сервис массово добавлять чужой контент, особенно с тех сайтов, где обновление бывает очень редко, но метко и робот яндекса бывает там не чаще раз в год, а поэтому в индекс станицы попадают очень не скоро.

[@egor_bulychev]

Еще могу «веселые» копирайтеры добавлять текст в яндекс а уж потом его продавать :(

[@SLY_G]

Вот ещё бы для картинок и фотографий такой сервис!

[@Finom]

А у гугла есть такое?

[@mkdotam]

Гугл говорил, будто это делается автоматически. По принципу у кого первым появился текст, тот и молодец.

[@Finom]

Ну вот, например, у меня pr=1, а у копипастера pr=3. Исходя из этого, если он стянет мой текстовый контент себе вскоре после публикации, то гугл будет считать копипастером уже меня, а не его.

[@mkdotam]

Объясните, пожалуйста, причем тут PR? Я не очень силен в этой теме.

[@Finom]

Чем больше pr, тем быстрее сайт индексируют.

[@mkdotam]

Спасибо.

[@vosi]

насколько я помню, используя сайтмап и пингуя гугл, когда этот сайтмап обновился — вы сильно много увеличиваете шансы быть проиндексированным первым

[@HeavyWave]

Т.е. Яндекс предлагает выполнять их работу за них?

[@Santiago26]

Дык за бонусы же!

[@helloilya]

За какие?

[@Finom]

Моментальная индексация, не?

[@helloilya]

Поисковик это должен делать так, а не в качестве бонуса.

[@Finom]

Должен, но, как я писал выше, скорость индексирования зависит от рейтинга сайта в поисковой системе.

[@helloilya]

Прочитал комментарии выше. Не совсем понимаю причем тут PR и скорость индексации. PR никак не может влиять на скорость!

[@Finom]

Признаюсь, что мои утверждения исходят от прочтения статей на тему сео, где об этом говорилось.
Но, несколько моих сайтов с невысоким pr индексировались крайне редко.

[@skitalets]

Круто. Давно надо было сделать такой сервис. Копипастеры уже обнаглели, воруют даже у Википедии!

[@bootch]

У википедии нельзя сложно украсть. Только если вы копируете и выкладываете под несвободной лицензией.

[@kashey]

На свободной Вики даже есть свободноредактируемая Вики страничка со списками нарушителей Вики лицензиии разными способами

[@t1r1]

Нельзя будет ничего за собой «застолбить» из того, что уже опубликовано — тексты, которые уже опубликованы в интернете, не учитываются.

[@leviaxma]

Яндекс движется в правильном направлении. Но ограничение на ТиЦ надо снять. Иначе для молодых сайтов может получиться порочный круг — присысывается к тебе копипастер с ТиЦ от 10 и сливает всю твою инфу Яндексу. Паразитируя т.о. на чужом контенте и ещё больше поднимая свой рейтинг.

[@weiss]

Ну и напишите тогда Платонам, кто ж мешает, раз уж присосался.

[@akeeper]

То, что зачастую платоны попросту игнорируют подобные жалобы (сам был тому примером), отправляя к своему help'у. Примерно полгода у меня ушло на борьбу с ними, в результате которой я просто закрыл ресурс, так как в рунете отсутствие сайта в Яндексе является практически анафемой.

[@mr_smith]

мда, а нельзя это проще сделать что ли — написали пост, пинганули яндекс, тот слил сайтмап, нашел новье и уже сам все решил — кто автор, а кто копирует. Или может я чего то не знаю и не понимаю?

[@gridem]

В таком случае возможна гонка: ты пинганул Яндекс, а кто-то уже мониторит твой сайт, тут же выкачал новье и тоже пинганул Яндекс. Есть ненулевая вероятность, что копипастер будет первым.

[@mr_smith]

в таком случае можно пинговать яндекс при сабмите статьи

[@zizop]

Так такое уже существует. В виде того же плагина XML Sitemap для WordPress. Вот только в текущей версии яндекса там нет в списке.

[@mr_smith]

яндекс пошел своим путем

[@dom1n1k]

Плохой подход по-моему, ибо представляет собой колоссальное поле для злоупотреблений. Можно «отмывать» краденный контент в промышленных масштабах — кто первый скормил Яндексу, того и тапки.

Логичнее было бы придумать некое API для «срочного» приглашения краулера на определенную страницу. Выложил текст у себя на сервере, вставил урл в аккаунте Вебмастера, бот сразу же страницу забрал с привязкой к домену.
Конечно, с неким разумным ограничением на число таких вызовов в день.

[@akeeper]

Насколько я помню объяснения от Яндекса, суть в том, что вы можете им отправить кусок материала до фактического размещения. Таким образом вы предупреждаете копирование. Кстати, выше об этом написано.

Проблема только в том, что если у сайта ИЦ меньше 10, то извините.

[@t1r1]

Не получится — потому что тексты, уже опубликованные в интернете, не учитываются.

[@debugx]

Не очень понятно, как это ударит по копипастингу. На мой взгляд народ, как копипастил, так и будет копипастить. Единственное, что да, больше то, что они своровали, не будет оказываться в выдаче выше оригинальных статей.

[@vanxant]

Копипастят не для удовольствия, а ради денег.

[@lenar]

Ох, опасная все же вещь. А если владелец сайта с уникальным контентом не знает о таком сервисе, а копипастового — знает? Тогда он сможет легко присваивать себе авторство.

[@debugx]

я думаю, что яндекс примет контент, только если его еще нет в индексе. Он ведь так или иначе будет проверять на уникальность. Однако если копипастер сворует контент сразу после его появления на чьем-либо сайте, владелец которого не знает о такой услуге яндекса, то здесь да, непонятно как быть…

[@lenar]

Да, я и имею в виду ситуацию, когда копипастер перехватывает контент до того, как успеет зайти бот Яндекса. Используя RSS и особенно если появится API, это легко можно автоматизировать.

[@t1r1]

Не имеет смысла уже опубликованные тексты загружать, они не будут учитываться.

[@lenar]

Я понял, речь идет о перехвате новых текстов до посещения яндексовским ботом.

[@phillennium]

Слово «обубликован» прекрасно, буду его использовать.

[@bO_oblik]

Не надо меня замешивать.

[@JoeyHere]

Мне больше «огигинальный текст» понравилось.

[@khorost]

Боты у Яндекса обленились. Хотят чтобы «авторы» сами публиковали свои материалы напрямую в Яндекс :)

[@vanxant]

Иначе им будет сложно обогнать чужих, пиратских ботов.

[@Aniken222]

Данная фишка принесет пользу только узкому кругу человек. Для большинства блоггеров с невысоким ТИЦ эта фишка абсолютно бесполезна.

[@debugx]

Не скажите. На серче периодически обсуждают вопрос защиты своего контента. Так что данная проблема стоит довольно остро для всех, кто использует свой сайт не просто как средство самовыражения, а еще и как способ дохода.

[@vanxant]

Понимаете какая штука, вот, например, появляется новая фирма, и они делают себе сайт или интернет магазин. Им всё объяснили, они стараются сделать всё хорошо. Нанимают какую-нибудь девушку, или там даже родственница ген. дира с подвешенным языком сидит и пишет уникальные статьи, описания товаров и пр. Но сайт новый, индексируется редко, пузомерки нулевые… И тут приходят тупорылые крысы (простите, накипело) и тупо тырят контент и размещают на своём говносайте. Но этому их говносайту уже несколько лет и тиц у него, скажем, 100. И Яндекс, встречая одно и то же на новом зеленом сайте и старом пузатом, считает автором старый пузатый, а новый зеленый помечает как злобного копипастера и выкидывает из индекса…

[@debugx]

Всё так, за исключением того, что «злобного копипастера» выкидывают из индекса — не выкидывают, а понижают в ранжировании, что безусловно тоже неприятно.

[@Aniken222]

вы не поверите, но я это понимаю и это новшество яндекса вам никак не поможет бороться против такого копипаста

[@debugx]

как это не поможет??
Если я контент свой, грубо говоря, зарегистрирую в яндексе перед публикацией на своем сайте, то пусть потом его скопирует хоть супер- мега- портал с тиц5000. Все-равно яндекс будет мою страницу считать более релевантной по данной теме, и в выдаче она будет выше. В этом то вся и фишка. И я думаю многим она пригодится. Однако конечно в этой фишке есть свои нюансы, которые были описаны выше. Ну чтож посмотрим, как в яндексе их обойдут.

[@Aniken222]

Читайте внимательно новость: данная возможность доступна для сайтов с ТИЦ не менее 10. Для большинства блоггеров ТИЦ менее 10.

[@ncix]

А где прямо написано, что Яндекс её будет считать более релевантной?

[@amarao]

Предлагаю зарегистрировать multicast-адрес all-search-engines (я про ipv6) и использовать SECP (Search engine communication protocol) для подобных вещей. Во-первых уменьшает нагрузку на людей, во-вторых позволяет мгновенно индексировать документы, в третьих отвязывает от конкретных поисковиков, в четвёртых любой желающий может включить себя в группу мультикаста и получать информацию о новом контенте…

Звучит страшно? Наверное, да. Никто ещё не использовал multiast до сих пор в масштабах интернета. А если попробовать?

… Ну пусть не любой, а любой с регистрацией в чём-то вроде RIPE, то есть анонсируешь себя как recivier, на граничных маршрутизаторах на твои адреса делают resent всего, что прошло по мультикаст-адресу.

Я понимаю, что не взлетит. Но так было бы грамотнее, чем своё API у каждого поисковика (о котором ещё знать надо).

… Кстати, протокол можно было бы вообще называть не SECP, а New Content Announce Protocol. Типичный мультикаст, практически полная аналогия RSS, но в push, а не в pull-модели.

[@dlevchenko]

Мало что понял, но должно быть это круто.

[@bigdogsru]

Дурацкое ограничение в 32000 символов. Что, не бывает серьезных статей большего размера? Или предлагается разбивать статьи на части?

[@nixmale]

Вполне логичный размер поля.

И знаете, редкая статья такого размера будет внимательно изучаться, или вообще читаться.

[@leventov]

В Яндекс посылается текст, а не статья. Хотите защитить всю статью — вбивайте кусками.

[@t1r1]

Можно разбивать тексты на части.

[@Mozart]

Видимо не все читали для чего сервис. Совершенно не факт, что загруженный текст яндекс посчитает первоисточником, он просто берет это во внимание. Пока это все вилами по воде писано и лишь еще один фактор в борьбе с копипастом и определением первоисточника, но вряд ли основной.

[@habrainko]

А почему бы Яндексу самому не разобраться с этой проблемой, без участия пользователей? Нужно то — всего чуть-чуть чтобы робот приходил на сайт чаще и быстрее. Всего-то — нужно каждый день или час. Вложитесь уже в инфраструктуру и не морочте голову людям. Ну в общем для нормальныый людей, которые занимаются контентом, а не продвижением ваш сервис хрень, убийца времени.

[@ncix]

Объясняю. Есть сайт А. Хороший сайт, публикует годный уникальный контент. Есть сайт М — одиозная помойка, крадет годный уникальный контент, в том числе и с сайта А, используя боты-автоматы.

Список для обхода краулера (одного из тысяч экземпляров краулера) выглядит следующим образом:

А
[B, C… и еще более 9000 сайтов]
М
[еще 100500 сайтов]

Допустим, контент К публикуется на сайте А, когда краулер на очередной итерации обрабатывает сайт С. В это же время бот сайта М крадет контент К с сайта А и публикует у себя. Краулер доходит в списке до М и видит новый контент К. Индексирует его, идет дальше. Заканчивает итерацию, и переходит снова к сайту А. Видит уже заиндексированный контент и заносит А в черный список. Epic Fail.

Проблема решается только заведением персональных краулеров для каждого сайта.

Другой вариант решения — выявление воровских сайтов по каким-то особенностям их поведения и связей с другими источниками контента. Задача для нейросетей.

[@ncix]

Серёжи и Аркаши

[@ncix]

Перечитал несколько раз статью. Где написано, что Яндекс поставит оригинальный контент в выдаче выше, чем неоригинальный?
Также, несколько смущает примечание

Обратите внимание, что Яндекс не гарантирует учет вашей заявки в работе поисковых алгоритмов

Может этот «инструмент» просто придуман в помощь краулерам? А что, отличная идея. Индекс создается раньше контента. Браво.

[@helloilya]

Хорошо. Допустим о новых статьях мы предупредим Яндекс, а как будут обстоят дела с уже давно опубликованными материалами объемом 2000 и более символов? Если верить описанию, то в форму можно загружать только «свежие» тексты.

[@leventov]

То есть вы надеетесь одним щелчком восстановить мировую справедливость по всем украденным у вас текстам за долгие годы? :)

[@helloilya]

Это из разряда фантастики (: Меня больше интересует как они будут восстановить справедливость.

[@leventov]

С их точки зрения нет справедливости, есть алгоритмы, которые что-то решают и должны работать правильно.

Решения по старым текстам никогда не изменятся.

[@mihass]

Более чем странное ограничение по минимальному количеству символов. Статьи с 700 -1500 знаков не такое уж редкое явление. А для новостных сайтов это вообще стандарт.

[@ComodoHacker]

новая фишка от Яндекса нанесёт ощутимый удар копипастерам и будет способствовать развитию

… рерайт-сервисов.

А поскольку степень отличия рерайта от оригинального текста может быть самой разной (тут фактически континуум) бороться с этим будет намного сложнее, чем с копипастом.

[@lasthero]

С рерайтом бороться бесполезно, имхо.

[@Vilgelm]

Идея хорошая, но опять же только для сайтов от ТиЦ 10. А это значит, что владелец домена с Тиц 10+ может теперь безнаказанно воровать контент с сайтов с Тиц 0. Неправильно это как-то.

[@KonstRuctor]

Отличная идея, полностью поддерживаю хвалебные реплики!
Мне очень не хватало подобной фишки… Как-то раз я бодался с одним крупным порталом из-за моего текста, который у меня сперли. Однозначно буду пользоваться.
Что бы хотелось:
1) Подумать над ТИЦ, присоединюсь к комментаторам выше
2) Подумать над min и max символами, присоединюсь к комментаторам выше
3) Как можно в моей статье на моем сайте внизу (или наверху, не суть) указать, что так, мол, и так, вот тут на сервисе Яндекса подтверждены мои права, даже не думайте копировать! Может быть какой-то учетный номер или какая-то ссылка или еще что-то?
4) Если я пишу новость о, скажем, новом гаджете, я использую часть текста из официального пресс-релиза, дополняя и расширяя своими мыслями, изображениями, видео и т.д. По идее я создаю новый уникальный текст, но с чужими кусками. Вопрос — надо ли мне теперь своими словами переписывать эти части пресс-релиза, чтобы Яндекс признал мой текст уникальным?
5) То же самое касается перевода пресс-релиза с другого языка. Переводя, я пишу чужой текст своими словами. Могу ли я такой текст считать своим и использовать сервис Яндекса?
Спасибо!