robots.txt не запрещает обучение ИИ: каких роботов закрывать, чтобы сайт остался в ответах нейросетей

[Truespb]

А почему я должен заставлять своего краулера/парсера вообще обращать внимание на эти "роботс.тхт"?

Плевать на них.. равно как и на любые намёки "об охраняемых авторских" и прочей ничтожной чуши.

Мне нужно получить какую-то data - я её и буду забирать, любыми доступными/осуществимыми средствами и методами.

[denisgrigoriev04]

Потому что мы живём в мире, где весь контент кому-то принадлежит. Вас никто искать не будет, но если этим будет заниматься вся ваша компания, то найдут и продадут иск

[ardraeiss]

Только robots.txt это всего лишь просьба не смотреть скраперам/ботам/сеткам туда, туда и вооон туда. Просьба очень грозная, или едва слышная, или с глазами кота-в-сапогах - но просьба вообще ничем не подкреплённая.

[Truespb]

найдут и продадут иск

Ну и что? Срать на их иски и любые претензии..

[dasokolov]

Спасибо за систематизацию — особенно за таблицу «обучение / поиск / пользовательский запрос», её часто путают. Но заметил пробел: Bing/Copilot в статье не разобран вообще, хотя это второй по значимости AI-поиск после ChatGPT.

У Microsoft архитектура принципиально другая: отдельного токена вроде GPTBot у них нет. Bingbot обходит сайт для поиска, а использование контента для обучения и для ответов Copilot управляется через панель Bing Webmaster Tools, а не через robots.txt. При этом Copilot берёт ответы из поискового индекса — то есть закрыть Bingbot значит закрыть себя и от Copilot, и от обычного поиска Bing. Это ровно та же ловушка, что вы описываете для Яндекса, но для западного рынка.

Вопрос: вы сознательно исключили Microsoft из обзора (например, потому что управление идёт не через файл, а через панель), или это скорее фокус на тех, у кого есть явные токены? Мне кажется, для полноты картины абзац про «у Microsoft нет токена, управление через панель» был бы очень полезен — многие SEO-специалисты ищут в robots.txt то, чего там нет.

[sburyi]

Спасибо за дополнение. Насчёт Microsoft - не специально, просто руки не дошли

[ig_novvv]

Я бы к проверке access-логов добавил просмотр самого тела ответа. На одном сайте у меня robots.txt не закрывал ИИ-ботов, но обычный запрос без браузера возвращал около 1,7 КБ HTML-оболочки без текста страницы. Разрешение на обход было, а получить сам текст таким запросом не получалось. Причину тогда не установил: оставались варианты с защитой от ботов и клиентским рендерингом.