![](https://habrastorage.org/webt/lq/u6/rq/lqu6rqw0_awnrnu2cshxj26calc.png)
Google представила токен Google-Extended для файла robots.txt, который указывает сканерам Google включить сайт в поиск, но не разрешает использовать сайт для обучения системам ИИ, подобным тем, которые лежат в основе чат-бота Bard и Vertex AI, в том числе и для будущих поколений ИИ-моделей компании.
В случае введения ограничения для ИИ-моделей Google с помощью Google-Extended индексация сайта в поисковой выдаче продолжится без изменений. В компании объяснили, что таким образом они хотят обеспечить прозрачность и контроль в использовании моделей искусственного интеллекта.
По словам вице-президента по доверию Google Даниэля Ромен, компания «стремится сотрудничать с сообществами веб-разработчиков и ИИ-специалистов для изучения дополнительных машиночитаемых подходов к выбору и контролю для веб-издателей».
«По мере расширения ИИ-моделей веб-издатели будут сталкиваться с растущей сложностью управления различными видами их использования в масштабе. Именно поэтому мы намерены сотрудничать с сообществами веб-специалистов и специалистов по ИИ, чтобы изучить дополнительные машиночитаемые подходы к выбору и контролю для веб-издателей», — пояснил Ромен.
Ранее OpenAI выпустила инструкцию для веб-разработчиков как ограничить или заблокировать GPTBot, чтобы исключить сайт из сбора данных для обучения ChatGPT.
![](https://habrastorage.org/webt/pf/zv/ar/pfzvar837pf5qcv9ds_or8c5dzg.png)