OpenAI рассказала в своём блоге, что сторонние веб-разработчики могут явно запретить боту GPTBot посещать сайт. Таким образом, OpenAI не сможет использовать контент на сайте для обучения своих моделей.
На сайте OpenAI появилась инструкция, в которой описано, как запретить боту GPTBot получать доступ к контенту на сайте. Для этого в файле robots.txt необходимо указать следующее:
User-agent: GPTBot
Disallow: /Также можно настроить более гибкий доступ. К примеру, бот сможет заходить только в избранные директории веб-сайта:
User-agent: GPTBot
Allow: /directory-1/
Disallow: /directory-2/Бот GPTBot используется OpenAI для сбора информации и формирования датасетов. Компания может использовать эти данные для обучения будущих моделей. При этом боту нельзя запретить доступ к сайту задним числом. Если GPTBot уже успел получить какие-то данные, то их нельзя удалить из базы OpenAI.
