Крупные ИИ‑компании договорились о едином запрете обучения ИИ в файле robots.txt

[nidalee]

На крышу влезли, теперь за собой лестницу подтягивают, чтобы остальные на том же контенте не учились.

[xxxgoes]

А что помешает парсеру игнорировать запреты?

[Bashvic]

Ничего, но это хоть какое-то движение куда-то.

[JBFW]

Парсеру - ничего.

А вот владельцу контента потом ничего не удастся доказать: либо "он сам не запретил", либо "он запретил и мы выполнили, честное слово, мамой клянусь!"

[milkground]

То есть бизнес, выручка которого зависит в том числе от нового контента, добровольно откажется получать этот контент, потому что так написано в текстовом файле? Жизненный опыт подсказывает, что так это не будет работать.

[UplandDivan]

Ну как бы соглашения о robots.txt с правилами ограничений для ботов-краулеров уже давным-давно существуют, тут ничего нового. Насколько боты эти правила соблюдают - вопрос открытый. Западные вроде как пытаются соблюдать (хотя может просто шифруются и под чужими agent id заходят). Большинство китайских ботов просто плюют на то, что в robots.txt написано и качают всё до чего могут дотянуться, сам лично наблюдал.

[StasTukalo]

соглашения о robots.txt с правилами ограничений для ботов-краулеров уже давным-давно существуют

одно маленькое НО: раньше это были боты поисковиков и попасть в поиск нужно было владельцу сайта, а поисковику было параллельно, а теперь заинтересованные стороны поменялись местами- контент нужен именно корпорациям. Поэтому все эти потуги выглядят как лоббирование тобачными компаниями антитабачных законов с целью закрыть полянку от вновьприбывших..

[Trab_l13]

Можно гнать такие проекты через суммаризацию или перефразирование. Формально мы учимся на самосгенерированном контенте

[StasTukalo]

Да-да, пчёлы против мёда. Так все и поверили.