Комментарии 23
Отличный способ сделать свой ресурс невидимым для интернета получив молниеносный бан во всех поисковых системах
Описать разрешенные страницы в robots.txt, кто не послушался - плохой бот и пусть гуляет до бесконечности?
Ну так тут описаны боты Опен АИ которые слушаются. Да и не будет он до бесконечности гулять, уверен там есть аварийный сброс от числа вложенных ссылок. Иначе давно бы померли от мошеннических сайтов что это практикуют давным давно
Недавно был расследование о том что Опен АИ сканирует сайт игнорирую запрет на это в robots.txt
Это не аварийный и не глубина вложенности, а просто чем более востребованный сайт у пользователя, тем больше ссылок в нём индексируется за день. Обычные поисковики не используют жадный алгоритм. Качают каждый день по чуть чуть нового, по чуть чуть обновить старое.
Не только лишь все достойны того, чтобы быть забаненными в Гугле
Новый виток, потом ИИ начнет маскироваться....
У Nepenthes уже есть потомок — iocaine.
Еще бы добавить крохотную LLM для генерации на эти страницы всякого бреда.
Заблудился как-то хакер молодой,
В дебрях файловой системы сетевой
Все симлинки да симлинки на пути,
И назад ему дороги не найти.
Все возвращается по кругу...
Для опенсорсного проекта хостим репозиторий на своём сайте, вебвью репы скрапят так активно, что становится невозможно сделать пулл/пуш. Мечтаю сделать подобную штуку для злых ботов, качающих код древних ревизий по тысяче раз на день.
Читая статью с ужасом вспомнил интернет изуродованный дорвеями. А ИИ ботам и так не легко в интернете разобраться, даже с DimaTorzok справится не могут.
В гугл давно есть защита от всякого разного спама просто openai ещё новенький в этом деле, у них был вначале приоритет все просканировать несмотря на какие либо там проблемы лишь бы обучить нейросети, выжать из них максимум. Они сказали на это потребуется 3-5 лет когда железо сравняется с софтом и потребностями рынка
Он пояснил, что «..., а олигархи всем заправляют — и стало настолько плохо, что мы не можем бойкотировать это».
ЖПО
Таааак... А что если ещё на каждой странице генерировать малосвязный текст, который после прочтения человеком будет классифицирован как белиберда. И этот попавший в ловушку ии не только будет пойман, а ещё и научится мусору? Интересно, если скажем он уже обучился неплохо, то такой белибердосайт запустит в нем альцгеймер?
Рубрика "зумеры изобрели": зумеры изобрели дорвеи
Интернет превращается в паноптикум для извлечения денег
Ух ты, и это осмеливаются писать на Хабре, который, внезапно, и содержится как раз для извлечения денег?
Разработчик создал бесконечный лабиринт для поимки ботов для обучения ИИ