Comments 5
все решается конскими штрафами за нарушение компанией ботов правил описанных в файле robots.txt
по факту то вообще не сложно сделать минималистичную точку входа для ботов, отдавать в том же json или md
но ведь проблема ботов в том, что они лезут везде и без спроса - есть уже целые специальные технологии по типу зазеркалья что бы ловить и перенаправлять ботов
Я ничего не понял. Один (?!) сервер завалили боты и они его… удалили?
Имхо простейший бесплатный Cloudflare справится, не DDos же.
Там, походу, дело в жадности, а не нагрузке.
Хозяин сайта хочет усидеть попой на двух стульях. И продавать серьёзным людям данные за серьёзные деньги, сопоставимые с их оборотами, чтобы иметь на хлеб с маслом, и, при этом, как-то давать те же данные бесплатно, чтобы его сайт оставался популярным и доверенным, но при этом так, чтобы серьёзные люди все равно продолжили покупать данные. А это уже сложно, увы.
не удалили. Отключили сервер. По тексту статьи, архитектура старого сайта вырисовывается какой-то странной - как будто там статика или какая-то примитивная система на инклюдах.
То, что только что произошло с TheNumbers.com, должно нас всех обеспокоить