То, что только что произошло с TheNumbers.com, должно нас всех обеспокоить

[Void-Cowboy]

все решается конскими штрафами за нарушение компанией ботов правил описанных в файле robots.txt

по факту то вообще не сложно сделать минималистичную точку входа для ботов, отдавать в том же json или md
но ведь проблема ботов в том, что они лезут везде и без спроса - есть уже целые специальные технологии по типу зазеркалья что бы ловить и перенаправлять ботов

[savostin]

Я ничего не понял. Один (?!) сервер завалили боты и они его… удалили?

Имхо простейший бесплатный Cloudflare справится, не DDos же.

[akakoychenko]

Там, походу, дело в жадности, а не нагрузке.

Хозяин сайта хочет усидеть попой на двух стульях. И продавать серьёзным людям данные за серьёзные деньги, сопоставимые с их оборотами, чтобы иметь на хлеб с маслом, и, при этом, как-то давать те же данные бесплатно, чтобы его сайт оставался популярным и доверенным, но при этом так, чтобы серьёзные люди все равно продолжили покупать данные. А это уже сложно, увы.