То, что только что произошло с TheNumbers.com, должно нас всех обеспокоить

[Void-Cowboy]

все решается конскими штрафами за нарушение компанией ботов правил описанных в файле robots.txt

по факту то вообще не сложно сделать минималистичную точку входа для ботов, отдавать в том же json или md
но ведь проблема ботов в том, что они лезут везде и без спроса - есть уже целые специальные технологии по типу зазеркалья что бы ловить и перенаправлять ботов

[savostin]

Я ничего не понял. Один (?!) сервер завалили боты и они его… удалили?

Имхо простейший бесплатный Cloudflare справится, не DDos же.

[akakoychenko]

Там, походу, дело в жадности, а не нагрузке.

Хозяин сайта хочет усидеть попой на двух стульях. И продавать серьёзным людям данные за серьёзные деньги, сопоставимые с их оборотами, чтобы иметь на хлеб с маслом, и, при этом, как-то давать те же данные бесплатно, чтобы его сайт оставался популярным и доверенным, но при этом так, чтобы серьёзные люди все равно продолжили покупать данные. А это уже сложно, увы.

[Mausglov]

не удалили. Отключили сервер. По тексту статьи, архитектура старого сайта вырисовывается какой-то странной - как будто там статика или какая-то примитивная система на инклюдах.

[savostin]

Как раз статику легче всего раздавать миллионам. Любой cdn в помощь. А данные у них не то чтобы каждые 30 секунд обновляются, хорошо если раз в сутки.

[KseandI]

TL;DR: Сайт не справился с скрейппингом ботов и почему-то не смог поставить блокировку по UA/ASN.

А что обеспокоить-то должно? Что в интернете полно ботов? С добрым утром, надеюсь в вашем 2007-ом всё сейчас прекрасно. Я не понял особенность конкретно этого случая.

[SukhovPro]

Логика не понятна, если их считать честными и откровенными. Но по факту тут было какое-то манипулироваие рынком, понятное пока только им. Возможно так показали свою ценность + пиар + продадут доступ апи, который живет отдельно от сайта. и т.п.