Как робот из Китая превратился в тысячи «посетителей» сайта

[cry_san]

Обычный парсинг данных. Чего всполошились?..

[papex_rus]

Точно, нет. Но, во-первых, по нескольку раз на по одной и той же странице, то есть по одним и тем же данным. . Во-вторых, там нет никаких данных. Это новостной сайт, который рассказывает о том, как автомобиль в соседней деревне застрял или кто кого там врезал в результате кухонной попойки. И всё это далеко, в провинции, о которой никто в общем-то и не знает. Кому нужны такие данные?

[cry_san]

То что по несколько раз, либо недоработка, либо смотрят изменения.
А вообще, такие данные нужны, как минимум для обучения нейросети, для анализа построения текста. В данном случае русскоязычного. Данных уже мало, гребут откуда смогут.
Ну и для обучения русскому языку подойдет.

[papex_rus]

Да, очень может быть, в статье упоминается о том, что очень может быть, что это сбор информации для искусственного интеллекта. Однако прямых доказательств того, что конкретно этот робот собирает информацию для искусственного интеллекта, пока нет. 

[cry_san]

Ну так откуда их брать-то? Я могу браузер хоть папой-Карлой назвать, и он отобразится у вас в логах.

[papex_rus]

Конечно! Статья как раз об этом.

[Radisto]

Может, он для всех малых городов такие новости собирает, и отдает потом статистику по качеству дорог, активности использования автомобилей и уровню бытовой преступности в стране на основе данных, которые по ненужности плохо "рихтуют" под райскую картину. С динамикой по месяцам

[papex_rus]

Что-то в задних рядах сомневаются. Вообще было бы, конечно, круто, если кто-нибудь попытался бы сделать подобную статистику. Я не очень уверен, что её можно сделать по официальным публикациям. Но всё равно это было бы очень интересно.

[tdamm]

Точно такие же роботы (хром 133) долбили ecommerce сайт, устанавливая комбинации фильтров (декартовым произведением). Драли по кругу одно и тоже. Пришлось забанить сетку /16