Comments 2
Интересный эксперимент с локальной LLM и DOM-агентом. Особенно понравилась идея использовать семантические маркеры вместо нестабильных CSS-классов.
Но с точки зрения антибот-защиты я бы осторожнее относился к выводу, что запуск обычного Edge в headed-режиме делает автоматизацию неотличимой от человека.
Сейчас исследую обнаружение автоматизированных клиентов по TLS/JA4 и HTTP/2 fingerprints. Видимость окна браузера — лишь один из множества признаков, а сетевые отпечатки и последовательности запросов позволяют анализировать клиента независимо от этого.
К тому же полученный на шестом обращении HTTP 429 показывает, что по крайней мере часть защитных механизмов продолжала работать.
Было бы интересно узнать, удалось ли сравнить TLS/HTTP2-отпечатки автоматизированного Edge и обычной пользовательской сессии, а также выяснить, на каком именно уровне срабатывала защита.
Спасибо за подробный PoC. Но в трёх местах текст обещает больше, чем метод даёт, и это стоит проговорить: иначе читатель повторит шаги и удивится результату.
Пауза в 8 секунд и видимый Edge через channel=«msedge» антифрод не обходят, они всего лишь не добавляют лишних признаков автоматизации. Проверяют не только navigator.webdriver: смотрят на согласованность отпечатка TLS, набор и порядок заголовков, ритм событий ввода, движение курсора и совпадение canvas/WebGL с заявленным железом. Реальный браузер это не подделывает, он просто выглядит собой. Отсюда и 429 на шестом заходе: сработал поведенческий фактор, частота однотипных навигаций, а не флаг автоматизации.
Второе, и главное: сквозной текстовый дамп это и есть причина, по которой модель 7B/8B справляется, и одновременно её предел. Дамп выдачи на полсотни карточек это уже 40–60 тысяч токенов. При контексте 32k модель начинает терять середину, при 8k просто обрезает хвост, и склейка по iid тихо ломается на длинных страницах. Поэтому сопоставление надо держать в коде: модель возвращает только схему вида {iid, цена, город, ссылка}, а склейку делает детерминированный проход по дампу. Тогда качество перестаёт зависеть от размера страницы и от того, как модель в этот день себя чувствует.
Третье: «практически неуязвима» это про однократный запуск, а не про работу как сервис. В PoC вы при 429 остановились и отдали то, что успело осесть в буфере, и это правильное решение. В продукте на этом месте нужна явная машина состояний: экспоненциальная пауза, идемпотентный ключ по iid, ретрай только на сетевые ошибки и отдельный счётчик однотипных действий в минуту. Скучная часть, но именно она отделяет демо от инструмента.
И оговорка, которую стоит держать в тексте явно: правило площадки остаётся правилом независимо от того, человек нажимает кнопки или агент. Видимый браузер делает поведение ближе к ручному, но условий использования это не меняет. Как PoC на своём железе и на своей задаче работа хорошая, особенно эпизод с противоречием в описании видеокарты, где модель поймала расхождение заголовка и текста.
Как мы с локальной LLM легально победили жесткий антифрод и создали визуально-текстового DOM-агента в обход блокировок