Скачать базу GetCourse без API? Пожалуйста

[mankovsky]

Практичная мысль здесь в том, что скрипт наследует фильтры из реального запроса интерфейса и не пытается заново воспроизвести скрытую логику CRM. Но для аналитической выгрузки я бы отдельно контролировал целостность снимка. Пока скрипт обходит страницы, пользователи и заказы могут измениться, из-за чего пагинация даст пропуски или повторные ID. Надежнее сначала собрать полный список ID, дедуплицировать его, зафиксировать время выгрузки, а уже затем получать карточки с ретраями и сверять итоговые количества с интерфейсом. Еще один риск связан со скопированным cURL: cookie в нем фактически равна ключу от сессии, поэтому такой текст нельзя оставлять в логах или передавать целиком LLM при генерации скрипта. Проверяли ли вы выгрузку на дублях и пропусках при изменении базы во время обхода, и что делает скрипт при 401 или истечении сессии?

[PavelRubtsov]

Согласен с обоими пунктами. Именно так скрипт и работает:

1. Спрашивает куки сессии (не передаёт их LLMке, а только внутри его применяет).

2. Получает список ИД с пагинацией и дедуплецирует

3. Качает данные по каждому клиенту

Причём если данные не читаются совсем (вдруг удалили пользователя), делает 3 попытки и переходит дальше.

Если скачивание оборвалось по каким-то причинам, можно запустить скрипт в режиме продолжения.

Аналитику делает уже другой скрипт из сохранённых данных.

LLM вообще не используется в процессе работы скриптов. Она помогла только сами скрипты создать.