Комментарии 15
В первых числах января мне написал заказчик и попросил сделать для него масштабный парсер инстаграма, который был бы способен делать более 10.000 запросов в сутки
Если честно, я не очень понял, почему вы пишете "масштабный" о парсере, который делает всего 6-10 (!!!) запросов в минуту (исхожу из 10 000 - 15 000 запросов в сутки). Это ж крайне мало. Если я правильно посчитал, конечно. Даже если вы увеличите до 150 000 запросов в сутки (как вы пишете далее по тексту), то это всего около 100 запросов в минуту, что тоже смешные цифры. Или я что-то не так понял?
Инстаграм парсить достаточно трудно, так как приходится обходить предусмотренные разработчиками механизмы защиты, поэтому даже 10.000 запросов в сутки - это уже достаточно хороший результат. Также, я скорее имел ввиду "масштабный" по сравнению с пропускной возможностью одного аккаунта.
Скорость пролистывания ленты 1 пост в 5 секунд - легко. За 16 часов "залипания" уже набегает 11520 запросов.
Запросы на получение своей собственной ленты работают немного по-другому. Так например, за один запрос может быть получено N=10 постов, таким образом уже получается не 11520 запросов, а 1152.
Также, просто пролистывание своей ленты отличается от сбора данных по определенной группе пользователей.
Ну и в целом, моему стилю написания статей присущ некоторый гротеск, который разбавляет сухое техническое повествование. Взять тот же шрифт из Adventure Times на фоне пиксель арта.
Вся масштабность парсера кроется в обходе лимитов на запросы к Инстаграму к чувствительным данным.
А какой конечный обьем данных получился по заданию заказчика?
" Чувствуете масштаб? "
Нет. Я несколько лет назад парсил рутрекер , у меня и то масштабней было ....
Соглашусь с комментаторами выше - даже 150000 в день для Инстаграма это копейки. Посмотрите на решения с квотами по 1М+ запросов в день на RapidAPI
ссылка чет недоступна
rapid api - это маркетплейс, в том числе парсеров. там есть десятки разных предложений по парсинги инстаграм, средняя цена за запрос - 8 копеек по текущему курсу. или 0.0008$.
там квоты действительно около 1млн в месяц. это примерно 1300 запросов час, или 0.3 в секунду
ЗЫ: только сейчас заметил, что человек писал про 1млн в день, а не в месяц. Тут уже не уверен. таких пока не увидел
Хорошая статья! Благодарю за информацию. Понравился структурированный подход к написанию и наличие своевременных ссылок на зависимые проекты.
Парсинг Instagram в промышленных масштабах