В случае API OpenSea большая часть интересных эндпоинтов доступна только после регистрации, я отправил им заявку, а они так на неё и не ответили.
Кстати, нашёл вариант как можно тянуть данные без ограничений бесплатно - это поднять свою geth ноду в light режиме, но это достаточно затратно с точки зрения вычислительных ресурсов сервера
Запросы на получение своей собственной ленты работают немного по-другому. Так например, за один запрос может быть получено N=10 постов, таким образом уже получается не 11520 запросов, а 1152.
Также, просто пролистывание своей ленты отличается от сбора данных по определенной группе пользователей.
Ну и в целом, моему стилю написания статей присущ некоторый гротеск, который разбавляет сухое техническое повествование. Взять тот же шрифт из Adventure Times на фоне пиксель арта.
Инстаграм парсить достаточно трудно, так как приходится обходить предусмотренные разработчиками механизмы защиты, поэтому даже 10.000 запросов в сутки - это уже достаточно хороший результат. Также, я скорее имел ввиду "масштабный" по сравнению с пропускной возможностью одного аккаунта.
У меня же конечный продукт не бот, а приложение. Бот нужен на первом этапе, чтобы в кратчайшие сроки собрать данные и проверить работоспособность моей гипотезы. уже кстати пользователи бота сделали 2300 оценок изображений, так что разметка данных идёт достаточно бодро.
Пробовал создавать посты через библиотеку Instabot, посты выкладываются, однако там есть некоторые сложности с подбором соотношения сторон для картинки (с квадратным изображением всё ок, при соотношении сторон 4:5 возникали некоторые трудности)
А через эту библиотеку можно даже истории выкладывать
А по поводу того, что прикрыли — все перечисленные библиотеку работают через API Инстаграм для Android (там хитрые приколы с заголовками запросов и обращение к Instagram API v1)
Как раз собираюсь проверить.
За день работы ТГ бота и порядка 500 запросов суммарно ещё не забанили.
Библиотека Instabot достаточно умная, она эмулирует подключение через мобильное Android устройство и ещё она накладывает ограничения на частоту совершения обращений к Instagram.
Так что при аккуратном её использовании бан прилететь не должен (но это неточно).
Согласен, доступ к алгоритму шифрования может быть разным: это может быть как просьба предоставить ключи шифрования, используемые пользователями, так и предоставление информации об уязвимости, которая позволяет расшифровывать данные без знания ключей шифрования (такое требование может быть необходимо, например, для систем типа point-to-point)
Согласен, я старался придерживаться концепции "просто о сложном". Потому что дальнейшие погружение в устройство секретных и публичных S-блоков требует очень много математики. Этому посвящен весь раздел в книге французских исследователей.
Почти, за несколько прогонов с известными парами (текст, шифротекст) и с использованием секретных S-блоков можно установить множество ключей, а затем их перебрать. (несколько — 30.000 в случае BEA-1)
В случае API OpenSea большая часть интересных эндпоинтов доступна только после регистрации, я отправил им заявку, а они так на неё и не ответили.
Кстати, нашёл вариант как можно тянуть данные без ограничений бесплатно - это поднять свою geth ноду в light режиме, но это достаточно затратно с точки зрения вычислительных ресурсов сервера
Порядка 340 Мб весит сама база данных
И ещё 22 Гб оборот в месяц
На данный момент в базе данных:
кластер из 2785 пользователей, который каждый день немного увеличивается,
23.248 постов,
Плюс, система в режиме реального времени отдаёт лайки по запросу к API.
Запросы на получение своей собственной ленты работают немного по-другому. Так например, за один запрос может быть получено N=10 постов, таким образом уже получается не 11520 запросов, а 1152.
Также, просто пролистывание своей ленты отличается от сбора данных по определенной группе пользователей.
Ну и в целом, моему стилю написания статей присущ некоторый гротеск, который разбавляет сухое техническое повествование. Взять тот же шрифт из Adventure Times на фоне пиксель арта.
Инстаграм парсить достаточно трудно, так как приходится обходить предусмотренные разработчиками механизмы защиты, поэтому даже 10.000 запросов в сутки - это уже достаточно хороший результат. Также, я скорее имел ввиду "масштабный" по сравнению с пропускной возможностью одного аккаунта.
Как-то пока руки до такого не дошли, пока что просто деплою контейнеры на VPSки
Но обязательно хочу разобраться с Continuous Integration, чтобы просто написал
git push, а оно само собралось на сервере и запустилось!Согласен, для серьёзного и большого продакшена нужны свои сервера
Realtime Database показалось мне более простой и удобной для моего проекта
У меня же конечный продукт не бот, а приложение. Бот нужен на первом этапе, чтобы в кратчайшие сроки собрать данные и проверить работоспособность моей гипотезы. уже кстати пользователи бота сделали 2300 оценок изображений, так что разметка данных идёт достаточно бодро.
По поводу строчки с копированием директории — согласен, она тут лишняя, забыл убрать её.
А директорию я маунтил для того чтобы я мог обновлять код не собирая проект заново.
Пробовал создавать посты через библиотеку Instabot, посты выкладываются, однако там есть некоторые сложности с подбором соотношения сторон для картинки (с квадратным изображением всё ок, при соотношении сторон 4:5 возникали некоторые трудности)
А через эту библиотеку можно даже истории выкладывать
А по поводу того, что прикрыли — все перечисленные библиотеку работают через API Инстаграм для Android (там хитрые приколы с заголовками запросов и обращение к Instagram API v1)
Георгий, мне кажется, что вы уже блоггер)
Должно быть возможно
Да, это займёт некоторое время
но в целом возможно
Как раз собираюсь проверить.
За день работы ТГ бота и порядка 500 запросов суммарно ещё не забанили.
Библиотека Instabot достаточно умная, она эмулирует подключение через мобильное Android устройство и ещё она накладывает ограничения на частоту совершения обращений к Instagram.
Так что при аккуратном её использовании бан прилететь не должен (но это неточно).
ого, спасибо за интересную ремарку!
Ого, прикольно, не знал что он в вышке работает теперь
согласен, поправлю в статье, что приведены разные примеры уязвимостей
спасибо за ремарку
Согласен, доступ к алгоритму шифрования может быть разным: это может быть как просьба предоставить ключи шифрования, используемые пользователями, так и предоставление информации об уязвимости, которая позволяет расшифровывать данные без знания ключей шифрования (такое требование может быть необходимо, например, для систем типа point-to-point)
Согласен, я старался придерживаться концепции "просто о сложном". Потому что дальнейшие погружение в устройство секретных и публичных S-блоков требует очень много математики. Этому посвящен весь раздел в книге французских исследователей.
Почти, за несколько прогонов с известными парами (текст, шифротекст) и с использованием секретных S-блоков можно установить множество ключей, а затем их перебрать. (несколько — 30.000 в случае BEA-1)