Pull to refresh
8
2

Marketing Specialist

Send message

Парсер на Python для сбора данных с сайта партнерки, которая продает аренду автомобилей по всему миру

Level of difficultyEasy
Reading time12 min
Views3K

Изначально, как оно всегда и бывает, была задача (не курица и не яйцо, а именно задача)! Задача вполне себе нетривиальная - подключиться к партнерской сети и начать продавать на сайте аренду автомобиле. Но у этой ниши есть одна особенность, в лоб, никто ничего не покупает, и нужна тонкая настройка с тонкой геопривязкой, вплоть до координат. Имеющиеся на рынке автопартнерки - либо сильно перемудренные, либо не имеют нормальной (читай простой) системы входа, а те которые упрощены - не имеют нормальной базы, ну или не хотят ее давать партнерам. Мне нужна была база городов и точек выдачи автомобилей и их координатная привязка.

Читать далее

Парсим YouTube на Python как для взрослых: отказоустойчивый скрипт с ротацией ключей

Level of difficultyEasy
Reading time17 min
Views7.7K

Путь разработчика парсеров тернист и сложен, сперва ты пытаешься обойти официальные ограничения, потому что так проще, так нету квот и разных требований. Параллельно мучаясь с Selenium, в попытка угнаться за меняющейся версткой YouTube. Кто‑то пишет простые скрипты на requests, которые падают при первой же ошибке. И куда вас все эти действия приводят?

Снова ко мне — к официальному YouTube Data API v3.

Читать далее

Сравнение VPS-хостинга для 1C-Битрикс с нагрузочными тестами — выясняем какой Битрикс хостинг лучше

Level of difficultyMedium
Reading time13 min
Views1K

Выбор VPS для размещения сайта на 1С-Битрикс – задача не менее важная, чем разработка самого сайта.  Битрикс известен своей ресурсоёмкостью: без оптимального хостинга даже хорошо написанный сайт может «тормозить» и отпугивать посетителей. Высокая скорость загрузки напрямую влияет на конверсию и удовлетворенность пользователей – никто не станет ждать по 5–10 секунд открытия страницы интернет-магазина (если только вы не продаёте терпение оптом, и знаете кого-то лично в совете директоров Яндекса и Гугла, что можете себе позволить медленный ресурс). Поэтому правильный выбор VPS под Bitrix – залог быстрой работы сайта, особенно под нагрузкой. 

Более того, хоть я и не считаю себя гуру, но у меня был неудачный опыт и я понял на практике, что часть проблем можно решить, если у хостера компетентная поддержка, которая разбирается в деталях и знает тонкости системы. Проблемы могут вылезти порой в самых неожиданных местах. И я решил помимо нагрузочных тестов добавить сюда раздел про техподдержку.

Читать далее

Выбираем BI-системы: обзор архитектуры, технологий и выбора

Level of difficultyMedium
Reading time9 min
Views6K

Я часто пользуюсь в работе BI системами и всегда было интересно, что же там под капотом, насколько это сложная система. Спойлер - очень сложная! И я решил разобраться в вопросе и чуть более подробно. После подготовки этой статьи стало реальнее понятнее, откуда же все таки готовилось нападение, как работает тот же Power BI. Но вероятно, нужно будет перечитать некоторые моменты дважды. В тех местах, и понятиях, которые я сам не с первого раза понял, я добавлял дополнительное описание.

Читать далее

What Are Resident Proxies and How Do They Work: A Detailed Guide for Beginners

Level of difficultyEasy
Reading time5 min
Views838

Often at work, I encounter services that provide offerings such as resident proxies. Yet, I have never delved deeply into the topic. I have always simply consumed the product “as is,” as some lazy authors like to say.

I have a general understanding of how this type of service works at a layman’s level, and I became interested in exploring the topic more deeply and attempting to share the conclusions I reached through a deeper understanding of what resident proxies are. Let’s see what comes out of it. No recommendations here—just the subjective, evaluative opinion of yet another “specialist.”

Proxy servers are intermediaries between your device and the internet, allowing you to hide your real IP address and alter the appearance of your connection. Think of it as a white camouflage coat in snowy weather, if we speak in very simplistic terms. Let’s start from that—options for camouflage. However, comparing with camouflage coats would be rather dull; instead, let’s recall animals and insects that use camouflage and try to draw a parallel. In fact, I’ve already done so.

Read more

Selenium CAPTCHA Bypass with Tokens or Clicks? Continuing the Speed Comparison

Level of difficultyEasy
Reading time3 min
Views687

In my previous article, Puppeteer CAPTCHA bypass: Tokens or Clicks? Let’s Break It Down (which I also published on Dev.to), I compared two CAPTCHA bypass methods (clicks and tokens) using Puppeteer. I also announced that in the next article (this one), I would conduct a practical comparison of the same methods using Selenium. This will complete the CAPTCHA bypass picture, so to speak. Well, let’s not waste time and get straight to the point.

Read more

Как работают Антидетект Браузеры, какой выбрать, мой опыт использования, немного кода — топ Антидетект Браузеров

Level of difficultyMedium
Reading time26 min
Views16K

Антидетект-браузеры появились как ответ на распространение технологий браузерного фингерпринтинга – скрытой идентификации пользователей по совокупности параметров их устройства и среды. Современные сайты помимо cookies отслеживают IP-адрес, геолокацию и десятки характеристик браузера (Canvas, WebGL, список шрифтов, User-Agent и др.), чтобы отличать и связывать посетителей​. В результате даже в режиме инкогнито или при смене IP пользователь может быть детектирован по «цифровому отпечатку» – уникальному набору свойств его браузера​.

На самом деле, когда я только начинал свой путь в этих ваших интернетах, моя подкованность в вопросах цифровой безопасности менялась и продолжает расти, вот я уже дошел до понимания отпечатков браузера. Сперва я считал что всему виной куки, которые собирают злобные поисковые системы, и как то там определяют что я там смотрел, потом я узнал про отпечатки браузера и долго отрицал тот факт, что нужно научится с ними работать и разбираться в них. Ну реально, вот ты только разобрался с прокси, понял как менять и сохранять куки и тут на тебе - новая вводная. Более того, оказывается отпечатки также продаются, и цена там не самая маленькая. Короче говоря, деньги делают на всем! Но сейчас не об этом!

Антидетект-браузер – это модифицированный браузер (часто на основе Chromium или Firefox​), который подменяет или маскирует эти свойства (фингерпринты), не позволяя сайтам однозначно узнать пользователя и обнаружить мультиаккаунтинг​. 

С использованием антидетекта, десяток разных аккаунтов выглядит как десять независимых пользователей с разными устройствами, хотя на самом деле работают с ними через один компьютер. Это открывает новые возможности в интернете – от безопасного серфинга до бизнес-задач с множеством учетных записей.

Читать далее

Рейтинг хостингов для сайта: Глубокий технический разбор хостинг провайдеров

Reading time17 min
Views8.1K

Читая всевозможные топы и рейтинги лучших хостингов, остается легкое послевкусие недосказанности, поверхностной оценки (есть ощущение, если бы не требования поисковиков к полноте контента, топы вообще бы включали в себя просто топ 10 хостингов, без лишнего текста). Я и подумал, а почему бы не сделать статью, чуть более вдумчивую, чем мне попадались до этого. Тем более, что выбор хостинг-провайдера – критически важный этап для любого веб-проекта. Так давайте погрузимся в вопрос глубже!

Читать далее

Распознавание капчи токеном или кликами, что быстрее? Сравнение методов на практике

Level of difficultyEasy
Reading time6 min
Views2.4K

Оченьчасто по работе сталкиваюсь с различными сервисами для упрощения работы в различных сферах. Речь сейчас не про сервисы, типа Кей Коллектор или Ахрефс, а про Zennoposter или BAS — я не являюсь профессором в области автоматизации, объясню просто, как я понимаю — указанные сервисы это своего рода сложная многоуровневая оболочка, на базе которой можно создавать любые боты и скрипты, которые могут решать практически любые задачи без человеческого вмешательства. То есть нейросеть на минималках. И кстати, появились подобные сервисы еще задолго до того, как использование нейросети для повседневных задач стало мэйнстримом.

Теперь к теме: Копаясь в недрах BAS я столкнулся с такой ситуацией, что многие разработчики, которые занимаются разработкой скриптов по BAS (смешно получилось — разработчики занимаются разработкой) идеализируют распознавание капчи кликами.

Вероятно надо пояснить — речь идет про картинные и визуальные капчи (те, где нужно выбирать изображения на экране или кликать по картинкам (иконкам) в нужном порядке. Примеры картинных и визуальных капч — reCAPTCHA V2, hCaptcha, GeeTest CAPTCHA, Rotate CAPTCHA.

Так вот, эти капчи можно решить двумя способами — метод токенов и метод кликов. 

Читать далее

Топ модулей для распознавания рекапчи на Python, Node js и PHP

Level of difficultyEasy
Reading time6 min
Views1.8K

В наш век автоматизации большинство решений можно найти в свободном доступе, и я говорю сейчас не про решение задач по математике, а чуть более сложные задачи, типа парсинга данных, и как в нашем случае, распознавания рекапчи. Но как найти хороший модуль? Ведь с получением доступа к технологиям его получили все и добросовестные разработчики и откровенные мошенники.

Я проанализировал рынок модулей распознавания капчи и у меня получился свой субъективный топ модулей на трех популярных языках программирования. Давайте разбираться!

Читать далее

Удочка в виде Upwork — процесс регистрации на зарубежной фриланс бирже

Level of difficultyMedium
Reading time4 min
Views7.9K

Продолжая свое путешествие по миру заработка в этих ваших интернетах я наконец то полностью преисполнился и принял тот факт, что доход в бурж сегменте намного выше, чем доход в русскоязычной сфере. Даже такая простейшая схема, как посредничество (берем заказ у русскоязычного пользователя – несем его на бурж фриланс рынок и получаем результат там) в некоторых нишах приносит неплохие плоды (х2 профита, слышал что подобная схема называется барыжничество, но зачем мне продавать свои знания дешево, я не знаю).

Тем не менее, сейчас не про способ заработка, а лишь про то, где взять удочку. А как на этом заработать вы уже будете решать сами. Тем более, что моя тема еще далеко не исчерпала себя и палить ее в паблике нет желания.

Итак, в данной статье я бы хотел разобраться, как зарегестрироваться на бирже фриланса Upwork и начать там зарабатывать, в качестве фрилансера (если у вас неплохой английский, то в честной конкуренции с индусами вы можете урвать неплохие заказы по очень вкусной цене), ну а если пораскинуть мозгами, можно и заработать в качестве заказчика.

С Upworkom следует быть максимально аккуратным, так как одно неверное действие и вы лишились аккаунта. Как говориться, я 100 раз так делал, пока не научился нескольким простым правилам при работе с Upwork.

Читать далее

Как подключить Нетфликс в России — простой способ с нюансами

Level of difficultyEasy
Reading time4 min
Views18K

Ну что, вот и начали появляться новости про возвращение того или иного бренда, зачем то покинувшего РФ.

Например, на сервисе Netflix, с определенного времени появились русские субтитры к некоторым фильмам, что говорит о том, что сервис не готов полностью отказаться от российской аудитории. Да и в принципе, русский язык присутствует в качестве одного из языков, при настройке аккаунта после его регистрации.

Читать далее

«Build it & Break it»: How some algorithms generate captcha, while others crack it

Reading time12 min
Views3.9K
Hello, Habr! Let's me present you a translation of an article "«Ломай меня полностью!» Как одни алгоритмы генерируют капчу, а другие её взламывают", author miroslavmirm.

Doesn't matter what kind of intelligence you have — be it artificial or natural — after this detailed analysis no captcha will be an obstacle. At the end of the article, you can find the simplest and most effective workaround solution.

CAPTCHA is a completely automated public Turing test to tell computers and humans apart by automatically setting up specific tasks that are difficult for computers but simple for human. This technology has become the security standard used to prevent automatic voting, registration, spam, brute-force attacks on websites, etc.
Read more →

Обход капч с помощью Headless Chrome

Reading time8 min
Views63K

Использование 2Captcha and Puppeteer для автоматического прохождения капч



Вот уже лет десять мы видим капчи по всему интернету. Все эти волнистые линии, слова или числа, мешающие нам при попытке залогиниться, зарегистрироваться или написать где-нибудь комментарий.


image

Amazon’s CAPTCHA fallback


КАПЧА (от CAPTCHA англ. – полностью автоматизированный и общедоступный тест Тьюринга для различения компьютеров и людей) задумана как врата, которые пропускают людей и отсеивают роботов (программ). Волнистые линии и слова сейчас уже не так распространены –их заменила вторая версия реКАПЧИ от Google. Эта капча выдает вам зеленую галочку, если ваш «коэффициент человечности» оценивается как достаточно высокий.

Как обойти капчу-слайдер с помощью JS и Puppeteer

Reading time3 min
Views8.2K
Друзья, предлагаю вашему вниманию перевод статьи «How to bypass “slider CAPTCHA” with JS and Puppeteer» автора Filip Vitas.

Если же нужно решить капчу без заморочек, то я бы посмотрел в эту сторону — [как решить Слайдер капчу на автомате](https://2captcha. com /p/slider-captcha-solver).

Спам для владельца сайта – огромная проблема. С другой стороны, капчи сводят меня с ума и ухудшают пользовательский опыт.

Капчи отстой. Скажем прямо. Есть много способов прохождения верификации и каждый из них плох.

В последние годы боты умнеют с каждым днем, и защитить от них сайт становится непросто. При достаточном количестве времени и ресурсов можно обойти почти любую капчу. К Puppeteer есть плагины для прохождения Recaptcha. Некоторые компании предоставляют сервисы специально для этого. Например, 2Captcha. Вот как можно использовать Puppeteer и 2Captcha
Читать дальше →

Information

Rating
1,480-th
Location
Анапа, Краснодарский край, Россия
Date of birth
Registered
Activity