ZennoPoster и Browser Automation Studio (BAS) - два популярных инструмента для автоматизации веб-браузера. Оба используются для создания ботов, парсеров, спам-скриптов и других утилит, снимающих рутину с пользователя. Но если бы все было так просто и если бы выбор был очевиден - не было бы вокруг сторонников обоих инструментов столько споров.

Порой кажется, что это как фанаты Зенита и Спартака. Оба говорят об одном - футбол (в нашем случае автоматизация) - но одни имеют дорогого спонсора, кучу дорогостоящих легионеров, а другой народную любовь москвичей, ну вы поняли кто из инструментов кого представляет. 

Когда ваш сайт ежедневно заходят тысячи пользователей, но до целевого действия (покупки, регистрации, заявки) доходит лишь малая часть - довольно грустно, особенно если показатели отказов далеки от средних показателей по рынку. Но почему так происходит? 95% ответа на подобный вопрос можно найти в данных: аналитические инструменты помогают увидеть поведение посетителей под микроскопом, найти проблемные места и принять решения для роста конверсии. В эпоху data-driven подхода улучшение конверсии перестало быть угадыванием – это систематическая работа с метриками, событиями и записями действий пользователей. Давайте рассмотрим, как технические специалисты, маркетологи и продакт-менеджеры могут совместно использовать современные аналитические инструменты (и мы не будем ограничиваться одной лишь Google Analytics) и их функции – воронки, события, записи сессий, сегментацию, тепловые карты и тп – чтобы повысить конверсию сайта на практике.

Я часто пользуюсь в работе BI системами и всегда было интересно, что же там под капотом, насколько это сложная система. Спойлер - очень сложная! И я решил разобраться в вопросе и чуть более подробно. После подготовки этой статьи стало реальнее понятнее, откуда же все таки готовилось нападение, как работает тот же Power BI. Но вероятно, нужно будет перечитать некоторые моменты дважды. В тех местах, и понятиях, которые я сам не с первого раза понял, я добавлял дополнительное описание.

Понадобилось мне проанализировать сайт на предмет попадания его под фильтр Гугла, причем с историческими данными.

Первым делом начал гуглить - чекер фильтров Гугла и вот это вот все. Естественно - в интернетах куча решений, но есть небольшое но... Они либо платные, либо условно-бесплатные, либо вообще непонятно как работают.

Ну что делать - надо реализовать собственное решение, что я и сделал.

Палю годноту, так как использование этого решения никак не повлияет на мою деятельность, а кому то может и полезно будет.

Суть решения достаточно проста есть код (он будет ниже), написанный на Python. Он реализует интерактивный дашборд для визуализации данных, полученных из Google Search Console, с использованием библиотеки Dash (на базе Plotly) для построения графиков.

Алгоритмы ранжирования Google основываются на наборе внутренних параметров, которые вручную определяются его инженерами.

Другими словами, это фиксированные параметры, которые не изменяются динамически и применяются как абсолютные правила.

В этой статье мы рассмотрим одно из таких значений — ключевой элемент, который проливает свет на то, как ведущий поисковик мира управляет фундаментальным аспектом своей системы ранжирования: индексированием.

Automatic data scraping (parsing) has become an essential practice for developers, analysts, and automation specialists. It is used to extract massive amounts of information from websites—from competitors’ prices and reviews to social media content. To achieve this, numerous “scrapers” have been developed—libraries, frameworks, and cloud services that enable programmatic extraction of web data. Some solutions are designed for rapid parsing of static pages, others for bypassing complex JavaScript navigation, and yet others for retrieving data via APIs.

In this article, I will review the top scraping tools—both open source libraries and commercial SaaS/API services—and compare them according to key metrics: • Speed and scalability; • Ability to bypass anti-bot protections; • Proxy support and CAPTCHA recognition; • Quality of documentation; • Availability of APIs and other important features.

Often at work, I encounter services that provide offerings such as resident proxies. Yet, I have never delved deeply into the topic. I have always simply consumed the product “as is,” as some lazy authors like to say.

I have a general understanding of how this type of service works at a layman’s level, and I became interested in exploring the topic more deeply and attempting to share the conclusions I reached through a deeper understanding of what resident proxies are. Let’s see what comes out of it. No recommendations here—just the subjective, evaluative opinion of yet another “specialist.”

Proxy servers are intermediaries between your device and the internet, allowing you to hide your real IP address and alter the appearance of your connection. Think of it as a white camouflage coat in snowy weather, if we speak in very simplistic terms. Let’s start from that—options for camouflage. However, comparing with camouflage coats would be rather dull; instead, let’s recall animals and insects that use camouflage and try to draw a parallel. In fact, I’ve already done so.

Up to a certain point, I sincerely believed that in today’s world manual CAPTCHA recognition was gradually becoming an anachronism, especially when it came to such simple CAPTCHAs as image-based ones—where one merely needs to read text off a photograph and input it as plain text. But as it turns out, things aren’t quite so straightforward (no matter how it may sound).

До определенного момента я свято верил в то, что в современном мире ручное распознавание капчи постепенно становится анахронизмом, особенно, когда речь идет о таких простых капчах - как капча картинка (где необходимо просто распознать текст на фотографии и ввести его в текстовом формате). Но знаете, оказалось все не так однозначно (как бы это ни звучало). 

По роду деятельности я не разработчик, но вращаюсь в этих кругах, так скажем – околоPYTHONная тусовка. Есть знакомые разработчики и даже больше – коллеги.