At some point while diving deeper into automation processes you are faced with the need for data labeling, although just a couple of weeks ago, the phrases data labeling and you were standing at a party called "Earnings on the Internet" in different rooms. Or it would be better to say that you were standing by the pool, and the data labeling was on the third floor, smoking on the balcony with experts in the field of machine learning. How did we meet? Probably, someone pushed it off the balcony into the pool, and I helped it out, soaking my clothes along the way.

Погружаясь все глубже в процессы автоматизации в какой то момент ты сталкиваешься с необходимостью разметки данных, хотя буквально пару недель назад, словосочетания — разметка данных и ты, стояли на вечеренике под названием «Заработок в интернетах» в разных комнатах, вернее ты стоял около бассейна, а разметка данных была на третьем этаже, курила на балконе со специалистами в области машинного обучения. Как мы встретились? Вероятно кто‑то столкнул ее с балкона в бассейн, а я помог ей выбраться, попутно замочив и свою одежду.

И вот, вы сидите на кухне, курите одну сигарету на двоих и пытаетесь разобраться, чем каждый из вас занимается, и как вы можете быть друг другу полезными?

В общем не так важно, для чего мне это понадобилось, но тот факт, что у меня это получилось намного интереснее. И теперь, когда вам уже достаточно душно (или нет), переходим к сути.

Today, a significant portion of all content on the Internet is distributed with the use of CDNs (Content Delivery Networks). At the same time, there is no research on how various censors extend their influence on such networks. Scientists from the University of Massachusetts analyzed possible methods of blocking CDN content using the example of the practices of the Chinese authorities, and also developed a tool to bypass such blocks.

We (specialists from proxy service) have prepared an overview material with the main conclusions and results of this experiment (translate of this material).

Corporations that dominate the market can impose their conditions on customers. This is also the case with everyone's favorite Netflix. When you make good content and you are sure that your audience wants to consume your content, you can start to increase the subscription price gradually. But the distribution of subscription costs around the world is unequal. This happens not only with Netflix, it happens with many big corporations: Microsoft, Sony, etc.

Naturally, everyone wants to watch high-quality content, but no one wants to overpay for it. And that led to creation of different schemes, for example, the one I'm going to describe here.

The essence of the scheme is simple – you buy a subscription for another region while staying in your home region. Of course, you can do this, but before I describe the scheme in detail, you should understand that Netflix is not as simple as it seems. When buying a subscription, for example, as a user from Pakistan, you should know that only the content that is allowed in that country will be available to you. Meaning, any sign of eroticism in movies, for example, is forbidden there.

And now this scheme appears in a completely opposite light. You can use my scheme if you want to access content that is blocked in your country, but you need to be prepared that the price will not be the same as for your region.

Top Three cheapest countries (in terms of the Netflix subscription price)

Периодически приходится решать достаточно интересные задачи, а иногда достаточно нудные и скучные, когда надо просто механически повторять один и тот же порядок действий, и длиться это может достаточно долго. что отнимает ресурс в виде времени.

Ну а зачем тратить час на ручную работу, если можно потратить 2 часа на то, чтобы это автоматизировать, правда? Сказал бы я вот так и потратил бы на это часа три, а то и четыре. Но слава нейросетям, помогают сократить это время до минимума.

Суть задачи - надо вытащить урлы из xml карты сайта, но карта разбита на несколько мелких карт по 1000 урлов, соответсвенно это осложняет процесс загрузки этих урлов.

Резонный вопрос, а на кой ляд тебе понадобились эти урлы? Для того, чтобы отправить их на индексацию через Google Indexing API, как я это называю - принудительная отправка на индексацию большого массива.

Можно пойти простым путем, открывать каждый урл руками, сохранять его как xml на своем компьютере, далее собрать их все в одну папку и открыть принудительно все скопом через Power Query (кто не знает. что есть такая офигенная штука у Гугл таблиц - с добрым утром, рекомендую погуглить).

Но открыть 100 ссылок руками - ну такое, правда? Поэтому, за 1 минуту был сгенерирован скрипт на Питоне, которые решил задачу за 1,5 минуты. Мне не понадобилось много времени, скрипт заработал со второго раза, поэтому я делюсь им с вами, может кому будет полезен.

Продолжая свое путешествие по миру заработка в этих ваших интернетах я наконец то полностью преисполнился и принял тот факт, что доход в бурж сегменте намного выше, чем доход в русскоязычной сфере. Даже такая простейшая схема, как посредничество (берем заказ у русскоязычного пользователя – несем его на бурж фриланс рынок и получаем результат там) в некоторых нишах приносит неплохие плоды (х2 профита, слышал что подобная схема называется барыжничество, но зачем мне продавать свои знания дешево, я не знаю).

Тем не менее, сейчас не про способ заработка, а лишь про то, где взять удочку. А как на этом заработать вы уже будете решать сами. Тем более, что моя тема еще далеко не исчерпала себя и палить ее в паблике нет желания.

Итак, в данной статье я бы хотел разобраться, как зарегестрироваться на бирже фриланса Upwork и начать там зарабатывать, в качестве фрилансера (если у вас неплохой английский, то в честной конкуренции с индусами вы можете урвать неплохие заказы по очень вкусной цене), ну а если пораскинуть мозгами, можно и заработать в качестве заказчика.

С Upworkom следует быть максимально аккуратным, так как одно неверное действие и вы лишились аккаунта. Как говориться, я 100 раз так делал, пока не научился нескольким простым правилам при работе с Upwork.

Ну что, вот и начали появляться новости про возвращение того или иного бренда, зачем то покинувшего РФ.

Например, на сервисе Netflix, с определенного времени появились русские субтитры к некоторым фильмам, что говорит о том, что сервис не готов полностью отказаться от российской аудитории. Да и в принципе, русский язык присутствует в качестве одного из языков, при настройке аккаунта после его регистрации.

Governments in many countries restrict citizens' access to information and services on the Internet in one way or another. Combating such censorship is an important and difficult task. Usually simple solutions cannot boast about high reliability or long-term efficiency. More complex methods of overcoming blocks have disadvantages in terms of usability, low performance, or they do not allow you to maintain the quality of Internet use at the proper level.

A group of American scientists from the University of Illinois has developed a new method of overcoming blocks, which is based on the use of proxy technology, as well as segmenting users by trust level to effectively identify agents working for censors. We present you with the main theses of this work.

Description of the approach

Scientists have developed the Salmon tool, a system of proxy servers operated by volunteers from countries without restrictions on Internet use. In order to protect these servers from blocking by censors, the system uses a special algorithm for assigning a level of trust to users.

The method involves exposing potential censor agents that pose as ordinary users in order to find out the IP address of the proxy server and block it. In addition, countering Sybil attacks is carried out through the requirements to provide a link to a valid social network account when registering in the system or to receive a recommendation from a user with a high level of trust.

How it works

It is assumed that the censor is a state–controlled body that has the ability to take control of any router within the country. It is also assumed that the task of the censor is to block access to certain resources, and not to identify users for further arrests. The system cannot prevent such a course of events in any way – the state has plenty of opportunities to find out what services citizens use. One of them is the use of honeypot servers to intercept communications.

It is also assumed that the state has significant resources, including human ones. The censor can solve tasks that require hundreds and thousands of full-time employees.

A few more basic theses:

Masking an IP address with a use of a proxy is necessary not only to circumvent censorship on the Internet and watch TV series. In recent years, proxies have been increasingly used to solve corporate objectives from application testing under load to competitive intelligence. Habr has a good overview of the various options for using proxies in the business sector.

Today we will talk about what to pay attention to when choosing a proxy network for solving such corporate objectives.

IP address masking may be required for various tasks – from accessing blocked content to bypassing anti-bot systems of search engines and other online resources. We found an interesting post about how this technology can be used to solve corporate objectives.

There are several options of implementing a proxy:

Internet censorship is becoming an increasingly important issue worldwide. This leads to increasing of the "race of armaments" – in different countries government agencies and private corporations try to block various content and fight against the ways of circumventing of such restrictions. At the same time developers and researchers strive to create effective tools to combat censorship.

Scientists from Carnegie Mellon University, Stanford University, and SRI International conducted an experiment in which they developed a special service for masking the use of Tor – one of the most popular tools for bypassing blocking. Here is the story about the work done by the researchers.

一组印度科学家发表了以其本国为例政府机构采用的现代互联网屏蔽方法概述。他们研究了互联网服务提供商限制访问被禁信息的机制，评估了这些机制的准确性以及绕过这些屏蔽的能力。2captcha常驻代理团队整理了这项研究，并提请大家关注这项工作成果的主要论点。

A group of Indian scientists has published an overview of modern methods of Internet blocking introduced by government agencies, using the example of their own country. They studied the mechanisms used by Internet service providers restricting access to prohibited information, assessed their accuracy, and the ability to bypass such blocks. We would like to bring to your attention the main theses of this work.

How to understand when proxies are lying: verification of physical locations of network proxies using an active geolocation algorithm

People all over the world use commercial proxies to hide their true location or identity. This can be done to solve various tasks, including accessing blocked information or ensuring privacy.

A small epigraph - if you are making an instruction, then do it to the end, otherwise instructions on how to solve the Amazon captcha for junior developer will be as clear as mud.

What's it all about? When I needed to solve a captcha from Amazon, the notorious Waf Captcha, I started looking for information at a service that I constantly use when I work with Key Collector and some other services (2 captchas - it’s a pity Habr bans articles for referral links).

I found instructions there and posted the link to it above. As you probably understood from the epigraph, I didn’t understand a thing, or rather, I understood that I needed to use the API, but that’s all...

It was much easier with Selenium

The main issue is the short timeout given for a solution from Amazon's side. The time to solve the captcha is limited, and if there's no response, the captcha refreshes (two of its parameters get updated - iv and context)

It turns out the captcha freshness timeout is about 30 seconds, and in that time, you need to find the parameters on the page, copy them, paste them into the script code, and run it. After that, 2captcha should solve it and return the correct answer. I tried to do this for a couple of fruitless hours, developing a routine of actions, but alas, searching for and replacing the changing parameters takes at least 12-15 seconds, leaving only 15 to 18 seconds for the captcha to be solved by the service, which in current realities sounds quite fantastical.

Тема проксей всегда рассматривалась (по крайней мере мне попадались именно такие публикации) с точки зрения сложных терминов, которые зачастую не сильно понятны для обывателя, который в этих ваших интернетах не особо силен. И я решил разобраться в вопросе и вот что у меня из этого вышло:

Небольшой эпиграф - если вы делаете инструкцию, так делайте ее до конца, а то в инструкции как решить Амазон капчу - джун ногу сломит.

Собственно к чему все это? Да к тому, что когда мне потребовалось решить капчу от Амазон, пресловутую Waf Captcha я пошел копать на сервис, которым постоянно пользуюсь при работе с Кей Коллектором, и некоторыми другими сервисами (2капча - жаль Хабр банит статьи за реферальные ссылки).

Ну и нашел там инструкцию, ссылку на которую собственно и привел выше. Как вам вероятно стало понятно из эпиграфа - я ни черта не понял, вернее я понял, что надо использовать АПИ, но на этом все...

С Селениумом было реально проще.

Главная проблема - малый таймаут, который выделяется на решение со стороны Амазона. Время на решение капчи ограничено и если ответа нет, то капча обновляется (у нее обновляются 2 параметра - iv и context).
Получается, что таймаут свежести капчи около 30 секунд, а за это время необходимо найти на странице параметры, скопировать их, вставить в код скрипта и запустить его, после этого 2капча должна ее решить и вернуть правильный ответ. Я пробовал это сделать пару безуспешных часа, вырабатывал автоматизм действий, но увы, на поиск и замену изменяемых параметров уходит не менее 12-15 секунд, и остается от 15 до 18 секунд мы решение капчи сервисом, что в нынешних реалиях звучит достаточно фантастически.

Тут нужен другой подход, искать и подставлять параметры должен скрипт, но как его написать человеку, который в своей жизни ничего сложнее Ahrefs не видел?

Introduction: In this guide, I explore the automation of reCAPTCHA solving in web scraping and testing scenarios using Puppeteer, a Node.js tool designed for browser automation. My focus is on the practical use of the puppeteer-extra-plugin-stealth plugin to seamlessly navigate through reCAPTCHA challenges.

I based my approach on an English manual that caught my eye just a couple of days ago, and I decided to test it (since it's written by a captcha recognition service that I use, why not - by the way, guys from 2captcha - I accept thanks in the form of green bills, if you're interested))))

I've made some tentative attempts at automation and encountered a frequently arising problem: reCaptcha recognition.

Of course, I understand that there are many guides, manuals, and articles written on this topic, but let's agree - it's interesting to describe one's own experience.

Thus, without getting too lengthy and boring about why Selenium is necessary, how important it is for automation, when it appeared and who invented it, let's get to the crux:

To solve the problem, we'll use a demo page kindly provided by reCaptcha itself - https://recaptcha-demo.appspot.com/recaptcha-v2-checkbox.php:

Что такое Bounding box и для чего он нужен. Если вы имеете ученую степень в области машинного обучения, вероятно вам тут будет неинтересно))