Обновить
0
@VXPread⁠-⁠only

Пользователь

Отправить сообщение

99% трафика моего веб‑сайта составляют боты

Время на прочтение17 мин
Охват и читатели103K

Если вы хотите украсть мои данные, то начните с этой статьи! В ней подробно рассказывается, какие правила файрволла я использую, чтобы упростить вам их обход.

Конечно, я шучу. Мне даже неизвестно, читают ли веб‑краулеры посты, чтобы узнавать такую информацию.

Но я целый год занимался борьбой с ботами в своей базе данных филантропов PatronView. Когда пишешь код при помощи ИИ‑агентов, такому никто не научит, поэтому я решил поделиться полученными знаниями.

Вот некоторые факты, о которых ниже будет рассказано подробнее:

 ● Всего за один день к моему сайту обратились 3,6 миллиона запросов китайских ботов.

 ● Cloudflare сообщает, что краулеры Anthropic выполняют примерно три тысячи операций краулинга на однго приведённого посетителя. У меня этот показатель составил 35 тысяч:1.

 ● Два дня назад я заблокировал поисковый ИИ‑краулер Amazon. Он считывал по 117 тысяч страниц в день, но не направил мне ни одного посетителя.

 ● Показатель решения моей CAPTCHA равен 0,24%. Боты даже не пытаются её решать.

 ● В конце перечислены все используемые мной правила файрволла.

Читать далее

Что видит DPI, и что мы попробовали у него отобрать

Уровень сложностиСредний
Время на прочтение7 мин
Охват и читатели82K

Последние пару лет я работаю в команде, которая занимается устойчивой к DPI (Deep Packet Inspection) туннельной инфраструктурой — по сути, альтернативой классическому VPN.

Когда начинаешь заниматься этим всерьёз, довольно быстро обнаруживается неприятная вещь: шифрование само по себе давно уже не означает, что трафик нельзя распознать. Содержимое пакетов действительно можно скрыть, но пакет от этого не исчезает. У него остаются размер, направление, время появления; соединение начинается с определённой последовательности сообщений, TLS-клиент определённым образом представляется серверу, поток ускоряется, замедляется, замирает и снова начинает передавать данные.

Для человека всё это выглядит как куча зашифрованных байтов. Для классификатора — как вполне пригодный набор признаков.

Поэтому значительная часть нашей работы в итоге свелась не к тому, чтобы «зашифровать ещё сильнее», а к более практическому вопросу: что именно видит наблюдатель снаружи и по каким признакам он может решить, что перед ним не браузерный трафик, а туннель.

Об этом и расскажу.

Читать далее

Как мы вынесли алгоритм ценообразования из кода Яндекс Такси (и почему это не было очевидно с самого начала)

Время на прочтение17 мин
Охват и читатели24K

Когда вы открываете Яндекс Go для заказа такси и вводите адрес, приложение за доли секунды показывает цену. Кажется, что это несложно: Кажется, что это несложно: взять расстояние и время в пути, умножить их на значения из тарифа. На самом деле, за этой ценой стоит не один десяток факторов — например, скидки, спрос, геозоны. И это ещё без учёта того, что пассажир взял с собой кота или лыжи.

В этой статье — о том, как мы вынесли алгоритм ценообразования из кода сервиса, почему не взяли готовый скриптовый язык, что такое цепочка преобразований цены и зачем нам понадобился формальный верификатор.

Читать далее

Частые ошибки в вёрстке, которые встречаются даже на крупных проектах

Уровень сложностиСредний
Время на прочтение9 мин
Охват и читатели13K

Привет, Хабр!

Я во фронтенде уже пятнадцать лет и всегда видел разные примеры кода «с душком». То, что десять лет назад считалось нормальной практикой, сегодня вызывает улыбку. Современная вёрстка не стала исключением.

Мне нравится наблюдать за тем, как меняются подходы к ней. Это не история о том, что раньше всё было плохо, а сейчас хорошо, или наоборот. Просто одни ошибки уходят, а на их место приходят другие.

В этой статье я собрал несколько распространённых ошибок в современной вёрстке, связанных с доступностью интерфейсов. Постарался быть максимально объективным, но окончательные выводы, как всегда, остаются за вами.

Давайте посмотрим, что я вам подготовил.

Читать далее

Механический «диодный мост»?

Время на прочтение10 мин
Охват и читатели17K

До начала нашего рассказа, давайте я загадаю вам загадку: можно ли выпрямить переменный ток, без полупроводниковых элементов (диоды и т.д.)? А можно ли то же самое провернуть, с точностью до наоборот — то есть, постоянный ток превратить в переменный, без сложных схем и полупроводниковых элементов? Можно ли понизить/повысить напряжение электрического тока (и другие его параметры — частоту, количество фаз) — без трансформаторов и электронных схем? 

А теперь, совсем вопрос на засыпку («вот ведь валит!» © — неизвестный студент :-D):
а можно ли теперь всю эту красоту провернуть с помощью одного и того же класса устройств?  

Как ни странно, можно, если это устройство называется «умформер» (но были и более продвинутые варианты, о них тоже будет ниже)…

Читать далее

MicroBee — история маленького компьютера, сумевшего победить Apple

Уровень сложностиПростой
Время на прочтение13 мин
Охват и читатели16K

Принято считать, что в Австралии всё наоборот: лето начинается в декабре, вода в раковине якобы закручивается в другую сторону, Рождество празднуют под палящим солнцем, да и живность «зелёного континента» заметно отличается от привычной европейцам фауны. Вот примерно такая же история там сложилась и с персональными компьютерами, которые, как и во всём мире, стали активно развиваться в этой стране на рубеже 70-х — 80-х годов. Пока американцы выбирали между Apple II, Commodore и TRS-80, британцы массово осваивали Sinclair ZX Spectrum, а японцы создавали собственные линейки домашних компьютеров, австралийцы не стали ограничиваться импортом. Они разработали свою «национальную» персоналку, о которой за пределами Австралии знают разве что коллекционеры ретротехники. Об этом необычном ПК под названием MicroBee, сумевшем побороть на локальном рынке технику Apple — наш сегодняшний рассказ.

Что это за чудо-компьютер такой?

Японцы в ярости от пиратства: как разница в менталитете породила один из самых горячих споров года

Уровень сложностиПростой
Время на прочтение12 мин
Охват и читатели21K

Совсем недавно Илон Маск ввёл в бывшем «Твиттере» автоматический перевод твитов. Намерение благое, но кажется, что мир не готов был к такому повороту событий: оказывается, нынешнее поколение японцев вообще не готово к пиратству и крайне осуждают его. Правда, делают они это в весьма комичной форме. Но почему сложилось так, что японцы негативно относятся к пиратству, в то время как на Западе — совсем иное отношение к данному феномену?

Читать далее

Как вынести данные с root FS без копирования сотен гигабайт

Уровень сложностиСредний
Время на прочтение15 мин
Охват и читатели8.3K

Привет, Хабр!

На связи команда инженеров сервисного центра с очередной нетривиальной задачей, которую мы решали у одного нашего крупного заказчика.

Многие Linux-серверы со временем сталкиваются с одной и той же проблемой: корневая файловая система постепенно «обрастает» данными приложений, снэпшоты виртуальных машин становятся слишком большими, резервное копирование занимает всё больше времени, а свободного места для классической миграции уже не остаётся. Особенно часто это встречается на старых системах, где изначальная разметка дисков создавалась без понимания того, какое прикладное программное обеспечение будет использоваться в будущем.

Так возникает необходимость вынести данные приложения на отдельную файловую систему, но традиционный подход требует полного копирования больших объёмов данных и длительного простоя сервисов. В этой статье мы покажем способ изменить разметку уже работающей Linux-системы без переустановки ОС и без копирования сотен гигабайт данных.

Читать далее

Из каких деталей собран скам на Avito

Уровень сложностиПростой
Время на прочтение4 мин
Охват и читатели16K

Всем привет! На связи Айнур Абдрахманов, аналитик сервиса проактивного мониторинга внешних цифровых угроз Jet CSIRT, также известный как исследователь, который тратит вечера на изучение телеграм‑каналов с обещаниями «пассивного дохода от 5000₽ в день». Мониторинг таких пабликов — это, если хотите, профессиональная привычка: там раньше всех появляются новые социальные схемы, там их обкатывают и оттуда они расползаются в массы.

Хочу поделиться наблюдением — социальная инженерия эволюционирует. Вместо прямого нападения на жертву мошенники теперь вербуют легитимных пользователей в качестве инструмента атаки. Я изучил рабочую модель, в которой агенты, привлечённые обещаниями лёгкого заработка, добровольно превращают свои аккаунты Avito в фишинговые площадки. В статье — подробный разбор всей цепочки: как вербуют «сотрудников», как построена их работа и почему для обмана были выбраны именно популярные и дорогие товары вроде коллекционных LEGO.

Читать далее

Мой сетап домашнего медиа сервера

Уровень сложностиПростой
Время на прочтение6 мин
Охват и читатели19K

С момента как появился домашний сервер было желание сделать нормальный медиа сервер - чтобы по красоте смотреть фильмы и сериалы в 4K, без костылей.

Хотелось свести получение любого фильма или сериала к одному действию: нашёл → нажал «скачать» → посмотрел. Всё остальное - поиск релиза, скачивание, проверка качества и языка дорожки, переименование файла, раскладка по нужным папкам библиотеки - должно происходить где-то фоново, без меня.

Читать далее

Как отменять задачи в asyncio без зависаний и незавершённой очистки

Уровень сложностиПростой
Время на прочтение10 мин
Охват и читатели13K

Отмена задачи кажется простой, пока сервис не зависает при остановке, таймаут не оставляет запрос работать в фоне, а CancelledError исчезает внутри обработчика исключений. Разберём, как устроена кооперативная отмена в asyncio, где ставить точки ожидания и как использовать TaskGroup, timeout и shield, чтобы задачи завершались предсказуемо.

Изучить asyncio

Анатомия фотоаппарата: зеркалки, дальномеры и шкальные камеры на примере советской классики

Уровень сложностиПростой
Время на прочтение13 мин
Охват и читатели14K

Привет! Я Лев, системный администратор технической поддержки в Selectel.

Ранее я рассказывал о принципе работы фотопленки, а в этой статье перейдем к технической стороне вопроса и разберем устройство фотоаппарата.

Проследим, как развивалась технология фиксации изображения от первых опытов до классических пленочных камер, а затем детально рассмотрим некоторые советские экземпляры — их устройство, отличительные черты и, конечно, винтажную эстетику.

Читать далее

Электронно-лучевые видеопроекторы. Это как?

Уровень сложностиСредний
Время на прочтение8 мин
Охват и читатели17K

Картинка: Peter F. Yanczer, earlytelevision.org

Всем известно такое устройство, как видеопроектор. Они широко используются для целей образования, бизнеса и даже для дома.

Перечень их основных технологий тоже известен — DLP, 3LCD, LCoS.

Однако как вам понравится, пожалуй, один из самых странных (и потрясающих с технической точки зрения!) проекционных аппаратов в истории — видеопроектор на электронно-лучевой трубке?! О_о Где электронно-лучевая трубка — это только маааленький кусочек странностей!

Как старый поклонник видеопроекторов, я никак не мог пройти мимо этой темы… :-) Итак…

Читать далее

Гениальная ОС, которую никто не помнит (с нескучными обоями)

Уровень сложностиПростой
Время на прочтение8 мин
Охват и читатели53K

Продукт, опережающий свое время и терпящий из-за этого фиаско, далеко не редкость для мира технологий. Именно таким когда-то была одна неординарная, гениальная в своей странности и очень красивая операционная система, увидевшая свет в начале 90-х…

Читать далее

SOHO UPS в маленьком корпусе и своими руками. Менее чем за 1500 руб

Время на прочтение6 мин
Охват и читатели75K

Хотите обеспечить бесперебойное питание своим устройствам, но при этом не сильно потратиться? Именно такой своей разработкой я и хотел с вами поделиться.

Все мы переживаем, когда устройства внезапно отключаются «по питанию» и не зря. Большая часть нештатного отключения электроэнергии сопровождается скачками повышенного напряжения, что в свою очередь может привести к поломке оборудования или сбросу настроек. Да, на этот случай различные компании выпускают ИБП, но они достаточно велики и весят как правило не менее нескольких килограмм.

А что если сделать такой источник бесперебойного питания, который можно поставить прямо рядом с защищаемым устройством – лёгкое, компактное, недорогое?
Читать дальше →

Бесперебойное питание для роутера и GPON-терминала своими руками

Уровень сложностиПростой
Время на прочтение7 мин
Охват и читатели45K

GPON технология подключения к интернету — одна из самых удачных инноваций последних лет. Она позволяет полностью избавиться от питания устройств «последней мили», что особенно актуально при длительных перебоях с электроэнергией. Почти все остальные технологии позволяют обеспечить интернет только временно — на час‑два, и время это не зависит от конечного пользователя — только от доброй воли провайдера, обеспечивающего своё оборудование источниками бесперебойного питания «на чердаке».

В случае же GPON, единственное, о чём должен позаботиться конечный потребитель — обеспечение питания терминала на своей стороне. Часть терминалов сразу снабжают встроенным WiFi роутером, но чаще всего этого не происходит и провайдер предоставляет отдельное устройство. Наиболее частая конфигурация — GPON‑терминал, потребляющий 0.5А по 12-ти вольтам, и WiFi‑роутер, потребляющий 0.3А по 9-ти.

Конечно, можно купить дорогостоящую зарядную станцию, с ёмкими аккумуляторами и быстрой зарядкой, подключить блоки питания устройств к инвертору станции на 230в, но это дико неэффективно. В моём случае потребление такой конфигурации составило 16 ватт.

Следующий вариант — купить USB‑DC преобразователи на 9 и 12 вольт, и воткнуть их в мощный пауэрбанк. Потребление сразу становиться более экономичным. В моём случае оно упало до двух ватт, но я использовал достаточно дорогие устройства с поддержкой технологий QC2/QC3. Хотя, простенькие шнурки без этих наворотов и повышайками внутри шнура позволяют достичь примерно тех же параметров. К повышайкам мы ещё вернёмся...

Читать далее

ИБП для роутера

Время на прочтение4 мин
Охват и читатели232K
Вначале был свет, и было хорошо. Внезапно, отключили электричество, и родилась идея.

image

Дома имеется планшет и пара телефонов, которые позволяют пользоваться интернетом без шнурка к розетке. Инет приходит через 3G модем и раздается роутером через Wi-Fi. Остается мелочь – заставить работать роутер при отсутствии электричества.

Вот тут я и вспомнил про старенький источник бесперебойного питания (ИБП) Back-UPS 300. Вполне себе рабочий девайс, но давно пылящийся по причине того, что «ничего он не тянет, да и нафиг он нужен».

Идея такая – упростить схему, исключив преобразование в 220В, понижать 12В сразу в 5В и получить приличное время автономной работы.
Читать дальше →

Доступная система видеонаблюдения с охраной на дачу за 60 минут

Время на прочтение24 мин
Охват и читатели112K

Речь пойдет о сборке, настройке и запуске охранной системы с датчиками, камерой, хранением видеозаписей на удаленном домашнем NAS, встроенным UPS, web-интерфейсом и оповещением через Telegram.

Чтобы быть предельно кратким, оформил статью в стилистике hackster.io. Информация рассчитана на читателей с опытом работы с одноплатным компьютером Raspberry и пониманием принципов работы VPN.

Читать далее

15 лет спустя: как я модернизировал умный дом на базе PLC и написал свой OPC-сервер для перехода от SCADA к ioBroker

Время на прочтение19 мин
Охват и читатели17K

Мой умный дом уже длительное время работает на промышленном контроллере - стабильно, без сбоев и без привязки к облакам. Но с годами технологии изменились: появились новые беспроводные протоколы, веб-интерфейсы, голосовые ассистенты и гибкие сценарии автоматизации. 

Проблема заключалась не в том, что существующая система устарела, а в том, что она уже не позволяла реализовать многие современные сценарии без серьезной переделки. Передо мной стояла задача не заменить работающую систему, а расширить ее возможности, сохранив все то, что доказало свою надежность. Для этого я создал поверх контроллера современный интеграционный слой. А чтобы полностью отказаться от проприетарного ПО, написал собственный OPC-сервер.

В этой статье не только история модернизации моего умного дома, но и попытка показать, какие архитектурные решения, принятые еще в 2011 году, позволили спустя многие годы добавить новые технологии без полной перестройки системы. Надеюсь, этот опыт окажется полезен тем, кто только начинает строить свой умный дом и хочет, чтобы его можно было развивать, а не переделывать через несколько лет.

Читать далее

Дальняя связь на модулях LoRa: принимаем сигнал ниже уровня шума

Уровень сложностиПростой
Время на прочтение30 мин
Охват и читатели24K

Это первая статья в серии про LoRa — технологию передачи данных, способную работать с сигналами ниже уровня шума. Протокол LoRa позволяют передавать данные на километры с очень небольшой мощностью передатчика — порядка 10 мВт или 10 дБм. При этом модули LoRa потребляют так мало энергии, что могут работать от одной зарядки аккумулятора год или больше.

На базе LoRa делают системы сбора данных с обширных территорий без подключения к интернету. Это могут быть, например, данные от счетчиков воды и электроэнергии, погодных станций, газовых котлов и другого оборудования. Также можно управлять устройствами на больших расстояниях.

С помощью LoRa можно сделать шлюз, который будет работать далеко от зоны покрытия интернета. Можно даже настроить передачу сообщений на большие расстояния вообще без интернета.

Из этой статьи вы узнаете, как появились устройства LoRa и почему они могут принимать сигналы ниже уровня шума. Вы узнаете, как работать с модулями LoRa, подключенными к микрокомпьютеру Raspberry Pi, научитесь конфигурировать эти модули с учетом ограничений законодательства, а также передавать с их помощью сообщения на километры. В завершение статьи я расскажу, как сделать простую погодную станцию, измеряющую температуру, давление и влажность. Данные будут передаваться через LoRa и отображаться на OLED-мониторах, подключенных к передатчику и приёмнику.

Читать далее
1
23 ...

Информация

В рейтинге
Не участвует
Откуда
Одесса, Одесская обл., Украина
Дата рождения
Зарегистрирован
Активность