Обновить
2
Konstantin@dredoxread⁠-⁠only

Priest of the Machine God

Отправить сообщение

За горизонтом «Белого списка»: Инженерный гид по связи в условиях жесткой фильтрации и шатдаунов

Уровень сложностиСредний
Время на прочтение9 мин
Охват и читатели22K

Привет, Хабр! На связи команда SoftStore. В последнее время информационное поле бурлит: СМИ открыто заявляют о финальной блокировке Telegram уже в первых числах апреля 2026 года, WhatsApp давно находится под жесткими ограничениями и регулярно сбоит, а мобильные операторы вовсю обкатывают пресловутые «Белые списки» (White Lists). Панические настроения множатся каждый день, обрастая мифами и неработающими советами.

Давайте остановимся, выдохнем и посмотрим на ситуацию через призму инженерии. Эмоции в IT не работают, работают протоколы и физика сетей.

Реальность такова: механизмы белых списков появились не сегодня. Это планомерное развитие систем ТСПУ (Технические средства противодействия угрозам). На данный момент эти ограничения наиболее агрессивно применяются на сетях мобильного интернета. В моменты активации такого режима логика DPI (Deep Packet Inspection) меняется на противоположную: вместо того чтобы блокировать запрещенное (Black List), система начинает отбрасывать (drop) все пакеты, кроме тех, что идут к явно разрешенным ресурсам.

Анатомия мобильного White List: Трафик ходит только до инфраструктуры экосистем: Яндекс, VK, Сбер, личные кабинеты операторов связи, маркетплейсы (WB, Ozon) и ограниченный пул банков. Если вы попытаетесь отправить TCP-пакет на любой другой IP-адрес — он просто исчезнет. ТСПУ не будет ждать передачи 16 КБ данных для анализа сессии, пакет дропнется на этапе хендшейка.

Читать далее

Конвертация экспорта Telegram в Obsidian: руководство по созданию личной базы знаний

Уровень сложностиСредний
Время на прочтение9 мин
Охват и читатели18K

Экспорт Telegram в Obsidian, создание локальной базы знаний и общение с ней с помощью чата LLM. Рассмотрим экспорт данных Telegram в заметки Obsidian с полной поддержкой медиафайлов, форматирования, группировки по дням и AI-интеграции для умного поиска. В конце статьи бонус для вашего кодинг АИ-агента.

Активировать агента.

Как там с OpenClaw: что происходит и что уже можно использовать?

Время на прочтение8 мин
Охват и читатели6.4K

OpenClaw прошел путь от хобби-проекта до самого быстрорастущего open-source проекта в истории GitHub — и запустил настоящую гонку вооружений среди крупнейших ИТ-компаний. Пользователи скупают Mac mini, команды разработки деплоят десятки агентов через Kubernetes, а ИТ-гиганты выпускают решения на базе хайпового продукта. На русском языке материалов об OpenClaw в бизнесе и разработке практически не выходило. Закрываем пробел, коротко разбираем архитектуру мультиагентных систем, реальные сценарии оркестрации, а также ситуацию на рынке B2B-решений.

Читать далее

Белые списки на домашнем интернете — уже скоро и как подготовиться?

Уровень сложностиСредний
Время на прочтение6 мин
Охват и читатели152K

Пошла волна новостей о том, что провайдеры получили прямую задачу внедрять систему «Белых списков» на wifi. Официальная версия — «безопасность» и доступность социально значимых ресурсов. Но все мы прекрасно все понимаем: это не столько про удобство, сколько про возможность 24/7 фильтровать вообще всё, что проходит через ваш домашний Wi-Fi.

Читать далее

Моя любимая функция в ClickHouse, или оптимизируем вообще всё с помощью cityHash64()

Уровень сложностиСредний
Время на прочтение11 мин
Охват и читатели5.9K

Более 5 лет я работаю ClickHouse DBA и помогаю командам разработки и аналитики эффективно использовать ClickHouse. Неизменным помощником в этом мне служит хеш-функция cityHash64(). В данной статье мы поговорим в основном про оптимизацию SQL запросов с помощью хеш-функций. Вероятно, рассматриваемые приемы в той или иной степени актуальны не только для ClickHouse, но и для других баз данных, и могут быть полезны любому, кто пишет SQL запросы.

Мы рассмотрим только те применения хеш-функций, которые регулярно встречаются в практике, а не что-то из разряда "100 способов измерения высоты здания с помощью барометра".

Читать далее

Как создать инструмент для DQ только на Python и Airflow?

Уровень сложностиСредний
Время на прочтение6 мин
Охват и читатели6.1K

Всем привет! Меня зовут Павел, я главный аналитик данных управления подготовки данных Банка.

В этой статье я расскажу, как мы создали самописный инструмент и библиотеку для проверок качества данных, используя только Python и Airflow, и какую пользу это принесло команде.

Читать далее

Как мы прокачиваем HealthScore для 6000+ витрин и готовим DWH к AI

Уровень сложностиСредний
Время на прочтение15 мин
Охват и читатели13K

Привет! Меня зовут Дмитрий Мележиков, я отвечаю за BI в домене Маркетинг и участвую в общих DWH/BI-проектах Авито.

В статье рассказываю, как мы построили систему HealthScore — метрику здоровья данных. От математической модели и пайплайна сбора метаданных до процесса массовой очистки. А ещё вы узнаете, почему HealthScore и сертификация витрин важны для AI Copilot. Без белого списка доверенных витрин ассистент может масштабировать ошибки так же быстро, как и инсайты. 

Читать далее

Разработка DWH для начинающих

Уровень сложностиПростой
Время на прочтение7 мин
Охват и читатели8.3K

В статье рассматриваем что такое хранилище данных, основы их разработки: архитектура, основные слои данных и подходы для работы с ними, ETL и ELT, а также основные модели данных. Материал поможет начинающим разработчикам понять принципы построения аналитических систем и роль разработчика DWH.

Читать далее

Вход на «Госуслуги» без СМС и мессенджера MAX: настраиваем TOTP-аутентификацию

Время на прочтение4 мин
Охват и читатели78K

Если вы не хотите использовать мессенджер MAX для входа на «Госуслуги», альтернативой  может стать стандарт TOTP: генерация одноразовых кодов на устройстве пользователя. В этой статье разберём, как подключить двухфакторную аутентификацию на портале и настроить совместимое приложение-генератор кодов.

Читать далее

Установка Max отдельно от всего в рабочем профиле на Android

Уровень сложностиПростой
Время на прочтение7 мин
Охват и читатели182K

В этой статье подробнее освещу подход с установкой недоверенного мессенджера Max в "рабочий профиль" на Android, который отгораживает приложения от основного профиля. Обойдемся сегодня без покупки нового гаджета.

Из-за чего весь сыр-бор? Вчера вышла статья, что потребитель пошел по магазинам, искать себе новый телефон для установки туда мессенджера Макс. На Хабре комментаторы в большинстве своем решили: это всё из-за недоверия народного! Допустим. А что, сразу телефон отдельный покупать надо?

Читать далее

Настраиваем MTProto прокси с Fake TLS за 5 минут

Уровень сложностиПростой
Время на прочтение4 мин
Охват и читатели322K

Привет! Если вы читаете эту статью, то скорее всего столкнулись с блокировками Telegram или просто хотите обеспечить себе стабильный и безопасный доступ к мессенджеру. Я покажу, как поднять свой собственный MTProto прокси с Fake TLS на любом VPS сервере за 5 минут с помощью готового скрипта.

Читать далее

После блокировки мессенджеров Matrix стал единственной альтернативой?

Уровень сложностиСредний
Время на прочтение7 мин
Охват и читатели151K

Как известно, в РФ почти полностью заблокировали почти полностью заблокировали WhatsApp, а будущая работа Telegram под вопросом. Звонков уже не осталось, только текстовые сообщения, передача файлов тормозит. Судя по всему, начался шейпинг трафика. А если эффективен шейпинг, то сработает и полная блокировка, которую планируют в первых числах апреля, по слухам от РБК.

У нас остаётся всё меньше рабочих способов общения. Если отбросить совсем странные варианты вроде Google Docs или Max, то самая оптимальная альтернатива — это опенсорсные мессенджеры, такие как XMPP (Jabber) и Matrix/Element. Для максимальной надёжности такого общения в федеративной сети желательно поднять свой собственный сервер. Это можно сделать на домашнем сервере или VPS.

Тема актуальна в том числе для закрытых сообществ, которые раньше общались в группах Telegram, WhatsApp* и Viber. Родственники, корпоративные рабочие команды, домовые чаты, игровые сообщества и др. Теперь их можно перенести в Matrix/Element на своём сервере.

*Принадлежит корпорации Meta, которая признана экстремистской на территории России.

Читать далее

Все не любят мониторинг. Настраиваю для CDC-пайплайна: Victoria Metrics, Grafana и алерты в Telegram

Время на прочтение14 мин
Охват и читатели7.9K

Седьмая статья цикла о построении CDC-пайплайна с нуля. Инфраструктура работает, данные текут из PostgreSQL через Kafka в HDFS. Займемся те, что никто не любит(по крайнее мере у нас на работе). Сегодня поднимаем мониторинг и настраиваем алерты в Telegram.

Читать далее

Posstgresso #1 (86)

Время на прочтение16 мин
Охват и читатели7.7K

PostgreSQL 19 news:

PostgreSQL 19: Часть 1 или Коммитфест 2025-07, Часть 2, Часть 3 и Часть 4

Это традиционные обзоры Павла Лузанова, начальника отдела образования Postgres Professional. Начнём с конца, вот некоторые:

Секционирование: слияние и разделение секций:

Первая и неудачная попытка реализации команд для слияния и разделения секций секционированной таблицы была в 17-й версии: незадолго до выпуска патчи были отменены. Сейчас вторая попытка, хоть и с серьезными ограничениями.

Читать далее

Свой ChatGPT бот в Telegram в 2026 с генерацией изображений, зрением и веб-поиском

Уровень сложностиПростой
Время на прочтение11 мин
Охват и читатели11K

Пришло время обновить бота. В этой статье я покажу, как создать Telegram-бота, который умеет: Общаться с любой AI-моделью — OpenAI, Anthropic, Google, DeepSeek и сотни других, Переключаться между моделями на лету, Анализировать изображения (vision), Генерировать изображения по текстовому описанию, Искать в интернете актуальную информацию, Запоминать контекст диалога.

Читать далее

Говорю: «Найди!» — и он находит. Как я устал искать ответы в базе знаний и сделал себе помощника

Уровень сложностиПростой
Время на прочтение8 мин
Охват и читатели9.4K

Привет, это Саша Константинов из Cloud.ru. Недавно в статье я рассказал, как после ухода Notion развернул базу знаний в облаке на Wiki-движке Outline, потому что хотел хранить данные и управлять ими самостоятельно и без ограничений, чего не может дать SaaS. И что самое главное, я хотел дорабатывать решение под свои требования.

В этой части истории сосредоточусь на том, как я еще упростил себе жизнь и добавил в базу знаний AI-помощника. Он помогает мне, когда нужно быстро просмотреть тезисы нескольких статей на общую тему или найти ответ на конкретный вопрос в документах по работе. Для доступа к базе я сделал Telegram-бота с подключением через MCP-сервер. Расскажу, как все устроено, поделюсь процессом настройки и интеграции компонентов. 

Читать далее

30 примеров, на что способен NotebookLM для телеграм-каналов в 2026 году

Уровень сложностиПростой
Время на прочтение16 мин
Охват и читатели13K

NotebookLM - один из самых полезных, но при этом недооцененных ИИ-инструментов сегодня. В этой статье я расскажу, как использовать NotebookLM владельцам телеграм-каналов.

Читать далее

Базовый минимум. Часть 2: промпт-инжиниринг

Уровень сложностиПростой
Время на прочтение7 мин
Охват и читатели12K

Запрос к языковой модели выглядит как обычный текст, но по сути он выполняет роль интерфейса управления. Малейшее изменение формулировки может заметно повысить точность, ясность и практическую применимость результата. Почему так происходит и как формулировать запросы так, чтобы выжимать из модели максимум?

Это вторая часть серии «Базовый минимум», в которой собраны основные техники промпт-инжиниринга для повышения качества и стабильности ответов больших языковых моделей.

Читать далее

Как я заменил BI-дашборд на AI-чат: архитектура RAG-системы для 600K записей

Уровень сложностиСредний
Время на прочтение7 мин
Охват и читатели12K

После 10 лет внедрения BI-систем (Qlik Sense, Power BI, Data Lens) я понял одну вещь: дашборд — это не решение. Это данные для решения. А между данными и решением — пропасть, которую преодолевает человек.

В этой статье покажу, как построил RAG-систему с чат-интерфейсом для базы из 600 000 записей техники из Федресурса. Без философии — только архитектура, код и грабли.

Читать далее

Roadmap по Data Engineering: от стажёра до мидла

Уровень сложностиПростой
Время на прочтение7 мин
Охват и читатели19K

Всем привет! Меня зовут Артём Подвальный, я Data Engineer в Ozon Tech. Мои основные задачи это  сбор и объединение данных из разных источников для обучения моделей, которые определяют порядок выдачи в поиске. До этого я занимался дата-инженерными задачами в SMlab (команда персональных рекомендаций).

Когда я только начинал свой путь в профессии, мне казалось, что вокруг полный хаос — в блогах, курсах и вакансиях роль дата-инженера описывали настолько по-разному, что было сложно понять, с чего начать и куда двигаться дальше. Именно тогда мне пришла в голову идея: собрать понятный и честный роадмап, который поможет новичкам влиться в профессию, а тем, кто уже стартанул, — сориентироваться, как расти дальше.

По моим наблюдениям, дата-инженеры — это те, кто строит фундамент всей работы с данными: они собирают, обрабатывают, хранят и передают данные в аналитические системы. В этом Roadmap я поделюсь, как самому стать таким специалистом, какие навыки реально важны на разных этапах, и чего обычно ждут на собеседованиях. Всё — из моего опыта, историй коллег и реальных требований с рынка.

Читать далее
1
23 ...

Информация

В рейтинге
Не участвует
Дата рождения
Зарегистрирован
Активность

Специализация

Аналитик по данным, Ученый по данным
Средний