Разработка

Кейс: как использовать frontend-фичи и UX для оптимизации сетевого трафика запросов на примере Дзена и других сервисов

Привет, меня зовут Алексей, я руковожу ML-отделом в Профи.ру. И в статье хочу рассказать о нашем особенном пути. А конкретно — про три проблемы, с которыми мы сталкиваемся каждый день.

Спойлер: до конца мы их пока не решили, но кое-что придумали.

Доброго времени суток, «Хабр»!

В предыдущей своей статье я рассматривал различные функции потерь - важную часть машинного обучения. Но даже такие функции совершенно беспомощны перед лицом беспорядка. Сегодня мы рассмотрим то, что предшествует любой тренировке - разметку данных.

Как и в предыдущей статье, приведу простенькое сравнение. Если модель - ученик, то разметка данных своего рода учебник, по которому она занимается. При этом создание такого учебника часто оказывается трудоемким, медленным и дорогостоящим этапом всего цикла ML-проекта.

Принимайте стратегические удобное положение, ну а я начинаю свое повествование.

Типовая ситуация: в проект приходят умные люди, менеджеры внедряют эффективные процессы, а проект все равно превращается в болото. Фичи разрабатываются месяцами, релизы откладываются, а на ретроспективах все жалуются на зависимости. При этом на схемах все выглядит красиво: микросервисы, CI/CD, облака. Что с этим миром не так?

Понятно, что «не так» может быть что угодно и как обычно it depends, но здесь и сейчас разберем одну из возможных причин, а именно ситуацию, при которой архитекторы и техлиды работают только с одним видом сложности – технологической. Рисуют квадратики, проводят стрелочки, выбирают базы данных. Реальность разработки при этом гораздо сложнее: в любом проекте одновременно живут три вида сложности, и они постоянно влияют друг на друга.

Несколько месяцев назад я разрабатывал свой пет проект. YumCut – сервис для создания коротких вертикальных видео полного цикла: от написания текста и генерации изображений до монтажа и добавления субтитров. 

Быстро обнаружилась критическая проблема: цена. Для одной минуты видео требовалось примерно 20 сгенерированных изображений или $0.8/мин. Кроме видео-ряда, еще нужно сгенерировать и аудио - $0.2/мин и дополнительные незначительные расходы на монтаж и генерацию субтитров.

Я начал искать выход. Эта статья — о том, какие нестандартные техники помогли снизить стоимость в разы и какое open-source решение позволяет генерировать картинки в 8 раз дешевле, чем коммерческие API. Полный код и инструкции доступны на GitHub.

В Google я устроился где-то 14 лет назад и тогда думал, что моей работой будет написание хорошего кода. Отчасти так и оказалось. Но чем дольше я там трудился, тем больше понимал, что преуспевающие разработчики — это не обязательно лучшие программисты. Обычно это те люди, которые научились лавировать среди всего, что окружает код — среди людей, внутренней политики и условий неопределённости.

В конечном итоге за всё это время я освоил множество уроков, которые определённо пригодились бы мне изначально. Некоторые избавили бы меня от многих месяцев фрустрации. На понимание других ушли годы. Причём ни один не касается каких-то конкретных технологий, которые меняются слишком часто, чтобы играть важную роль. Все эти уроки связаны с паттернами, которые продолжают встречаться раз за разом — в каждом проекте и каждой команде.

Я решил поделиться ими, так как мне самому помогли освоить их другие разработчики. Поэтому в некотором смысле я передаю эстафету.

Сейчас уникальное время, когда заблокировали почти все мессенджеры в стране и продвигается единый и национальный WeChat макс.

У китайцев есть свой макс, и если вас там забанят, то это катастрофа и вам придется идти писать заявление на разблокировку. (это не шутка, вот источник)

Представили...? Вас забанили в максе, а вы в слезах идете в кремль извиняться за мат в сообщении.

Мы обсудим смогут ли нас пересадить с телеги на какой-то там мессенджер с упором на реальную историю

2025 год стал для компании МУЛЬТИФАКТОР временем комплексных изменений. Вместо точечных доработок мы сосредоточились на развитии продуктовой системы в целом: полностью переработали логику аутентификации и запустили новый облачный сервис для внешнего мониторинга доступности.

В этой статье мы собрали ключевые обновления продуктов МУЛЬТИФАКТОР за год.

Настоящее исследование посвящено экспериментальной проверке общепринятой рекомендации по снижению параметра vm.swappiness для серверов PostgreSQL . В ходе нагрузочного тестирования на синтетической рабочей нагрузке, имитирующей аналитические запросы, было оценено влияние значений vm.swappiness = 10 и vm.swappiness = 1 на производительность СУБД и инфраструктуры. Результаты выявили неожиданные закономерности, ставящие под сомнение универсальность данной рекомендации.

В статье представлены результаты нагрузочного тестирования PostgreSQL на синтетической рабочей нагрузке, имитирующей аналитические запросы (OLAP). Цель исследования: определить - как снижение параметра vm.swappiness влияет на взаимодействие СУБД с подсистемой ввода-вывода Linux.

Глоссарий терминов | Postgres DBA | Дзен

GitHub - Комплекс pg_expecto для статистического анализа производительности и нагрузочного тестирования СУБД PostgreSQL

1.      Преамбула

40 лет тому назад я разработал геометрический язык и написал транслятор чертежей, но бросил разработку на произвол судьбы, т.к. отчетливо понимал, что по-хорошему, чтобы транслятор "взлетел", в него нужно встроить интерпретатор простого алгоритмического языка. Честно говоря, я был не готов к этому, и было лень этим заниматься, да и в тот момент я поменял место работы. Все один к одному...

А на днях я закончил разработку интерпретатора Forth (пока без API обёртки), исполнив свой 40-летний долг, после того как мне потребовались числовые движки в узлах ориентированного графа процессов на базе GenServer OTP в Elixir.

Для развития технологии мне требовалось реализовать Forth в объеме, описанном в известном начальном учебником [1]. Разработанный интерпретатор Forth на языке Elixir получил рабочее название Forth-ibE, в котором суффикс произносится [айби] и составлен из двух слов: in-built и Elixir.

На разработку ушло 5 месяцев вместе с первоочередным патентным поиском. Именно с него начались неожиданные интересные эпизоды разработки. Поэтому я решил рассказать не о технических деталях реализации, а о нечто большем: о психологическом когнитивном исследовании в ходе разработки.

С техническими деталями реализации Forth-ibE можно познакомится на сайте GitHub https://github.com/VAK-53/Forth-ibE. Прикладные аспекты Forth-ibE заключены в приложении «ТУ на интерпретатор Forth-ibE» в конце данной статьи.

2.        Патентный поиск. По теме интерпретатор Forth на языке Elixir было найдено достаточно много примеров, но они поставили передо мной задачу, которую я потом решал 3 месяца.

Всем привет!

Мы гордимся тем, с каким успехом и рвением выпускаем на русском языке крутую литературу по языку Rust. Мы занялись этим, когда Rust ещё далеко не был мейнкуном мейнстримом - и нашим первым (и сразу же очень успешным) заходом в тему была ныне легендарная книга Тима Макнамары "Rust in Action". Она вышла в издательстве "Manning" в 2021 году, а на русском языке мы выпустили первый тираж "Rust в действии" в ноябре 2022 года. Очередная допечатка закончилась к новому 2026 году, и мы решили разместить здесь переводную статью о книге для привлечения внимания к свежей допечатке (тираж ограничен!)

С тех пор эта книга стала базовым введением в Rust и пропуском в отрасль, но мы на ней, конечно, не остановились. Далее мы выпустили:

Продолжение истории про Rust-based log viewer для VS Code. Теперь с AI: описываешь что искать на человеческом языке — получаешь regex. Плюс объяснение непонятных строк в один клик.

Привет всем! Меня зовут Лера, занимаюсь развитием строительной модели и электронной исполнительной документацией в Sminex.

Цифровые технологии на стройке призваны снижать сроки и затраты. Но при внедрении автоматизации в устоявшиеся повседневные процессы возникает риск отрыва технологичной теории от реальной практики. В статье поделимся своим опытом: как при помощи BIM-технологий мы разработали и внедрили строительную цифровую модель, добились прозрачности данных и сократили трудозатраты в 10 раз. 

Меня зовут Юрий Морозов, я главный архитектор компании «Гарда».

В этой статье я расскажу, как можно организовать обработку трафика на высоких скоростях. Актуальность этой задачи для современной сетевой безопасности напрямую связана с эволюцией технологий передачи и обработки данных: за последние годы скорости выросли на порядок, и вместе с ними резко изменились требования к производительности систем анализа и фильтрации трафика.

Чип 8087 обеспечивал быстрые вычисления с плавающей запятой для первого IBM PC и со временем стал частью x86-архитектуры, используемой и сегодня. Одна необычная особенность 8087 — многоуровневое ПЗУ, где каждая ячейка кодировала два бита, что давало плотность примерно вдвое выше обычного ПЗУ. Вместо хранения двоичных данных каждая ячейка ПЗУ 8087 хранила одно из четырёх уровневых значений, которое затем декодировалось в два двоичных бита.

Поскольку 8087 требовалось большое ПЗУ микрокода, а сам чип уже упирался в пределы по числу транзисторов для размещения на кристалле, Intel применил этот специальный приём, чтобы ПЗУ «влезло». В этой статье я объясню, как Intel реализовал это многоуровневое ПЗУ.

За последние годы рынок блокчейна и криптовалют сильно вырос, переживая циклы бурных подъемов, резкие падений, регуляторное давление и волны хайпа. На этом фоне возникает вопрос: жива ли крипта как индустрия и есть ли там долгосрочная карьера для инженеров?

Короткий ответ — да. Но с важными нюансами, о которых редко пишут в мотивационных статьях.

Привет, Хабр, меня зовут Иван Костин и я старший рекрутер в SENSE. В статье «без глянца» рассказываю какие компании есть на рынке, какие специалисты там востребованы, с какими навыками туда реально заходят и что стоит учитывать, если вы рассматриваете этот рынок для развития карьеры.

Классика жизни: ввёл в терминале команду, не до конца понимая последствий. И поплатился за это удалением активной базы данных.

Clickhouse никогда не удаляет ваши данные, главное помнить об этом и знать где искать. Наш кейс миграции на Clickhouse Keeper, история потери и восстановления данных

Всем привет! Если вы хоть раз ловили себя на мысли, что устали от рутины однотипных действий при проведении пентеста или, что после N-го часа пентеста потеряли нить атаки — эта статья для вас.

Всё чаще и чаще звучат идеи внедрения AI‑агентов в работу пентестеров, но не в виде кнопки «взломать всё», а в виде универсального помощника для автоматизации рутины и роста общей эффективности процессов.

В этой статье очень подробно разберём установку и настройку такого AI‑агента ну и, конечно же, испытаем.

Команда Python for Devs подготовила перевод статьи о том, как можно компилировать Python в быстрые, кроссплатформенные исполняемые файлы без изменения исходного кода. Автор подробно разбирает архитектуру компилятора, объясняет, зачем «понижать» Python до C++, как типы позволяют «приручить» динамику языка и почему эмпирическая оптимизация даёт лучший результат, чем ручной тюнинг.