Разработка

Привет, Хаброжители!

Предлагаем ознакомиться с краткими обзорами новинок, отправленных в типографию.

Некоторое время назад компания Google DeepMind представила Gemini Diffusion — экспериментальную языковую модель, генерирующую текст методом диффузии. В отличие от традиционных моделей, написанных в стиле GPT и генерирующих слово за словом,  Gemini создаёт текст целыми блоками, пошагово уточняя случайный шум.

Я прочитал статью «Large Language Diffusion Models» — и с удивлением узнал, что дискретная диффузия языка представляет собой просто обобщение метода генерации пропущенного токена (MLM), практикуемого уже с 2018 года. Я сразу подумал: «А можно ли тонко настроить BERT-подобную модель так, чтобы приспособить её к генерации текста?» Из чистого любопытства решил наскоро набросать проверку концепции.

Примечание: уже после того, как написал эту статью, я наткнулся на исследование DiffusionBERT, где сделано практически то же самое, что и у меня, но проект гораздо тщательнее протестирован. Посмотрите этот пост, если тема вас заинтересовала.

Всем привет, меня зовут Дмитрий, я — MLE в Альфа-Банке, занимаюсь автоматизацией процессов и оптимизацией моделей, ищу в моделях проблемы и решаю их. 

В прошлом году ко мне пришли ребята из отдела тестирования и задали два вопроса: «Как тестирование батч-моделей можно автоматизировать?» и «Что для этого нужно?». Коллеги поделились наболевшей историей, что в большинстве моделей выполняемые проверки повторяются. Выслушав весь запрос, я спроектировал и реализовал систему автоматического тестирования, о чём и расскажу в этой статье. Также здесь будут технические детали реализации, архитектурные решения и полученные результаты.

Статья будет полезна не только специалистам по автоматизации процессов тестирования, а и ML-инженерам, MLOps-специалистам и командам разработки, занимающимся поддержкой продакшн-систем машинного обучения.

Сегодня я расскажу об одном из самых долгих «крестовых походов» в мире Unix — попытке сделать из FreeBSD полноценную настольную систему, способную потягаться с тройкой лидеров: Windows, Linux и macOS. Эта история началась еще с конца 90-х, когда KDE и GNOME стали делать Linux дружелюбным для обычных пользователей, а не исключительно для гиков.

Многие представители комьюнити FreeBSD тогда подумали: «А чем мы, собственно говоря, хуже? У нас есть всё то же самое, что и в Linux, только стабильнее и надежнее». А значит, превратить его в десктоп будет вполне разумным решением. Но суровая действительность быстро вернула энтузиастов с небес на землю. Об этом и поговорим.

Приветствую всех!

Когда-то давно я уже рассказывал про устройство и работу кассовых аппаратов с фискальной памятью.

Так уж вышло, что один из имевшихся у меня экземпляров я тогда так и не показал, хотя на самом деле его воистину можно назвать одним из символов касс той эпохи. Что же в нём такого примечательного? Сейчас и узнаем.

Мне повезло в жизни, так как моя учительница русского языка и литературы в старших классах была педагогом с большой буквы. В выпускном классе мы особенно любили пятничные уроки литературы - читали стихотворение малоизвестного (нам) поэта или слушали песню какой-нибудь рок-группы и писали мини-сочинение об услышанном За спиной у нашей учительницы висел небольшой плакат с правилами и рекомендациями по написанию текстов. На эти правила она указывала, когда объясняла, как улучшить нашу малограмотную подростковую писанину.

Одно из правил - буквально слово в слово - я недавно встретил в одном популярном эссе о написании кода без ошибок (я расскажу об этом правиле позже). Мне стало любопытно, насколько применимы остальные правила со школьного плаката (короткий ответ – да), и есть ли у этого обоснование. Я немного зарылся в литературу, и вот что понял.

Для решения классических аналитических задач в банке дата‑специалисты обрабатывают миллиарды транзакций. Поэтому создание единого информационного пространства для работы с большими объёмами данных потребует решить как задачи оптимизации производительности и обеспечения безопасности, так и задачи удобства для пользователей — и найти баланс между ними. 

Сергей Виноградов на конференции Data&ML2Business рассказал про разработку и построение DWH для задач Яндекс Пэй. В этой статье — дополненный рассказ о том, как устроена аналитическая платформа на базе Greenplum® и ClickHouse®, которую решили строить на базе managed‑сервисов в облаке. А также о том, как жизнь аналитиков облегчает связка Apache Spark™ и Jupyter‑ноутбуков в Yandex DataSphere.

Здравствуйте, друзья, меня зовут Ерохин Кирилл, я программист‑любитель, и в этом сентябре я втихаря провёл соревнование по алгоритмическому программированию на C/C++ под платформу «Эльбрус» (e2k), собрав 31 участника со всей России, результатами которого я решил поделиться с вами. А Хабр мне в этом поможет, ему не впервой.

Какие учебные дисциплины пригодятся будущему системному администратору? Вот вы определились, что у вас технический склад ума, и хотите пойти в будущем в системные администраторы. Казалось бы, выбери только информатику и совершенствуйся в ней. Но это далеко не все знания, которые потребуются в дальнейшей работе.

Меня зовут Кирилл Малеванов, я технический директор в Selectel. В этой статье хочу, базируясь на опыте решения типовых вопросов, помочь начинающим специалистам определиться, что важно изучать еще со школьной скамьи.

И действительно, на первый взгляд может показаться, что достаточно знать только информатику. Но знание других предметов скрыто в описании задач. Именно поэтому мы сначала определим, что приходится делать системному администратору на практике, а после — выделим учебные дисциплины, которые для этого нужны. Подробности под катом!

АрдуЛисп – это революционное решение для олимпиадной и соревновательной образовательной робототехнике, основанное на использовании блочного языка программирования и скриптового языка программирования – ЛИСП.

Все известные решения в области образовательной робототехники в мировой практике имеют возрастной порог...

Сия заметка не столь для программистов, многие из которых уже сталкивались с подобным, и только улыбнутся "ну, открыл Америку" - а больше для разного рода менеджеров, заказчиков и всех кто считает что достаточно лишь нанять умных разработчиков, и дело в шляпе. Вот шляпой дело нередко и оборачивается.

Готовится релиз. Сроки подходят. Мне скидывают странный баг: Наше приложение вдруг стало жаловаться на невозможность соединиться с соседним.

А почему не может? Защищённое соединение не устанавливается.

А почему не устанавливается? Файлы сертификатов для этого соединения не удаётся загрузить.

А почему файлы не грузятся? А потому что путь к файлам "отсутствует в конфигурации".

А если руками залезть и глазами посмотреть - присутствует. Чудеса! Эффект Шрёдингера!

К 2025 году в мире искусственного интеллекта уже больше нормативных документов, чем рабочих моделей. США публикуют руководства для безопасного использования LLM, Европа принимает AI Act, в ОАЭ и Сингапуре появляются свои принципы ответственного ИИ. Россия тоже не стоит в стороне и нормативные требования активно у нас разрабатываются.

Уже действующие и готовящиеся нормы ЕС, США, Китая и России требуют от ИБ не просто контроля моделей, но и полноформатного аудита, документирования и управления реальными угрозами.

Мы в HiveTrace внимательно следим за этой эволюцией из практической необходимости: от того, как быстро и в каком направлении будет развиваться регуляторика, зависит, какие функции мы добавим в продукт завтра.

Gemilai 3007Z — это одна из лучших на данный момент домашних рожковых кофемашин с претензией на серьезность из низшего ценового сегмента. Made in China.

Gaggiuino — это ардуиноподобный проект от кофейных энтизуиастов, который позволяет завезти на домашнюю кофемашину более глубокий контроль за параметрами варки, с визуализацией, профилями и т.п.

Я написал этот гайд по итогом своей попытки проапгрейдить китайскую кофемашину с помощью Gaggiuino.

Привет Хабр! Как-то так случилось, что кто-то очень хитрый, в одном НИИ, подключил обычный бытовой увлажнитель BALLU UHB-1000 к фитотрону(ака гроубоксу). Вот и встала задача добавить управление этим устройством.

Привет, Хабр!

Cегодня я хочу поделиться с вами опытом работы с библиотекой Tantivy — это полнотекстовый поисковый движок, написанный на Rust. Если вы когда‑либо задумывались о том, чтобы встроить поиск в свое приложение на Rust (вместо того чтобы поднимать отдельный ElasticSearch или Solr), то Tantivy неплохой такой кандидат. Библиотека вдохновлена Lucene (тем самым движком, на котором работают Solr и ElasticSearch) и дает схожие возможности: индексирование текста, быстрый поиск по ключевым словам, поддержку сложных запросов.

Когда в инфраструктуре десятки сервисов и баз данных разных типов, ручное резервное копирование превращается в кошмар.

Один сервер использует PostgreSQL, другой — MySQL, третий — MongoDB, и для каждого нужны свои команды (pg_dump, mysqldump, mongodump) и свои скрипты.

Проект Dumper решает эту проблему он объединяет все типы баз в один универсальный инструмент.

Dumper написан на Go и работает через CLI, конфигурация задаётся в YAML — поэтому его легко встроить в cron, CI/CD pipelines, GitHub Actions или Docker-окружение.

Привет! Это новый выпуск «Нейро-дайджеста» — коротких и полезных обзоров ключевых событий в мире искусственного интеллекта и технологий.

Неделя выдалась интересной: Anthropic выкатили лёгкую Claude Haiku 4.5, Suno 4.5 открыли бесплатно, Microsoft включила голосового агента в Windows 11, а OpenAI показали ИИ-браузер ChatGPT Atlas, пока ИИ уже пишет половину текстов в сети.

Всё самое важное — в одном месте. Поехали!

Привет, Хабр!

Меня всё также зовут Андрей Гринблат. В прошлых материалах я рассказывал о построении фотореалистичных изображений трёхмерных фракталов (часть 1 и часть 2). Это — завершающая статья цикла, в ней я разберу визуализацию оболочки Мандельброта, четырёхмерных аналогов множеств Мандельброта и Жюлиа, и рассмотрю гибридные фракталы.

Больше восьми лет я работал backend‑разработчиком. Мы создавали веб‑приложения для автоматизации логистики и закупок. Команда росла, процессы крепли. Всё было правильно и красиво: CI/CD, код‑ревью, споры о чистоте архитектуры и идеальном нейминге. Мир был прост, предсказуем и казалось, что так будет всегда.

Но однажды утром всё изменилось.

Hack Time, Хабр!

На днях мне на глаза попалось громкое расследование Dmytro Tarasenko (он же iTaysonLab).

Именно он провёл декомпиляцию APK нового приложения "Telega", выявил связи с инфраструктурой VK, Catogram и сделал публичную публикацию подробностей на Telegram-канале BruhCollective.

Коллеги вскрыли множество тревожных фактов, но мне, как любителю копаться в кишках приложений, захотелось пойти дальше, подтвердить их находки и найти то, что ускользнуло от динамического анализа.

Я решил провести полный статический анализ APK, выполнив деобфускацию кода, чтобы составить максимально полную и технически подкрепленную картину.
Что же на самом деле скрывается за обещаниями «улучшенного» Telegram?

Давайте посмотрим.

Спойлер: небезопасно, неконфиденциально, но чертовски интересно. Поехали!