Обновить
0

Пользователь

Отправить сообщение

Запускаем языковую модель на ESP32 со скоростью 400 токенов/с — как это возможно?

Уровень сложностиСложный
Время чтения9 мин
Охват и читатели23K

ESP32-S3 — микроконтроллер за несколько сотен рублей: два ядра Xtensa LX7 на 240 МГц и 512 КБ внутренней SRAM. Языковые модели на нём уже запускали: крошечная stories260K, 260 тысяч параметров, но это настоящая Llama-2 с вниманием, RoPE и SwiGLU. Известные запуски дают около двух десятков токенов в секунду.

Я взял ту же модель и тот же чип и выжал из них 406 токенов в секунду. Это в 18 раз быстрее наивной версии на одном ядре. Никакого разгона и внешних ускорителей: только квантование, векторные инструкции, второе ядро и много возни с памятью.

В этой статье мы разберём, как устроен этот разгон по шагам: где модель держать, как заставить работать редкие SIMD-инструкции ESP32-S3, почему после ускорения матриц узким местом стало внимание и как убедиться, что после всех оптимизаций модель выдаёт тот же текст, что и эталон.

Читать далее

Opencode v2: браузер для агента, фоновые субагенты и реальная стоимость моделей

Уровень сложностиПростой
Время чтения4 мин
Охват и читатели7.2K

Я использую Opencode как рабочую среду: снимаю позиции, собираю дайджесты, проверяю страницы, отвечаю на комментарии. На прошлой неделе инструмент трижды обновился, и обновления затрагивают не косметику, а то, как строятся сценарии.

Ниже разбор трёх релизов, список моделей и цифры из моих логов: сколько стоит одна длинная сессия и почему дешёвая модель делает больше вызовов, чем дорогая.

Что это за штука

Opencode это открытый агент с четырьмя точками входа: терминал, десктоп, мобильное приложение и SDK. Моделей больше 200 через Models.dev, включая локальные через Ollama, LM Studio и vLLM. По данным проекта, 22 млн разработчиков в месяц, 220 тыс. звёзд на GitHub, больше 1000 контрибьюторов.

Установка:

curl -fsSL https://opencode.ai/v2/install | bash # или npm install -g @opencode/cli # или brew install anomalyco/tap/opencode-v2

Бесплатно доступны Big Pickle, DeepSeek V4.1 Flash Free и GLM-5.3-Flash Free. Подписка Go стоит 10 долларов в месяц, Go Plus 40, плюс можно войти своим ChatGPT Plus или GitHub Copilot. Актуальный список и цены: консоль моделей.

Browse: агент работает в вашем браузере

7 ноября появился Opencode Browse. По описанию продукта это MCP-сервер плюс расширение для Chromium: агент открывает и ведёт вкладки через Playwright, делает скриншоты, пишет видео и снимает сетевой трафик в HAR.

Ключевое отличие от headless-запуска: агент работает в браузере, где вы уже вошли. Вкладки открываются в фоне, в свёрнутой группе. Когда нужен логин, 2FA или оплата, вкладка возвращается человеку, и работа продолжается после нажатия «Continue». Есть белые списки сайтов, чтобы ограничить, куда агент вообще может ходить.

Ставится расширением из Chrome Web Store, дальше мастер проводит по шагам. CLI-установка тоже есть:

curl -fsSL https://opencode.ai/browse/install | bash # Windows PowerShell irm https://opencode.ai/browse/install.ps1 | iex

Практическая ценность в том, что почти все рабочие кабинеты закрыты авторизацией. Вебмастер, Вордстат, Метрика, панели маркетплейсов. Раньше автоматизация на них упиралась в передачу пароля или в выгрузку руками.

Ограничение очевидное: агент получает доступ к тому, где вы вошли. Права на инструменты и подтверждения настраиваются до первого запуска.

v2.3.0: субагенты уходят в фон

13 ноября вышел релиз 2.3.0. Субагенты теперь по умолчанию работают в фоне: сразу возвращают session ID и отчитываются родителю, когда освободятся. Родительская сессия не блокируется.

Отдельная деталь в описании релиза: если субагент ушёл в idle, но у него остались свои фоновые задачи, в отчёте это указано, и родитель ждёт финальный результат, а не принимает частичный за готовый.

Второе изменение касается читаемости: журнал по умолчанию стал тихим, серии вызовов инструментов сворачиваются в одну строку. Полный след включается через `se

Далее

Хотел программу для диктовки, а вышли движок распознавания речи, UI-библиотека и упаковщик на Rust

Уровень сложностиСредний
Время чтения14 мин
Охват и читатели74K

Обновил ноутбук. С новым компьютером хочется настроить всё с чистого листа, поэтому решил заменить привычные программы на лёгкие и нативные. Для редактора, браузера и прочего замены нашлись, а вот подходящей программы для диктовки, через которую работаю с агентами, не нашлось.

Раз теперь мы пишем код с ИИ-помощниками, решил попробовать сделать такую программу под себя. Но меня затянуло, и вместо одной маленькой программы родились свой движок распознавания речи на чистом Rust через wgpu, библиотека для кросс-платформенного интерфейса и упаковщик под macOS, Windows и Linux.

Рассказываю по неделям, как это было и что узнал по дороге.

Читать далее

Дело не в языке: как открытые модели для ComfyUI понимают русский промпт

Уровень сложностиСредний
Время чтения15 мин
Охват и читатели8K

«Пять жёлтых резиновых уточек плавают в ванне». По этой фразе FLUX.2 klein 4B нарисовала в ванне жёлтые палочки, причём дважды, с двумя разными сидами. SD-Turbo выдала вид на город сверху: крыши, жёлтые кроны деревьев и что-то похожее на стадион. По-английски обе модели уточек нарисовали.

Я прогнал 12 русских промптов с подвохами через пять открытых моделей и посмотрел, где они ломаются, что помогает без переводчика и когда переводчик в графе ComfyUI всё-таки нужен.

Читать далее

Первый шаг к микроконтроллерам: введение в цифровые схемы

Уровень сложностиПростой
Время чтения19 мин
Охват и читатели9.9K

Хотите заняться микроконтроллерами, но не знаете, с чего начать? Эта статья — первый шаг. На макетной плате, без пайки, вы соберёте простейшие цифровые схемы на доступных микросхемах серии 155: инвертор, генератор импульсов, логический элемент 2И-НЕ, RS-триггер, счётчик и сдвиговый регистр. Разберётесь, чем логический ноль отличается от единицы, зачем нужен токоограничивающий резистор и как читать таблицы состояний. Никакого программирования — только «железо», кнопки и светодиоды, чтобы «пощупать цифру» руками.

Читать далее

ESP32 для начинающих: от логических микросхем к умному железу

Уровень сложностиПростой
Время чтения21 мин
Охват и читатели10K

В предыдущей статье “Первый шаг к микроконтроллерам: введение в цифровые схемы” вы познакомились с логическими микросхемами на примере серии 155 и собранных на них простых конструкций. Но чтобы сделать более или менее сложную схему, потребуется много таких микросхем. Для внесения изменений в логику работы придётся перепроектировать и перепаивать схему, а то и создавать её заново.

Современный подход к созданию цифровых схем предполагает применение микроконтроллеров и микрокомпьютеров. В этом случае логика работы задаётся программой, которую при необходимости можно очень быстро изменить.

Вокруг вас много «умных» вещей со встроенными микроконтроллерами. Это электрические чайники, стиральные машины и кондиционеры, детские игрушки, устройства умного дома. 

Для подключения внешних устройств у микроконтроллеров имеются линии ввода-вывода общего назначения General-Purpose Input/Output (GPIO). GPIO обычно используют для цифровых сигналов. В некоторых микроконтроллерах есть встроенные АЦП и ЦАП для работы с аналоговыми сигналами, но их точности иногда недостаточно — тогда применяют внешние модули. 

К порту GPIO можно подключать как простые устройства — кнопки и светодиоды, таки и сложные: дисплеи и радиомодули. Некоторые из них можно соединить с GPIO напрямую, для других нужны дополнительные модули. Например, с помощью реле можно управлять мощными нагрузками, а через специальные интерфейсные модули — различными электродвигателями. 

Но возможности современных микроконтроллеров не ограничиваются только обработкой сигналов. С их помощью обмениваются данными по сети, используя Wi-Fi и Bluetooth, создают веб-серверы и точки доступа (хот-споты) для подключения мобильного телефона к сети Wi-Fi вашего устройства. Через Wi-Fi, созданный в рамках хот-спота микроконтроллера, вы можете управлять устройством независимо от наличия интернета.

Читать далее

Задача «Бедный Йорик»: как добиться от локального синтеза речи переходов на шёпот, пауз и смены эмоционального регистра

Уровень сложностиСредний
Время чтения10 мин
Охват и читатели8.1K

Для ровной дикторской начитки локальных TTS-моделей сегодня хватает с запасом: подаёшь на вход чистый образец голоса, расставляешь ударения — и получаешь разборчивую озвучку для лекции, технической заметки или видеоинструкции.

Сложности начинаются, когда нужна не дикторская читка, а актёрская игра с широким эмоциональным диапазоном — чтобы внутри одного абзаца голос прошёл через горькую иронию, ком в горле, глухой шёпот на выдохе и резкий эмоциональный срыв. Компактные модели на 0,5B–1,7B параметров такие перепады сглаживают: нейросеть держит среднюю интонацию исходного образца и читает драматический монолог с тем же бодрым выражением, что и документацию к API.

Ниже расскажу, через какие грабли я прошёл, пытаясь решить эту задачу локально — от ручной правки высоты голоса в фонетическом пакете Praat до подбора актёрских референсов — и как с этим справляется вышедшая в конце октября 2026 года модель Fish Audio Drama 3 (35B-A3B MoE) в сравнении с младшей версией S2 Pro (4B).

Читать далее

Живая карта мозга нейросети: 48 слоёв, 512 экспертов, одна GTX 1070 + Strata + Qwen3.8-Flash-Next

Уровень сложностиСложный
Время чтения8 мин
Охват и читатели101K

В прошлых двух статьях я рассказывал, как запустить Qwen3.8-Flash-Next (125 млрд параметров) на старом железе и как снять программный потолок FP16 на видеокартах. Обе статьи были про железо и про то, что можно взять готовое и заставить работать. Эта - другая. Я залез внутрь самого движка (Strata), построил живую визуализацию того, что он делает с экспертами модели под капотом, попробовал ответить на вопрос “а эксперты реально специализируются по темам?” - и на середине пути поймал себя на методологической ошибке, которая чуть не привела к красивому, но неверному выводу. Расскажу как есть, с цифрами и без приукрашивания.

Что такое Strata и при чём тут эксперты

Strata - движок инференса для MoE-моделей (Mixture-of-Experts): вместо одной плотной сети у модели есть десятки экспертов на каждый слой, и на каждый токен активируется лишь небольшое подмножество (top-K). У Qwen3.8-Flash-Next, с которой я работал всю эту серию статей, это 48 слоёв по 512 экспертов - то есть 24576 отдельных “узлов”, из которых на каждом шаге реально считает лишь небольшая часть.

Проблема в том, что весь набор экспертов (сотни гигабайт) физически не влезает в 8ГБ VRAM моей GTX 1070. Strata решает это адаптивным кэшем: часть экспертов постоянно живёт в VRAM (самые “горячие”), остальные читаются из RAM или SSD по мере надобности, и кэш сам решает, кого держать резидентно, а кого вытеснять - на основе decayed-счётчика обращений к каждому эксперту.

Вся эта механика раньше была для меня чёрным ящиком: я видел только агрегированные цифры в мониторинге (сколько экспертов в VRAM, hit rate). Захотелось увидеть её изнутри.

Читать далее

За пределами вайбкодинга: фундаментальная база программной инженерии

Уровень сложностиСредний
Время чтения21 мин
Охват и читатели111K

В последние пару лет порог входа в разработку изменился навсегда. С появлением Cursor, Claude Code, GitHub Copilot и больших языковых моделей родился феномен «вайбкодинга» (vibe coding): ты набрасываешь мысли в чат на естественном языке, ловишь ощущение потока, нейросеть за секунды генерирует компоненты, скрипты, роуты API — и все это действительно запускается в браузере.

Для пет‑проектов, прототипов на хакатонах и быстрой проверки продуктовых гипотез это потрясающий инструмент. Спорить с этим глупо: скорость черновой сборки выросла в разы. Но у этой легкости есть опасная цена: иллюзия, что генерация синтаксически корректного кода — это и есть разработка программного обеспечения.

В реальности код — лишь самый дешевый и поверхностный артефакт. Настоящая программная инженерия (Software Engineering) начинается там, где сгенерированный код встречается с суровой физической действительностью...

Читать далее

Я написал сервер, фронтенд и расширение Chrome на Rust. Стоило ли оно того?

Уровень сложностиСредний
Время чтения11 мин
Охват и читатели8.6K

Rust давно был моим любимым языком для пет-проектов, но до полноценного веб-приложения дело дошло только сейчас. В статье расскажу, каково разрабатывать на Leptos, где действительно пригодился общий код и с какими неудобствами пришлось столкнуться.

Читать далее

Как изучить с 0 алгоритмы и структуры данных — для тех, кто не проходил, через олимпиады

Время чтения6 мин
Охват и читатели8.4K

Алгоритм изучения алгоритмов и структур данных с 0 — рекоммендации бесплатных ресурсов для практики и онлайн курсов.

Читать далее

Как я открыл Китайский кошелек Alipay находясь в России и оплатил DeepSeek Api

Уровень сложностиПростой
Время чтения2 мин
Охват и читатели35K

Статья будет полезна не только пользователям DeepSeek API. Она пригодится тем, кто покупает на Taobao, Tmall и 1688, и тем, кто собирается в Китай: там через Alipay можно оплатить метро и транспорт, билеты, отели и многое другое. Для вашей конкретной ситуации уточняйте отдельно — нюансы возможны.

Читать далее

Почему Илон Маск может, а наши ОПСОСы — нет?

Уровень сложностиПростой
Время чтения6 мин
Охват и читатели15K

В последнее время под эгидой противодействия беспилотным летательным аппаратам (БПЛА) регуляторы и экстренные службы все чаще прибегают к радикальному методу — тотальному отключению мобильного интернета в масштабах целых регионов или принудительному переводу сети на работу по жестким «белым спискам».

Только за август–октябрь 2026 года волны масштабных сбоев мобильной передачи данных накрыли Москву, Санкт-Петербург, Самару, Новосибирск и ряд других регионов. В периоды ограничений со стороны операторов (МТС, МегаФон, Билайн, Tele2) полностью парализуется городская цифровая среда: бизнес несет критические убытки из-за неработающих онлайн-касс, встает логистика, службы доставки, системы мониторинга транспорта и каршеринг, а граждане не могут банально воспользоваться банкингом или оплатить проезд.

Официальная позиция ведомств непреклонна: ограничения связаны с оперативной работой спецслужб по предотвращению угроз и противодействию БПЛА, которые используют коммерческие SIM для корректировки наведения.

Но давайте посмотрим на проблему глазами сетевого инженера. С точки зрения архитектуры сетей и принципов автономной навигации, тотальная блокировка интернета — это не просто деструктивный шаг. Это признание собственной технической беспомощности.

Главное заблуждение чиновников, отдающих приказы «выключить рубильник» — вера в то, что дрон постоянно «сидит в интернете» во время полета и качает оттуда карты или команды управления. На самом деле мобильный интернет (маршрутизация пользовательского IP-трафика) не нужен БПЛА на протяжении более чем 95% его маршрута.

Читать далее

67 логических и когнитивных ошибок

Уровень сложностиПростой
Время чтения66 мин
Охват и читатели10K

Достаточно, часто при коммуникации Вам, мой читатель, встречались манипуляции из разряда "сегодня в школу не пошел, завтра в университет, потом на работу не устроишься и тебя аннигилируют на Солнце", ну или "мир существует потому что есть растения, растения существуют потому что есть мир" и прочие такие приколы. Нутро подсказывает, что что‑то тут не так, и есть инструменты позволяющие разобраться в этом лучше. Причём стоит понимать, что логика она нужна и может быть везде: в речи, в программировании, в электрике и сантехнике, поэтому нужно начать хотя бы с суждений.

В этой публикации: 67 логических ошибок и когнитивных искажений, немножко вводных и в конце немного инструментов, надеюсь Вы будете уничтожать софистику в нашей работе, чтобы было меньше манипуляций на рабочем месте. Не пытайтесь её читать за раз, но если попытались, удачи, обнял-приподнял, материал копился достаточно давно :3

В примерах будут и рабочие кейсы и жизненные, смешнявки-шизокартинки, а также местами пояснения. Погнали!

Читать далее

Прод лежит, а CPU, память и диск в порядке: 5 причин, о которых не думаешь

Уровень сложностиПростой
Время чтения10 мин
Охват и читатели8.4K

Алерт: сайт лежит, а CPU, память и диск в норме. Разбираю пять причин, которых не видно на стандартном дашборде: inode, лимит файловых дескрипторов, ушедшие часы, DNS и протухший сертификат. Для каждой — как выглядит, чем найти, как починить и что добавить в мониторинг.

Читать далее

TG — опенсорсный локальный парсер Телеграма

Уровень сложностиСложный
Время чтения15 мин
Охват и читатели10K

Telegram-parser (github) — это открытый некоммерческий local-first инструмент для выгрузки и аналитики комментариев Telegram-каналов в структурированный, пригодный для анализа датасет прямо на компьютере пользователя, без облачных посредников.

Большинство каналов в Telegram — это не только посты, но и оживлённая «параллельная» жизнь вокруг них в чатах тг-каналов, где агрегируются комментарии к постам, формируются ветки обсуждений с реакциями, стикерами, ответами, упоминаниями, ссылками и мультимедиа. Эта живая активность часто ценнее самого поста — это то, что делает каналы и коммьюнити в Телеграме по-настоящему живыми.

Проблема в том, что Telegram не даёт удобных инструментов, чтобы забрать эти данные одним куском и проанализировать их. Штатный экспорт чатов ограничен, привязан к ручным действиям и не масштабируется на десятки каналов.

Читать далее

Прощай, setTimeout(0): как современный Web API управляет приоритетами задач и разгружает главный поток

Уровень сложностиСредний
Время чтения9 мин
Охват и читатели6.6K

Представьте ситуацию: человек полчаса собирал важный отчёт в веб-таблице или подбирал сложную комбинацию фильтров, нажимает «Сохранить» или «Применить» — и страница намертво замирает. Курсор превращается в колесико, меню не открывается, скролл не работает. В голове пользователя сразу паника: «Всё зависло? Мои данные пропали? Нажать ещё раз? Перезагрузить страницу?!»

Ему абсолютно всё равно, что под капотом в этот момент браузер пересчитывает 500 000 записей. Если страница не реагирует на клик — приложение кажется сломанным.

Почему так происходит? Однопоточный Main Thread наглухо заблокирован вычислениями. Но как дать браузеру возможность реагировать на действия человека, не останавливая сам расчёт?

Мы собрали бенчмарк и на реальных профилях из DevTools сравнили современные подходы для освобождения main thread. Внутри — результаты замеров, трассировки Event Loop и ответ на вопрос, как сохранить полную отзывчивость интерфейса при различных нагрузках.

Читать далее

Код будущего: Хабр и Сбер запускают новый сезон статей о роли ИИ в создании ПО

Время чтения7 мин
Охват и читатели40K

Искусственный интеллект в IT из экспериментального инструмента превратился в рабочий: он меняет роли в командах и заставляет пересматривать привычные подходы. Компании всё меньше обсуждают, полезен ли ИИ при разработке ПО. Вместо этого они думают, как лучше интегрировать его в процессы. Это, пожалуй, самая значительная трансформация отрасли за последние несколько лет, и мы хотим увидеть её через призму вашего опыта.

Поэтому Хабр совместно со Сбером запускают новый сезон статей «Код будущего», в котором вы сможете рассказать о своей практике использования ИИ в создании ПО и взаимосвязи ИИ и open source. Сезон продлится с 11 сентября по 11 ноября 2026 года. Под катом — все подробности: тема, сроки, правила.

Читать далее

OCC-RAG: компактные модели, которые отвечают только по источникам

Уровень сложностиСредний
Время чтения11 мин
Охват и читатели16K

Привет, Хабр! На связи команда Optimal Cognitive Core (OCC) из AIRI. Развитие языковых моделей в последние годы определяется масштабом: каждое новое поколение вмещает в веса всё больше знаний о мире. Но огромная доля практических задач выигрывает тогда, когда модель демонстрирует не свою энциклопедичность, а способность рассуждать и анализировать предоставленный контекст. Из этого наблюдения и выросло OCC — наше семейство компактных языковых моделей (SLM), которые имеют сильные когнитивные способности, не обладая при этом большим багажом «вызубренной» информации.

В этой статье расскажем о первой модели нашего семейства, OCC‑RAG, которая оптимизирована под задачу контекстного Q&A. Мы выложили два чекпойнта, OCC‑RAG-0.6B и OCC‑RAG-1.7B (плюс ONNX‑ и GGUF‑сборки). При размере 0.6 и 1.7 млрд. параметров, соответственно, они отвечают на равных или лучше моделей общего назначения, которые в 2–6 раз больше, а по верности контексту показывают лучший результат среди моделей до 32B. Внутри — как устроена модель, как мы её обучили и что в итоге получилось.

Читать далее

vLLM, LoRA и GPU-кластеры: техническая анатомия обогащения поисковой выдачи Авито мультимодальными моделями

Уровень сложностиСредний
Время чтения7 мин
Охват и читатели9.1K

Привет, Хабр! Меня зовут Кирилл Нетреба, я Backend-ML-инженер в Авито. В этой статье я разберу, как мы научили платформу отыскивать нужные пользователю объявления, даже если в них нет соответствующего запросу текста. Мы препарируем связку из Qwen2.5-VL, фреймворка vLLM и LoRA-адаптеров, а также заглянем в бэкенд-инфраструктуру, которая переваривает миллионы обновлений в сутки без деградации latency.

Это история о том, как в эпоху, когда традиционный полнотекстовый поиск бессилен перед лаконичностью пользователей, ему на помощь приходит машина, обученная на изображениях и языке.

Читать далее
1
23 ...

Информация

В рейтинге
Не участвует
Зарегистрирован
Активность