LM Studio есть очень полезная функция - при загрузке модели она автоматически подсказывает версию с оптимальной квантизацией для вашего железа
в Hugging Face в профиле можно ввести своё железо, а потом в карточке модели видеть, какое квантование влезет в GPU (зелёная точка), а какое - нет (красная).
так пишет какая-нить LLM, обученная на данных до ноября 2024 года (когда у LLama.cpp вышел уже нормальный Web UI)
В апреле 2026, Web UI у llama.cpp - быстрый, функциональный, с поддержкой переключения моделей, подключения MCP серверов, истории чатов и других настроек.
Хорошая статья. На мой взгляд, наглядно показывающая, что LLM - не магия, а инструмент. И использовать его нужно так же, как и раньше, про любом улучшении бизнес процесса. Типа
понять, какие метрики мы улучшаем, выраженное через измеряемое (быстрее, дешевле, надежнее), а не абстрактное "удобнее".
метрики контроля процесса и результата
стоимость внедрения всего этого (ожидаемая, понятно)
Количество часов на русском для до-обучения прямо радует. Качество генерации - на отлично, акцента нет, знаки препинания держит. Жаль, что ударения через "+" поставить нельзя на омографы. Заявлена поддержка phonemes, но не указан формат.
И API ни у кого не бесплатный. Если делаешь что-то своё, надо или платить за токены, или ставить локально. Так что "доступ в интернет" не решает всех проблем.
Это - вполне рабочее решение. Проверено на себе. (не сейчас, 10+ лет назад) И да, поначалу жутко бесила необходимость писать java/c/псевдо код на бумаге. Но по факту - было намного более продуктивно, чем первая "вышка" за 10 лет до того, с красивыми распечатками "самостоятельных" работ.
И нет универсального алгоритма определения "ключевых вопросов". Особенно в отрасли, где каждый год вносит существенные коррективы в индустрию.
dotnet (hosted app), на базе https://github.com/microsoft/agent-framework. В идеале, если сильно тормозить не будет - положу на старенький rPI 3b. Общение - телеграм бот. У агента есть доступ к дом. сети, sqlite для памяти и фактов, web поиск, напоминалки (разовые и и по графику). Это то, что уже есть. Еще в хотелках добавить аналитики по своим документам через RAG, тут я еще думаю о вариантах.
для оценки полученных знаний есть решение простое и очевидное. Повысить веса и частотность письменных работ. Тогда и разницы особой не будет как писалась "домашняя" работа - если студент имея только бумагу и ручку хорошо отвечает на ключевые вопросы - знания есть.
спасибо за статью, за открытый код и отдельное - за реализацию не на питоне.
проголосовал за крон-таски - и безопасно, и несложно в реализации и добавляет функционала. Но это - со стороны стороннего наблюдателя, я, пользуясь постулатом "написать агента может каждый", - пишу своего, под себя.
задачи, типичные для руководителя среднего звена (команда 5–30 человек). Промпты написаны так, как пишет реальный менеджер – без оптимизации, без специальных техник. Это показывает, как инструмент работает при повседневном использовании.
Я бегло просмотрел странице, но не нашел, примеров самих вопросов. Есть ли где-то список (или пример) тестовых заданий?
Меня зовут [неважно], я бизнес-аналитик. Моя работа — писать ТЗ, рисовать процессы в BPMN, ругаться с разработчиками из-за неправильно понятых требований и пить кофе на стендапах. За 5 лет в профессии я не написал ни одной строчки кода. Ни одной. Даже Hello World.
В начале 2026-го я поймал себя на мысли, которая наверняка посещала каждого бизнес-аналитика: «Я точно знаю, что нужно сделать. Я подробно описываю как это должно работать. Единственное, чего я не могу — написать код». А потом я прочитал очередной пост про то, как кто-то с помощью ИИ создал приложение за выходные, и подумал: а что если моя профессия — это и есть идеальная подготовка к работе с ИИ-ассистентами?
Мен зовут... когда бизнес аналитику нужно реализовать, то что он оформил. В общем, я - программист.
За 25 лет в профессии я написал хренову тучу всяких юзер-сториз, эпиков, фич, - то есть ТЗ разных размеров.
И конечно, я тоже ловил себя на мысли, "Я точно знаю, что нужно сделать, как это должно работать". Более того, я еще и знаю, как это реализовать.
Получается - я "всё в одном"? Не просто "подготовка к работе с ИИ-ассистентами", а уже "готовка"!
Отдельно можно было бы упомянуть про обилие прогнозов, большая часть из которых не сбывается, а оставшаяся - сбывается намного быстрее и совсем не так, как ожидалось.
Статья несколько сумбурная (я далеко не сразу понял куда клоните) с весьма броским заголовком, что агенты - никому не нужны. Сделали бы в начале введение, что речь от "ИИ Агенте" (в кавычках), как маркетинговом термине для не IT аудитории.
в Hugging Face в профиле можно ввести своё железо, а потом в карточке модели видеть, какое квантование влезет в GPU (зелёная точка), а какое - нет (красная).
Скрытый текст
так пишет какая-нить LLM, обученная на данных до ноября 2024 года (когда у LLama.cpp вышел уже нормальный Web UI)
В апреле 2026, Web UI у llama.cpp - быстрый, функциональный, с поддержкой переключения моделей, подключения MCP серверов, истории чатов и других настроек.
Хорошая статья. На мой взгляд, наглядно показывающая, что LLM - не магия, а инструмент. И использовать его нужно так же, как и раньше, про любом улучшении бизнес процесса. Типа
понять, какие метрики мы улучшаем, выраженное через измеряемое (быстрее, дешевле, надежнее), а не абстрактное "удобнее".
метрики контроля процесса и результата
стоимость внедрения всего этого (ожидаемая, понятно)
Количество часов на русском для до-обучения прямо радует. Качество генерации - на отлично, акцента нет, знаки препинания держит. Жаль, что ударения через "+" поставить нельзя на омографы. Заявлена поддержка phonemes, но не указан формат.
И API ни у кого не бесплатный. Если делаешь что-то своё, надо или платить за токены, или ставить локально. Так что "доступ в интернет" не решает всех проблем.
... в рамках настроенной цензуры/безопасности.
а вот Uncensored модель в локальной установке, можно спрашивать о чем хочешь.
можно даже и без службы, просто postmessage / sendmessage через старый ламповый Inter-Process Communication (IPC)
(ред: пропустил детали, "просто", при такой задачи не получится).
Это - вполне рабочее решение. Проверено на себе. (не сейчас, 10+ лет назад) И да, поначалу жутко бесила необходимость писать java/c/псевдо код на бумаге. Но по факту - было намного более продуктивно, чем первая "вышка" за 10 лет до того, с красивыми распечатками "самостоятельных" работ.
И нет универсального алгоритма определения "ключевых вопросов". Особенно в отрасли, где каждый год вносит существенные коррективы в индустрию.
я опоздал на 3 минуты, чтоб он был первым комментом, было бы красивее...
так-то в https://habr.com/ru/docs/companies/design/ отдельной стройкой советуется Типограф как раз для длинных тире.
dotnet (hosted app), на базе https://github.com/microsoft/agent-framework. В идеале, если сильно тормозить не будет - положу на старенький rPI 3b. Общение - телеграм бот. У агента есть доступ к дом. сети, sqlite для памяти и фактов, web поиск, напоминалки (разовые и и по графику). Это то, что уже есть.
Еще в хотелках добавить аналитики по своим документам через RAG, тут я еще думаю о вариантах.
для оценки полученных знаний есть решение простое и очевидное. Повысить веса и частотность письменных работ. Тогда и разницы особой не будет как писалась "домашняя" работа - если студент имея только бумагу и ручку хорошо отвечает на ключевые вопросы - знания есть.
Заодно и запоминать материал стимула больше.
спасибо за статью, за открытый код и отдельное - за реализацию не на питоне.
проголосовал за крон-таски - и безопасно, и несложно в реализации и добавляет функционала. Но это - со стороны стороннего наблюдателя, я, пользуясь постулатом "написать агента может каждый", - пишу своего, под себя.
AI;DR
Я бегло просмотрел странице, но не нашел, примеров самих вопросов. Есть ли где-то список (или пример) тестовых заданий?
Хотел попробовать, было интересно качество STT, но программе нужен Soniox API и нет опции просто транскриптера.
Скажите, вы просто направляете поток в распознавалку или сами бьете на фразы по паузам?
Надо все делать хорошо и не делать плохо. Читать белую книгу и не читать черную. И все, человечество в безопасности.
Спасибо за мудрые мысли, записал в книжечку.
Мен зовут... когда бизнес аналитику нужно реализовать, то что он оформил. В общем, я - программист.
За 25 лет в профессии я написал хренову тучу всяких юзер-сториз, эпиков, фич, - то есть ТЗ разных размеров.
И конечно, я тоже ловил себя на мысли, "Я точно знаю, что нужно сделать, как это должно работать". Более того, я еще и знаю, как это реализовать.
Получается - я "всё в одном"? Не просто "подготовка к работе с ИИ-ассистентами", а уже "готовка"!
Отдельно можно было бы упомянуть про обилие прогнозов, большая часть из которых не сбывается, а оставшаяся - сбывается намного быстрее и совсем не так, как ожидалось.
Статья несколько сумбурная (я далеко не сразу понял куда клоните) с весьма броским заголовком, что агенты - никому не нужны. Сделали бы в начале введение, что речь от "ИИ Агенте" (в кавычках), как маркетинговом термине для не IT аудитории.