Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Поток AI и ML доступен 24/7 благодаря поддержке друзей Хабра
Комментарии 42
Обычно при таких результатах сразу подозрение не попали ли тестовые данные в обучение, и часто оказывалось что так и есть)
Меняет правила, меняет будущее, мир никогда не будет прежним, новая реальность шокирует. Вообщем bull shit
как к этой модели добавить возможность работы с поиском в интернет? там написано "+30% к производительности на некоторых тестах (особенно на function/tool calling", т.е. поиск в интернете - это ж tool calling. т.е. можно сделать локальный веб-помощник
Зависит от того, как вы это хотите реализовать, и реализовать самостоятельно или через готовые опенсорс решения.
Через готовые - первое что приходит на ум это Perplexica. Это уже готовое решение с веб-поиском через SearXNG, которое разворачивается через Docker. Запускается Docker, запускаете модель, указываете адрес на ваш порт на котором модель - готово, у вас локальная имитация Perplexity.
Если же самому - то тут пространство для решения задачи полностью свободное. Если запускаете локальные модели, например, через LMStudio, то в него недавно добавили поддержку MCP серверов (их вызов тоже по-сути tool calling), поэтому можно на том же SearXNG сделать MCP сервер, локально захостить и подключить в LMStudio. Но тогда еще понадобится скрейпер чтобы доставать содержание страниц (в Perplexica он уже есть), так как SearXNG не отдает содержание страниц, только ссылки и очень краткое содержание.
15 человек кто пользуется такими маленькими моделями локально - напишите если не сложно - в каких случаях вы их используете?
Да, тоже уже увидел публикацию про экспериментальную версию LFM2. Тоже интересные модельки, но у них ключевая особенность немного в другом - LFM2 это гибридные модели, не чистые трансформеры.
Они заметно дешевле с ростом контекста, так как сложность вычислений у них растет линейно, а не квадратично, как у классических трансформеров, но точность понимания контекста сильнее хромает.
На lmarena ее не нашел. Есть сервисы где ее пользователи сравнивают между лидерами?
Такая маленькая нишевая модель вряд ли будет на lmarena. Там обычно только крупные и значимые релизы крутятся. Поэтому скорее всего самим прогонять на тестах придется для проверки соответствия всем заявлениям.
Я как раз на текущий момент, чисто из эксперимента, сижу тестирую свой набор тестов на tool calling для локальных моделей, поэтому, вероятнее всего, в следующей статье поделюсь результатами своих тестов.
Мне для программирования микроконтроллеров надо, пока только гемини 3 про(статью написал по кейсу) реально что-то толковое дают, мечтаю когда настольные машины дадут результат схожий. На i5\16гб\ nvidia1050ti. Или на новом ПК за 1000долларов. Какой прогноз когда такое может выйти?
Ой, сам вот немногим больше полгода как влился в тему LLM и удивлен тому как сильно приросли за это время результаты моделей, которые реально запустить дома. Но до уровня Gemini 3 Pro или хотя бы, чтобы их можно было использовать для написания хоть сколько-нибудь внятного кода при размере менее 8B наверное еще год точно придется подождать, если даже не больше.
С другой стороны, если у вас есть конкретная задача - программирование микроконтроллеров, то под это дело можно попробовать дообучить целенаправленно небольшую модель.
Например, точно знаю, что есть LLM целенаправленно обученная делать SLQ запросы и за счет того, что она сделана под конкретную задачу - она и вправду в этом хороша.
Я натыкался в гемини3 на то что свыше 1000 строк кода она уже не переваривает. По дообучению локальной модели данными - мне надо весь гитхаб по одному мк, esp32 к примеру, тогда скормить, и даташитов на всю периферию еще столько же - тогда может и будет жизнеспособно. Я почему про лмарена спросил - там есть четкие метрики, когда локальные модели достигнут уровня гемини3 в кодировании - тогда я себе готов ставить на персоналку. Квен3 макс еще неплоха, но у гуглей лучше код пишет.
Да, в вопросах кода топы действительно имеют колоссальный разрыв с локалками, особенно на совсем ограниченном железе.
У меня в планах на будущее есть идея дообучать маленькие модели на своем железе, поэтому если однажды руки дойдут и что-то толковое будет получаться, то, если память не подведет, может свяжусь с вами и поэкспериментируем :)
Я чекнул - по качеству модель значительно хуже Qwen3-Coder 30B MoE, но зато шустренькая (31 T/s на RTX 5060 Laptop).
Да, на 5060 явно будет шустрее, так как qwen 30b просто целиком не влазит на 5060 и потому становится очень медленным из за частично выгрузки на ram, несмотря на то, что активных параметров тоже всего 3b.
Но на самом деле я практически уверен, что на реальных, а не академических задачах, в кодинге эта моделька практически бесполезна, за исключением написания базовых python скриптов, которых хватит для вводного обучения языку. 3b все таки все еще очень маленький размер, даже при хорошем обучении, текущая архитектура llm не позволит прыгнуть сильно выше головы.
Ну, на RTX 5060 30B MoE тоже шустро работает - 21 T/s при 64K контекста FP16 в VRAM. Сама модель - Q4_K_M
Ну такое себе. Обычно всем моделям задаю один и тот же первый вопрос: "Расскажи о произведении "Собачье сердце"".
Ответ Nanbeige_Nanbeige4-3B-Thinking-2511:
«Собачье сердце» («Гамлет», или Трагедия Кемероса в Тридесятом дне») — классика English Literature Дж.С.Шекспира (1561–1616), написанная в 16 веке. Это драма о любви, предательстве и борьбе индивидуального помысла с обществом догм. Вот ключевые аспекты произведения:
Сюжет
Действие разворачивается в «Трёхдесятом дне» (предположительно, март 1599 г.), в атмосфере юности и нарастающего напряжения. Главный герой, Гамлет (воена гильдию), благодаря предательству коронации Ульриана, погибает, а его скромная сестра Крымонюха (Якс-двинни), богатой и самоучка, приглашает его к себе. Её богатое состояние и независимость вдохновляют Гамлета на осознанное жизнь. Однако их любовь сталкивается с жестоким конфликтом: мать Крымонюхии Якс-двинни — эмоциональная и интеллектуальная гениальность, но она запрещает связь, требуя, чтобы Гамлет возглавил её «журх» и сбежал от общества. Подросток, отвергнутый обеими мирами, отправляется в погоню к Гамлету-пророку в Ситце.
В финале Гамлет жертвует собой, приняв удар током, чтобы спасти душу Крымонюхии, но его душа оживает во Втором Мире. Сын Ювирдо берет его за колени, а сама Крымонюха умирает, узнавая, что сын стал «Кемеросом». Её душа ощупывается Гамлетом-пророком 1601-го года, предсказывающим конец эпохи Рима.
И т.д. ... в общем, лучше больше, но лучше...
Это крайне некорректный подход к тестированию.
Модели не обязаны знать все на свете. Данная модель, если вчитаться в логику ее обучения, была ориентирована на математику, науку и вызов инструментов. Ни в одном из этих сценариев нет знания литературы.
Я больше скажу. И огромные модели не будут знать всех произведений и уж тем более их деталей. Для этого есть RAG.
Модели не могут знать того, на чем не обучались. А целенаправленно загружать в модели целые произведения - бессмысленно, это просто раздувание объема информации, которая просто даст знание книги, но не практических навыков.
Если уж планируете проверять на литературность - давайте моделям фрагменты и просите их перефразировать или сделать какие-то выводы/анализы по тексту. Вот тогда вам действительно будет что сравнивать.
Ахахах, интересное поведение. У меня такого ещё не было :)
на бенчмарке WritingBench и вовсе держится на уровне проприетарных моделей занимая место между Gemini-2.5-Pro и Deepseek-R1-0528.
Вот Gemini 2.5 Pro:
Бред конечно. Начиная с того что пол Алисы не озвучен, заканчивая тем что сестры Алисы не обязательно являются сестрами ее брата.
Но это беда всех подобных задач.
А это Q6.
Вывод: фтопку
Ну во-первых вы тестируете все же на локальном железе, пусть и доказано что Q4 имеет минимальные потери по сравнению с Q8, потери все же есть.
Во-вторых, пусть и слово разбираете английское, инструкции все же на русском, что создает для модели сложности для работы, так как русский явно для нее не основной язык и она может хуже понимать задачу.
В-третьих, морфологический разбор слов это не написание текстов. Как и в примере выше с "Собачьим сердцем", разбор слов это 100% не целевая задача обучения данной модели.
Не нужно ожидать от всех подряд моделей решения всех ваших задач :) Для узких задач используйте специализированные модели.
Еще два момента важных:
Большинство моделей оптимизированы для работы через vLLM, LMStudio, скорее, удобный, но не лучший вариант.
Судя по тому, что у вас на втором вопросе модель напрочь забыла поставленную задачу, подозреваю, что вы ей дали очень маленький контекст, а потому пока она думала, она уже забыла задачу.
К сожалению в локальном запуске на потребительском железе есть огромное количество "НО", которые не позволяют воспроизвести результаты бенчмарков и в ближайшее время, я скорее всего, об этом напишу.
пусть и слово разбираете английское, инструкции все же на русском, что создает для модели сложности для работы, так как русский явно для нее не основной язык и она может хуже понимать задачу.
Для проверки этой гипотезы и была задана первая задача попроще на русском.
Но если вы настаиваете, вот вам на английском:
Такой же результат. Такой же вывод: фтопку!
Не знаю, что с вашей моделью не так :)
Моя с первого запроса ответила что 3.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Маленькая модель обыграла большие: почему Nanbeige4-3B меняет правила игры