Комментарии 20
Супер!
А какой размер модели yagpt light 5? есть бенчмарки опенсорсной на 8b? а по тексту выглядит так, будто именно эта крутая модель выложена в опенсорс
>Изначально наша лицензия допускала свободное использование только в исследовательских и образовательных целях. Мы решили внести изменение в эту часть: теперь модель можно использовать ещё и в коммерческих проектах при условии, что они укладываются в 10 миллионов исходящих токенов в месяц.
Это все-таки не совсем опенсорс.
Интересно, как это соотносится с тем, что структура этой модели такая же, как у Llama 3.1 8b и различается только в обучении и токенизаторе. Не будет ли проблем с Llama 3.1 community licence agreement, с учетом того что принадлежность к семейству llama не указана в описании, а код используется?
Мы выбрали архитектуру и размерности слоев в соотстветствии с внутренними замерами. Действительно, она довольно похожа на архитектуру Llama, как и многие другие трансформерные модели — если конкретная архитектура показывает SOTA качество, странно ее не использовать.
Кроме того, мы считаем, исходя из текста лицензии, что лицензия Llama распространяется на веса Llama и код, а не на архитектуру, то есть то, какой размерности матрицы и сколько слоев.
8b это конечно прямо верх щедрости.
Мои личные тесты касаются сео, рифмы, юмора. Всякие ламы, квены, мистрали вообще ни о чём, Джемма3 12B золотой стандарт и пока лидер. Модель Яндекса тоже хороша в СЕО на русском языке. Собственно, сильного прогресса нет, но с другой стороны, мы можем пользоваться LLM, не уступающей ChatGPT 3.5 у себя на компе. Запускаю через Jan.
Здорово! Просьба и на ollama.com тогда залить.
Так она уже там
https://ollama.com/yandex/YandexGPT-5-Lite-8B-instruct-GGUF
а есть ли вариант через transformers загрузить модель? с llama какие-то жуткие заморочки и требования к софту для C++
Конечно. На странице модели описано, как запустить через HF Transformers https://huggingface.co/yandex/YandexGPT-5-Lite-8B-instruct
может тогда через docker model распространять
У huggingface готовая инфраструктура, модели, которые поддерживает vllm (а оно поддерживает много, в т.ч. yagpt) даже загрузят автоматически (но лучше использовать штатную утилиту huggingface-cli), готовые примеры сами все загружают (максимум заморочиться с корректными версиями и зависимостями, но это проблема более глобальная чем ИИ) и работают из коробки
Ну что, позапускал эти ваши LLM-модели на своем компьютере, и вот что у меня получилось:
Задавал всем один и тот же вопрос:
Расскажи о пластинке "Майк и Аквариум: 20 октября 1980, Москва". 2LP ... Она вышла недавно, стоит покупать? Ты слышала о Майке и Аквариум?
YandexGPT 5 Lite 8B Instruct (8,04 млрд. параметров)
Заявлена как версия, которая "вплотную приблизилась к аналогам (Llama-3.1-8B-instruct и Qwen-2.5-7B-instruct) и превосходит их в ряде сценариев, в том числе — в знании русской культуры и фактов". Модель свежая (2025-03-28) и это самая-самая легкая и упрощённая версии от того, что у Яндекс в продакшен.
Ответ от LLM:
К сожалению, у меня нет конкретной информации о пластинке «Майк и Аквариум: 20 октября 1980, Москва» в формате 2LP. Чтобы узнать подробности о пластинке, рекомендую обратиться к музыкальным изданиям или интернет-магазинам, специализирующимся на продаже музыкальных записей. Также можно проверить музыкальные форумы и сообщества в социальных сетях, где любители музыки обсуждают релизы и делятся впечатлениями.
«Аквариум» – это известный музыкальный коллектив, основанный Андреем Вадимовичем «Мамой» Макаревичем. Группа существует с 1972 года и выпустила множество альбомов. Однако у меня нет информации о том, есть ли в дискографии «Аквариума» пластинка с названием «Майк и Аквариум: 20 октября 1980, Москва».
Если вы хотите узнать, стоит ли покупать эту пластинку, вам следует изучить отзывы и рецензии на неё, а также сравнить цену с другими доступными вариантами. Это поможет вам принять обоснованное решение о покупке.
Не буду комментировать знаний русской культуры и фактов от YandexGPT. К счастью про все остальное она честно ответила "не знаю", "нет информации" и "иди и сам найди все в этих своих интернетах"... добавлю только, что на четырех ядрах скорость очень хорошая: 10,14 токенов в секунду. В процессе прочитала 4,64 Tb с диска (это я пытался оценить "износ" SSD, так как существуют модели размером с терабайт и более, и такие модели в память не поместятся, будут читаться и перечитываться с диска, и я боялся, что это может сильно снизить ресурс SSD).
Argilla CapyBaraHermes 2.5 / Мistral 7b (7,24 млрд. параметров)
Модель от начала марта прошлого года и очень легкая. Я взял версию с меткой "очень большая, экстремально низкое качество, не рекомендовано" -- просто, чтоб поржать... но в моем случае это оказалась самая вменяемая из всех CapyBaraHermes 2.5 моделей.
Ответ от LLM:
"Майк и Аквариум: 20 октября 1980, Москва" - это двойной живой альбом, записанный на концерте в Москве 20 октября 1980 года. Альбом был выпущен недавно, в 2021 году, и состоит из двух пластинок (2LP). Этот выпуск примечателен тем, что содержит записи с выступления Майка Науменко и группы Аквариум, которое считается одним из лучших и самых энергичных в истории российского рока.
Майк Науменко (1957-1989) был советским рок-музыкантом, автором песен и поэтом, который сыграл важную роль в развитии российского рока. Группа Аквариум, которую он основал, стала одной из самых влиятельных и успешных групп в Советском Союзе. Музыка Майка и Аквариума была известна своим экспериментальным подходом, смешением разных стилей и качественным исполнением.
Если вы интересуетесь советским роком, музыкой Майка Науменко и группы Аквариум, то "Майк и Аквариум: 20 октября 1980, Москва" стоит взглянуть. Этот концертный альбом показывает живую энергию и талант Майка и его группы, и представляет собой важную часть музыкальной истории России. Однако, стоимость пластинок и ваше личное мнение о советском роке будут факторами, которые помогут определить, стоит ли покупать этот альбом или нет.
На тех же четырех ядрах -- 8,42 токенов в секунду. С диска прочитано 7,7 Tb. Уровень ответа вполне приемлемый. Попробовал на этой моделе делать переводы с английского на русский, и результат тоже вполне на уровне (за исключением перевода имен собственных). Кажется модель можно запросто запустить на микро-компьютере уровня Orange Pi 5 Plus (и когда-нибудь я это сделаю).
Кстати, если интересно, что выдала "рекомендованная, лучшая по качеству модель" (Q4_0), то вот её вдохновенный бред:
"Майк и Аквариум: 20 октября 1980, Москва" - это концертный альбом рок-группы Аквариум с участием Мика Хари, записанный 20 октября 1980 года на концерте в Москве. Альбом вышел в 2019 году в виде двухLP и состоит из 18 треков, в том числе кавер-версий известных песен и собственных композиций.
Альбом представляет собой уникальное музыкальное событие, поскольку это единственный записанный концерт Мика Хари с Аквариумом. Майк Хари (Микаэль Карлович Юргенсон) был известным финским рок-музыкантом, сочетавшим в своей музыке элементы рока, поп-музыки и этнической музыки. Он был известен своим уникальным вокальным стилем и энергичными выступлениями на сцене.
Аквариум – российская рок-группа, основанная в 1972 году Борисом Гребенщиковым. Группа славится своим нестандартным подходом к музыке и текстам песен, в которых затрагиваются различные актуальные темы.
Состав альбома:
Диск 1:
1. Вступление
2. Зеркала
3. Как волшебный кулак
4. Сказка о заколдованном лесу
5. Танго о любви и смерти
6. Волшебный сад
7. Зима в Нью-Йорке
8. Эй, что за музыка, детка?
9. СчастьеДиск 2:
1. Зеркала (2-я часть)
2. Люди и звери
3. Музыка
4. Океан
5. Океан (2-я часть)
6. Я тебя тоже люблю
7. Вспоминая тебя
8. ЭпилогЕсли вы интересуетесь музыкой Мика Хари и Аквариума, или просто любитель концертных альбомов, этот диск стоит покупки. Он содержит удивительные музыкальные композиции, записанные на одном из самых ярких и памятных концертов в истории рок-музыки.
Если бы не полностью вымышленный Микаэль Карлович Юргенсон и трогательный плейлист из 18 треков, из которых в списке всего 17 -- то смеялся бы я не так долго. А скорость примерно такая же и износ SSD тоже.
DeepSeek V3 0324 BF16 (671,03 млрд. параметров)
Это полноценная DeepSeek V3 145B (но BF16-квантизованная). Я ожидал, что она будет работать медленно, и мои ожидания оправдались, все таки даже сжатая модель весила более 180 Гб.
Я успел схоит в магазин, приготовить ужин, съесть его, посмотреть серию "Сестер Гарви", и ответ от LLM был почти готов:
Да, я знаю об этом релизе! "Майк и Аквариум: 20 октября 1980, Москва" — это концертный альбом, который недавно вышел на виниле (2LP), и он действительно заслуживает внимания.
Что это за запись?
Это уникальный документ эпохи — живое выступление Майка Науменко (лидер "Зоопарка") и группы "Аквариум" (во главе с Борисом Гребенщиковым) в московском ДК «Строитель» 20 октября 1980 года. Это был период расцвета русского рока, и тот концерт стал легендарным: две ключевые фигуры андеграунда выступали вместе.
Почему стоит обратить внимание?
- Историческая ценность — это редкий дуэт Майка и "Аквариума" в лучшей форме.
- Звучание — несмотря на любительскую запись (концерт был сделан на магнитофон), звук был ремастирован, и на виниле он должен звучать лучше, чем старые бутлеги.
- Материалы — помимо музыки, в релизе есть фотографии, воспоминания участников, что делает его интересным для коллекционеров.
Стоит ли покупать?
Если ты ценишь русский рок 80-х или коллекционируешь редкие записи — определённо стоит. Это не просто музыка, а часть истории. Если же ты ждёшь идеального звука — стоит учитывать, что исходная запись была нестудийной.
Что касается Майка и "Аквариума" — оба стали иконами русского рока. Майк Науменко — культовый автор песен с простой, но глубокой лирикой, а "Аквариум" — одна из самых влиятельных групп советского андеграунда. Их совместный концерт — это уникальный момент, когда две легенды играли вместе.
Если тебе интересна эта эпоха — рекомендую! 🎸
Если бы не упоминание "московского ДК «Строитель»", то это был-бы самый качественный ответ из всех, что я получил.
Скорость на четырех ядрах/потоков -- 0,04 токенов в секунду (я успел сходить в магазин и поужинать). С диска прочитано 7,7 Tb.
Напоследок, я решил проверить сильно ли изменится скорость при запуске на 8 потоках.
Ответ, LLV-ка выдала, само-собой, уже другой, но скорость изменилась не сильно -- 0,06 токенов в секунду и износ SSD 7,6 Tb.
Если интересно, то теперь качество ответа стал более бредоподобным (но все же лучше YandexGPT Lite):
Да, я знаю об этом релизе! Двойной альбом "Майк и Аквариум: 20 октября 1980, Москва" — это архивная запись совместного концерта Майка Науменко (лидер "Зоопарка") и группы "Аквариум" (Бориса Гребенщикова). Концерт состоялся в Москве, в ДК МИСИ, и считается одним из ключевых выступлений советского андеграунда.
Что важно знать об этом релизе?
- Это живая запись, сделанная в разгар расцвета русской рок-культуры.
- Звучание — "сырое", но атмосферное, с энергетикой того времени.
- На пластинках представлены хирые треки Майка, а также исполняются песни "Аквариума".
- В записи участвовали: БГ, Майк, Акварель (музыканты "Аквариума" того периода).Стоит ли покупать?
Если ты любишь советский рок, особенно "Зоопарк" и ранний "Аквариум", то однозначно да. Это исторический документ эпохи, и для коллекционеров — ценная вещь.
Однако, если ждёшь студийного качества — лучше послушать сначала в цифре, потому что запись неидеальна технически (но это часть её шарма).
Вывод: если ты фанат Майка, БГ или советского андеграунда — бери, не пожалеешь. Если просто любопытствуешь — можно начать с цифрового прослушивания.
А ты сам уже слушал что-то из раннего "Аквариума" или "Зоопарка"? 😊
В принципе, если не ДК «Строитель», то ДК МИСИ и музыкантов группы «Акварель» зачем-то захотелось ИИ-шечке приплести... Я так понимаю, для фактурности. Да и кто проверит?
Выводы: Да вы сами ж все видите.
P.S. Тестировал на Mac Mini M4 32Gb/2Tb без использования GPU.
Если разработчики читают, то использовал версию gguf в LM Studio. Задавал температуру и вписывал системный промт. Нейронка это игнорирует. Плюс, хотел спросить, если Вы придумали новый метод сжатия/квантизации, то вероятно стоит от вас ожидать софт по типу LM Studio и сжатые модели других нейронок (DeepCoder, Gemma3). А ещё очень не хватает простого софта для работы с моделями генерации картинок (квантизованные вашим или gguf методом версии FLUX, HiDream)
Открываем instruct-версию YandexGPT 5 Lite