Протестировать вашу программу не взялся, отпугнули системные требования, у меня карта 8 гб, но я думаю что вы немного завысили требования и эта модель и программа должны пойти у меня, другое дело что вы как я понял запускаете несколько моделей кроме генератора.
Но ваша статья все же сподвигла меня попробовать эту модель, только запускал я ее через Audio.cpp - там кстати тоже завышенные требования пишут для этой модели, минимум 12гб пишут, но у меня на 8 гб спокойно квант q8 заработал (3млрд параметров могут и на 4 гб карте завестись в q4 я думаю). Мне понравилось в той программе что качается скомпилированный файл, запускается простой строкой с двумя аргументами. Через веб интерфейс можно и модели качать, причем там моделей очень много, вплоть до генерации видео. Для запуска генерации только эту модель качал и никакую больше. В общем интересный опыт.
И вам еще раз спасибо за вашу статью и примеры генерации!
Очень нравится что показываете как сделали. Поидее как я понимаю ставлю все это себе, запускаю генерацию по шаблону и получаю то же самое, и теперь млгу править на свое усмотрение?
Допустестим в последней песне переход резкий на гитару где делали громче - вот прям как будто слишком резкий, хотелось больше проигрыша. Ну опять же, субъективщина. Усталый голос - круто. Короче нравится.
Очень круто, системно, грамотно. Когда прочитал про то что сделали свой файнтюн (?) сразу подумалось, а на hf выложите чтобы и мне потестить?
Потом когда прочитал про выдающиеся результаты захотелось еще больше. В конце подумалось что может вы бы могли докрутить свой Humo для улучшения в тех задачах где он не дотянул и тогда могли бы сделать для себя новую модель в прод. Ну и да, получается в проде все еще крутится 3.5? Или все же на основе этих тестов хотите на другой пересесть?
У тбанка в транзакциях есть опция оспорить, один раз пользовался когда списалась подписка - и вот тут интересное - деньги кажется так и не вернули, а подписку аннулировали потому что в оферте говорилось что аннулируют при попытке вернуть бабло (это означает что банк начал свое расследование и возможно заблокировал переод). Это подписка на один из сервисов вк, если что
Все еще мало вижу смысла в ollama обе программы у вас запускались в консольном виде и обе требуют знание аргументов для работы. В чем удобство не понимаю.
Давным давно ставил gui версию ollama, но потом выяснилось что скачивать модели можно только через интерфейс ollama, потому что готовый gguf не понял как подкинуть. Тогда нейронка сказала что никак, и просто с hf, не пойдет и типа там вообще свой формат Причем не понятно почему, потому что все говорят что под капотом тот же llama.cpp по сути (кажется понял, в начале вы как раз и писали что был период своего движка). LM-studio дружественнее в плане интерфейса для новичков, но опять же под капотом llama.cpp. Для серверов конечно серверная версия нужна и потому консольная llama.cpp без надстроек.
Удивила скорость. Показалась маленькой 32 т.с не сильно меньше у меня на частично озу выдает... 26т.с
Насколько я понимаю базовая модель может только предсказывать. Для чатбота не подходит. Нужна модель которую можно развернуть на локальной машине и как чат-бот, простыми словами ставить задачи
Вот это интересный момент. Ничего не имею против опус стайла, сейчас всюду и везде. А вот написано для нейросетей это новенькое. Типа вашу статью прочитает ии (новые модели) и у нее в голове отложатся эти знания и она сможет точнее рассказать любому пользователю эти фишки для ускорений?
Ну и в догонку мои размышления на отвлеченную тему. Такие как этот товарищ и я - мы можем словами описать так как видим, технологий разработки не знаем и поэтому часто наоборот даже лучше поставить задачу на откуп нейросети - пусть покреативит, додумает то что не просили, но это станет приятным бонусом или просто потому что это уже стандарт дефакто, как говорится. Но опять же, это будет приятный бонус если это заработает, а если нет?) а вот если подель строго следует инструкциям, то это будет получше на мой взгляд. Думаю такое лечится системным промптом для поведения когда неспециалист просит что-то хорошее красивое и без багов - то просто даются инструкции поимерно такого типа: придумай как сделать лучше. Если такой инструкции нет, то только точное следование тз.
Возможно сейчас такое уже давно и работает и модель по запросу уже сама понимает кто перед ней (новичок или программер) и может дать результат нужный именно этому пользователю.
Очень нравятся ваши статьи, с обоснованием и реальными задачами. Я сам тоже делаю тесты и мой тест - подробный промпт игры с хотелками, с некоторым четко прописанным тз и оставлением доли креатива для модели. Вышло случайно, но получилось так что тестирует способность модели понять просторечивые обороты в задании, при этом есть четкие требования к UI, ну и конечно в итоге это должно раьотать. Проблема в том что игра на html, css, js - это легко проверить человеком, но вот понять качество исполнения - это уже сложнее. Поэтому ваш подход с оценкой качествтва мне нравится - ну то есть, есть конкретные метрики когда модель выполняет поставленную задачу по тз.
У меня есть товарищ на работе который тоже увлечен нейросетями и прям наострие, но у него совсем другой подход, и тестирование можели тетрисом на html - это тоже такое себе - я не знаю какой он промп давал, но его тесты с тетрисом для 3.8 по качеству (субъективно на мой взгляд) оказались хуже того что выдал мне 3.6 - больше багов, меньше уже ожидаемых фишек которые в тз не обговариваются, но современные модели начинают додумывать что это надо (мобильный вид) и это дает повод добавить больше плюсов. Но опять же говорю - можно ли снижать оценку за то что не просилось? Короче ваши метрики и подход видится более серьезный.
Есть еще и такой момент (как в моих тестах) один прогон из 5 условно рабочий, а у другой модели 1 из 5 нерабочий. Вы не проверяли такое?
Ну и еще раз напоследок. Ту технологию о которой я говорил и которую на своей 5090 гонял этот товарищ: ninfer. Короче как я понял пересобирают модели под свою программу. Он мне показывал скорость до 200т/с на своей 5090 для 3.8 27б . Но нет уверенности что такое пройдет ваши тесты.
Хочу тоже поделиться наблюдениями. Очень похоже что качество действительно зависит от сборки. Unsloth зарекомендовал себя,но похоже что иногда они переигрывают. Недавно заиорочился тоже с проверкой скорости, но было интереснее именно математически рассчитать - получился своебразный калькулятор +- показывающий то что у меня на выходе. Но для чистоты эксперимента и прогонов я взял модель бартовски обратил внимание в метаданных что там 33 слоя у квена, а у анслоф 32...
В общем погонял модели и удивидся что мой промпт на 4b модель смогла сделать играбельную игру, в то время как на сборке unsloth такое выходило раз в 10-20 прогонов. Надо бы еще раз погонять...
Пожалуй напишу небольшую статью про то как я это делал, и может вы сделаете что-то похожее... Я сделал букмарклет который на странице модели посвечивает теоретическую скорость на моем железе. Кстати обратил внимание что если залогиниться на hf можно добавить свое железо и он тоже может выдать какие-то цифры, но пока не проверял
А если в лабораторию касперского написать? Нужно сделать контору быстрого реагирования, которая будет на короткой ноге со всякими органами, хостингами и регистраторами. Условно запрос с такой конторы должен иметь приоритет в обработке, и может даже даже запускать процесс блокировки моментально от их запроса. То есть вы делаете запрос в лабораторию, они повторяют ваши шаги, полностью убеждаются в том что это мошенник. Запускают скрипт обращений в нужные органы и организации - открывают дело, блокируют домены, посылают оперов на адрес.
Вам спасибо за описание этого и что вскрываете тему, за неравнодушие.
Интересно. Люблю тоже потестировать модели (есть тоже статья на хабре) Я остановился на 35b-a3b.
Я вот что понял - модель в обычном чате не всегда каждый раз делает хорошо и не всегда лажает... Какая-то лоторея как будто. Впору как будто проводить по 5 тестов и выдавать сколько из 5 сделано хорошо. И то это будет не факт что если 5 из 5 было хорошо, то на 6 раз модель не облажается.
Ну и новее все-таки лучше. Более дистилированные знания как будто. Это даже видно по стилю веб страниц.
Интересная тема, думал об этом и даже однажды пробовал для анализа листинга блока
С какими аргуметами запускаете?
Протестировать вашу программу не взялся, отпугнули системные требования, у меня карта 8 гб, но я думаю что вы немного завысили требования и эта модель и программа должны пойти у меня, другое дело что вы как я понял запускаете несколько моделей кроме генератора.
Но ваша статья все же сподвигла меня попробовать эту модель, только запускал я ее через Audio.cpp - там кстати тоже завышенные требования пишут для этой модели, минимум 12гб пишут, но у меня на 8 гб спокойно квант q8 заработал (3млрд параметров могут и на 4 гб карте завестись в q4 я думаю). Мне понравилось в той программе что качается скомпилированный файл, запускается простой строкой с двумя аргументами. Через веб интерфейс можно и модели качать, причем там моделей очень много, вплоть до генерации видео. Для запуска генерации только эту модель качал и никакую больше. В общем интересный опыт.
И вам еще раз спасибо за вашу статью и примеры генерации!
Интересно, причем как понимаю и диффузионные модели можно запускать?
Очень нравится что показываете как сделали. Поидее как я понимаю ставлю все это себе, запускаю генерацию по шаблону и получаю то же самое, и теперь млгу править на свое усмотрение?
Допустестим в последней песне переход резкий на гитару где делали громче - вот прям как будто слишком резкий, хотелось больше проигрыша. Ну опять же, субъективщина. Усталый голос - круто. Короче нравится.
Очень круто, системно, грамотно. Когда прочитал про то что сделали свой файнтюн (?) сразу подумалось, а на hf выложите чтобы и мне потестить?
Потом когда прочитал про выдающиеся результаты захотелось еще больше. В конце подумалось что может вы бы могли докрутить свой Humo для улучшения в тех задачах где он не дотянул и тогда могли бы сделать для себя новую модель в прод. Ну и да, получается в проде все еще крутится 3.5? Или все же на основе этих тестов хотите на другой пересесть?
У тбанка в транзакциях есть опция оспорить, один раз пользовался когда списалась подписка - и вот тут интересное - деньги кажется так и не вернули, а подписку аннулировали потому что в оферте говорилось что аннулируют при попытке вернуть бабло (это означает что банк начал свое расследование и возможно заблокировал переод). Это подписка на один из сервисов вк, если что
Немного одидаемо, но все-равно интересно)
Все еще мало вижу смысла в ollama обе программы у вас запускались в консольном виде и обе требуют знание аргументов для работы. В чем удобство не понимаю.
Давным давно ставил gui версию ollama, но потом выяснилось что скачивать модели можно только через интерфейс ollama, потому что готовый gguf не понял как подкинуть. Тогда нейронка сказала что никак, и просто с hf, не пойдет и типа там вообще свой формат Причем не понятно почему, потому что все говорят что под капотом тот же llama.cpp по сути (кажется понял, в начале вы как раз и писали что был период своего движка). LM-studio дружественнее в плане интерфейса для новичков, но опять же под капотом llama.cpp. Для серверов конечно серверная версия нужна и потому консольная llama.cpp без надстроек.
Удивила скорость. Показалась маленькой 32 т.с не сильно меньше у меня на частично озу выдает... 26т.с
Насколько я понимаю базовая модель может только предсказывать. Для чатбота не подходит. Нужна модель которую можно развернуть на локальной машине и как чат-бот, простыми словами ставить задачи
Вот это интересный момент. Ничего не имею против опус стайла, сейчас всюду и везде. А вот написано для нейросетей это новенькое. Типа вашу статью прочитает ии (новые модели) и у нее в голове отложатся эти знания и она сможет точнее рассказать любому пользователю эти фишки для ускорений?
Прикольно кстати, не думал о таком)
Ну и в догонку мои размышления на отвлеченную тему. Такие как этот товарищ и я - мы можем словами описать так как видим, технологий разработки не знаем и поэтому часто наоборот даже лучше поставить задачу на откуп нейросети - пусть покреативит, додумает то что не просили, но это станет приятным бонусом или просто потому что это уже стандарт дефакто, как говорится. Но опять же, это будет приятный бонус если это заработает, а если нет?) а вот если подель строго следует инструкциям, то это будет получше на мой взгляд. Думаю такое лечится системным промптом для поведения когда неспециалист просит что-то хорошее красивое и без багов - то просто даются инструкции поимерно такого типа: придумай как сделать лучше. Если такой инструкции нет, то только точное следование тз.
Возможно сейчас такое уже давно и работает и модель по запросу уже сама понимает кто перед ней (новичок или программер) и может дать результат нужный именно этому пользователю.
Ооо, спасибо что тегнули!
Очень нравятся ваши статьи, с обоснованием и реальными задачами. Я сам тоже делаю тесты и мой тест - подробный промпт игры с хотелками, с некоторым четко прописанным тз и оставлением доли креатива для модели. Вышло случайно, но получилось так что тестирует способность модели понять просторечивые обороты в задании, при этом есть четкие требования к UI, ну и конечно в итоге это должно раьотать. Проблема в том что игра на html, css, js - это легко проверить человеком, но вот понять качество исполнения - это уже сложнее. Поэтому ваш подход с оценкой качествтва мне нравится - ну то есть, есть конкретные метрики когда модель выполняет поставленную задачу по тз.
У меня есть товарищ на работе который тоже увлечен нейросетями и прям наострие, но у него совсем другой подход, и тестирование можели тетрисом на html - это тоже такое себе - я не знаю какой он промп давал, но его тесты с тетрисом для 3.8 по качеству (субъективно на мой взгляд) оказались хуже того что выдал мне 3.6 - больше багов, меньше уже ожидаемых фишек которые в тз не обговариваются, но современные модели начинают додумывать что это надо (мобильный вид) и это дает повод добавить больше плюсов. Но опять же говорю - можно ли снижать оценку за то что не просилось? Короче ваши метрики и подход видится более серьезный.
Есть еще и такой момент (как в моих тестах) один прогон из 5 условно рабочий, а у другой модели 1 из 5 нерабочий. Вы не проверяли такое?
Ну и еще раз напоследок. Ту технологию о которой я говорил и которую на своей 5090 гонял этот товарищ: ninfer. Короче как я понял пересобирают модели под свою программу. Он мне показывал скорость до 200т/с на своей 5090 для 3.8 27б . Но нет уверенности что такое пройдет ваши тесты.
Ждем. Тегните потом может)
Хорошиие тесты. Интересно.
У меня один товарищ тестировал NInfer фреймворк, и у него на 5090 до 700т/с выдает. Не пробовали такое?
Согласен. Даже опираясь на ваш опыт когда включаешь один флаг и получаешь значительный прирост это уже показательно что все не так однозначно.
Уже есть) https://habr.com/ru/articles/1076284/
Правда, практической пользы оказалось не так много, но вдруг кого-то натолкнет на какие-то мысли)
Хочу тоже поделиться наблюдениями. Очень похоже что качество действительно зависит от сборки. Unsloth зарекомендовал себя,но похоже что иногда они переигрывают. Недавно заиорочился тоже с проверкой скорости, но было интереснее именно математически рассчитать - получился своебразный калькулятор +- показывающий то что у меня на выходе. Но для чистоты эксперимента и прогонов я взял модель бартовски обратил внимание в метаданных что там 33 слоя у квена, а у анслоф 32...
В общем погонял модели и удивидся что мой промпт на 4b модель смогла сделать играбельную игру, в то время как на сборке unsloth такое выходило раз в 10-20 прогонов. Надо бы еще раз погонять...
Пожалуй напишу небольшую статью про то как я это делал, и может вы сделаете что-то похожее... Я сделал букмарклет который на странице модели посвечивает теоретическую скорость на моем железе. Кстати обратил внимание что если залогиниться на hf можно добавить свое железо и он тоже может выдать какие-то цифры, но пока не проверял
А если в лабораторию касперского написать? Нужно сделать контору быстрого реагирования, которая будет на короткой ноге со всякими органами, хостингами и регистраторами. Условно запрос с такой конторы должен иметь приоритет в обработке, и может даже даже запускать процесс блокировки моментально от их запроса. То есть вы делаете запрос в лабораторию, они повторяют ваши шаги, полностью убеждаются в том что это мошенник. Запускают скрипт обращений в нужные органы и организации - открывают дело, блокируют домены, посылают оперов на адрес.
Вам спасибо за описание этого и что вскрываете тему, за неравнодушие.
Интересно. Люблю тоже потестировать модели (есть тоже статья на хабре) Я остановился на 35b-a3b.
Я вот что понял - модель в обычном чате не всегда каждый раз делает хорошо и не всегда лажает... Какая-то лоторея как будто. Впору как будто проводить по 5 тестов и выдавать сколько из 5 сделано хорошо. И то это будет не факт что если 5 из 5 было хорошо, то на 6 раз модель не облажается.
Ну и новее все-таки лучше. Более дистилированные знания как будто. Это даже видно по стилю веб страниц.