Хм. И все-таки какая цена, просто чтобы самому не искать?
Хотел еще добавить что у меня на 3070 8 гб gemma4 до 30 т/с выдает. Часть соответственно тоже ложится на озу, проц довольно мощный, может поэтому быстрее чем у вас... И обратил внимание что если разогнать озу то и токенов больше (что логично)
И еще кое-что. Рекомендую все же llamacpp. Я могу скинуть свои параметры запуска, если интересно. Думаю будет у вас быстрее работать. Важный параметр cmoe насколько я помню. Экспериментировал с ними и это раьотало отлично. При том что контекст в 65к
Если сделать gguf то сразу больше пользователей будет)
А вообще было бы интересно само описание процесса. Вы говорите берете llama3 открываете ее в какой-то программе, в этой программе указываете датасет, и нажимаете кнопку учись? Или как это происходит? Какая программа? Почему бы не взять за основу ту же gemma4 - более современная
Хотя кажется я вообще не так все понял и llama3 это просто архитектура и от нее ничего не было от готовой. Тогда все еще интереснее - что и как сделать в домашних условиях.
Я согласен. В 2026 считать влезет ли llama 3.1 ну такое. Тут последнее время чуть не раз в неделю новое появляется. Вот недавно mtp модель qwen - у меня что-то не стабильная скорость, быстрее не стало как будто... Может что-то не так делаю. Буду пробовать. Но вот допустим 35b модель работает отлично. 27т/с для этого качества неплохо для моих 8+32озу
Жаль что в некоторые китайско-белорусские бренды такую технологию не завезли... Немного странно что не смогли осилить технологию - неужели так сложно? Или что-то про лицензии возможно?
Хорошая статья. Люблю практические. Запускаю на ртх 3070 8 гб - выдают по 27т/с не уверен что смогу выжать больше, но попробую ваши лайфхаки
Вот вы писали про эти 2 параметра, а в недавней статье говорили что их можно на -cmoe поменять. Это так?
Было бы классно гемма4 с ассистентом потести, но жаль что unsloth не спешит выпустить кванты свои для него. Видимо связано с тем что в llamacpp официально еще не завезли mtp
Скорее всего инфраструктура в видеокартах, потому что асики наверное не подойдут под задачи ии. Только сегодня я с одним товарищем обсуждал это - почему бы не придумать асики для ии.
Инструмент сканирует сайты. Я запустил 5 сканирований уже. Запустил сканирование google. 3 ошибки по безопасности. У макса было 4. Видимо если больше 3 то уже spy
Я все еще не могу понять. Если пк озу 32 гб и видео озу 8гб - вот эта модель на 31б запустится? Я обычно беру квантованные до 9б +-5 гб которые полностью вмещается на видеокарту. Но соышал что есть возможность запускать и частично
Я понимаю вашу мотивацию, но сервера просят денег, отдавать и не получать взамен просто так не получится, я это имел в виду.
Может быть это сработает как у них там на западе и вашу разработку выкупят когда будет большая аудитория и тогда это окупится, но скорее всего такое маловератно
В этом и проблема. Зачем людям переходить в проект на пару лет? Чтобы потом опять судорожно искать где вести новую переписку? Бесплатно и без рекламы - за чей счет банкет? Какая ваша выгода?
Тут простая логика срабатывает, как супер золотая идея для заработка - если эта идея такая классная, то зачем ей делиться с остальными, берида зарабатывай сам. Сделай платный сервис по обходу блокировок, руби бабло
А может ли это быть просто потому что обучающие данные в сумме такие? То есть если брать рунет в отрыве от западного интернета, да и тот же хабр, то часто можно услышать что пора валить, то есть грубо говоря патритизмом как бы и не пахнет, а оттого и западная пропаганда подсовывается самими людьми. Когда общаешься с алисой на эти темы, то там прям ненависть сквозит, гигачат не спрашивал. Квен более нейтральный даже чем алиса)
Ооо, это кстати интересная тема. Почему российские ии ненавидят Россию и считают агрессором. Я как-то общался с квеном про Тайвань и последнее китайское предупреждение, он срывался на китайский и выдавал ошибку. Надо бы потестить на локальной модели
Хм. И все-таки какая цена, просто чтобы самому не искать?
Хотел еще добавить что у меня на 3070 8 гб gemma4 до 30 т/с выдает. Часть соответственно тоже ложится на озу, проц довольно мощный, может поэтому быстрее чем у вас... И обратил внимание что если разогнать озу то и токенов больше (что логично)
И еще кое-что. Рекомендую все же llamacpp. Я могу скинуть свои параметры запуска, если интересно. Думаю будет у вас быстрее работать. Важный параметр cmoe насколько я помню. Экспериментировал с ними и это раьотало отлично. При том что контекст в 65к
Ошущение что еще меньше. Я просил написать стандартно игру для себя и она из 5 раз ни разу недописала. При том что локальные делают и при 8000
Если сделать gguf то сразу больше пользователей будет)
А вообще было бы интересно само описание процесса. Вы говорите берете llama3 открываете ее в какой-то программе, в этой программе указываете датасет, и нажимаете кнопку учись? Или как это происходит? Какая программа? Почему бы не взять за основу ту же gemma4 - более современная
Хотя кажется я вообще не так все понял и llama3 это просто архитектура и от нее ничего не было от готовой. Тогда все еще интереснее - что и как сделать в домашних условиях.
Сами данные такие в большинстве своем, я так думаю
Я согласен. В 2026 считать влезет ли llama 3.1 ну такое. Тут последнее время чуть не раз в неделю новое появляется. Вот недавно mtp модель qwen - у меня что-то не стабильная скорость, быстрее не стало как будто... Может что-то не так делаю. Буду пробовать. Но вот допустим 35b модель работает отлично. 27т/с для этого качества неплохо для моих 8+32озу
Жаль что в некоторые китайско-белорусские бренды такую технологию не завезли... Немного странно что не смогли осилить технологию - неужели так сложно? Или что-то про лицензии возможно?
Понял спасибо)
Да, истории разные тоже слышал. В целом показательно.
Хаха. Неожиданно для него наверное. Вряд ли ответит теперь)
Непонятна история с переводчиком и китайцами. Что там произошло? Китайцы уволили переводчика? Почему? Он в твиче работал?
Почему-то ассистенты в gguf не перегоняют... Есть несколько но они просят другие ветки llamacpp
Хорошая статья. Люблю практические. Запускаю на ртх 3070 8 гб - выдают по 27т/с не уверен что смогу выжать больше, но попробую ваши лайфхаки
Вот вы писали про эти 2 параметра, а в недавней статье говорили что их можно на -cmoe поменять. Это так?
Было бы классно гемма4 с ассистентом потести, но жаль что unsloth не спешит выпустить кванты свои для него. Видимо связано с тем что в llamacpp официально еще не завезли mtp
Скорее всего инфраструктура в видеокартах, потому что асики наверное не подойдут под задачи ии. Только сегодня я с одним товарищем обсуждал это - почему бы не придумать асики для ии.
Инструмент сканирует сайты. Я запустил 5 сканирований уже. Запустил сканирование google. 3 ошибки по безопасности. У макса было 4. Видимо если больше 3 то уже spy
Я все еще не могу понять. Если пк озу 32 гб и видео озу 8гб - вот эта модель на 31б запустится? Я обычно беру квантованные до 9б +-5 гб которые полностью вмещается на видеокарту. Но соышал что есть возможность запускать и частично
Удачи!
Я понимаю вашу мотивацию, но сервера просят денег, отдавать и не получать взамен просто так не получится, я это имел в виду.
Может быть это сработает как у них там на западе и вашу разработку выкупят когда будет большая аудитория и тогда это окупится, но скорее всего такое маловератно
В этом и проблема. Зачем людям переходить в проект на пару лет? Чтобы потом опять судорожно искать где вести новую переписку? Бесплатно и без рекламы - за чей счет банкет? Какая ваша выгода?
Тут простая логика срабатывает, как супер золотая идея для заработка - если эта идея такая классная, то зачем ей делиться с остальными, берида зарабатывай сам. Сделай платный сервис по обходу блокировок, руби бабло
А может ли это быть просто потому что обучающие данные в сумме такие? То есть если брать рунет в отрыве от западного интернета, да и тот же хабр, то часто можно услышать что пора валить, то есть грубо говоря патритизмом как бы и не пахнет, а оттого и западная пропаганда подсовывается самими людьми. Когда общаешься с алисой на эти темы, то там прям ненависть сквозит, гигачат не спрашивал. Квен более нейтральный даже чем алиса)
Ооо, это кстати интересная тема. Почему российские ии ненавидят Россию и считают агрессором. Я как-то общался с квеном про Тайвань и последнее китайское предупреждение, он срывался на китайский и выдавал ошибку. Надо бы потестить на локальной модели
Может есть смысл сделать на html, css, js?