Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Поток Научпоп доступен 24/7 благодаря поддержке друзей Хабра
Комментарии 23
Никогда не используйте ollama. Они уехали в монетизацию, у них ужасные дефолтные настройки. Поддержка моделей хромает. Лучше всего работает связка llama.cpp/koboldcpp + llama-swap. opewebui тоже далек от совершенства, anythingllm на голову выше. Тутор фигня какая-то
Ollama что-то совсем плоховатая стала. Пол года назад все отлично работало, сейчас, после нескольких обновлений стало совсем печально. То в цикл модель уйдет, то почему-то отказывается грузится, то на проце начинает обрабатывать и забывает про видеокарту.
По статье вместо всего текста можно было приложить конфиг докер файла с ollama+webui и готово
llama.cpp
И всё. Больше ничего не надо.
llama.cpp уже идёт со встроенным Web UI
Фигня в чем?
На его основе не получится запустить удаленный сервер для LLM?
Вопрос автору, а вы не смотрели в том направлении, чтобы инфраструктуру для ллм разворачивала сама ллм? Например с помощью aider или Claude code или Gemini CLI или Codex?
Честно скажу, либо аудитория хабра просела, либо я что то не догнал. Автор проехался по гуру и коучам или просто всем другим авторам и начал писать инструкцию по установке Ollama.
Есть же Docker где ставится Ollama + openwebui или lmstudio или ещё десяток других штук за пару кликов.
Есть AI который вам все поставит, дайте только ссылку.
Если AI который прочитает документацию от Ollama и напишет вам инструкцию по установке
Вот зачем ? 🤔
Вам конечно респект что вы возможно хорошо знаете линукс и для вас это все является простой задачей.
Но вы не думаете о том что есть люди, которым хочется это запустить, но знаний линукса у них пока нет или есть только поверхностные. Так вот этот материал для них, не все сразу родились с линуксом в голове.
Я что видимо один из таких, мне несколько дней потребовалось, для того чтобы собрать информацию как вообще запустить этот линукс и с чем его есть. Везде все кусками и часто противоречащими друг другу. Раз десять переустанавливал систему.
Если была бы такая статья, я не потратил бы лишнего времени и мне бы проще было все понять. Но что то многознающие люди не написали такой статьи.
Что касается Docker, да он есть, но когда вы впервые установили линукс, при поиске информации в интернет будет много упоминаний про этот докер, но ни одной статьи в которой описана его работа так сказать на пальцах нету, а главное ни кажому он нужен.
И вообще у меня сложилось такое мнение, возможно ошибочное, линуксоиды считают всех кто не знает линукс людьми третьего сорта, так как часто при вопросе от новичка начинают его высказывать умные слова, вместо того что бы просто объяснить простыми словами. Уж не примите это за оскорбление.
до вашей статьи я как-то и не задумывался про linux, собираясь установить LLM песочницу прямо в свой игровой windows ПК. (Мне это еще предстоит, моя 5060 ti на 16 гб для "поиграться", пока в пути). Поболтал с gemeni, выяснил, что c linux можно будет всю vram можно будет отдать LLM, что в windows практически нереально.
так что спасибо за статью, хотя, конечно установка локальной LLM - дело интимное и вместо пошаговой инструкции (ценность которой в эпоху ИИ чатов невысока) было бы интереснее почитать про варианты "движков".
Так спросили бы у ллмки про докер
И еще маленький вопрос, вы используете локальный LLM сервер? Если да, то можно поинтересоваться его характеристиками?
Если ваш сервер очень мощный, пусть читатели за вас порадуются, ну и возможно позавидуют белой завистью.
В опросе не хватает ответа "уже использую".
Почему выбор пал на версию убунты, у которой поддержка всего 9 месяцев?
Как я написал в начале, локальные LLM часто решают задачи точнее и быстрее публичных сервисов, вот моя статья по этому поводу Локальная модель vs Гигачат: мой опыт и выводы / Хабр
Вы бы ещё с gpt 2 сравнили.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Пошаговый запуск собственного LLM сервера от А до Я