Хабр Курсы для бэкендеров
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Поток Бэкенд доступен 24/7 благодаря поддержке друзей Хабра
Комментарии 48
Не пробовали запускать Ollama с Vulkan, который пару недель назад экспериментально завезли?
Человек при помощи LLM написал статью на тему, где всего текста - пяток команд в консоли, а остальное (включая юникодные "веселые картинки") написала китайская модель, так чего его мучать вулканом?
Главное, что тема (не содержание) статьи зацепила аудиторию - потому что тема поднята злободневная. К сожалению, текстовка насквозь мало что теоретическая, так ещё и насквозь наглюченная - насколько это нейросеть вообще может сделать (включая несуществующие флаги для Ollama, и вообще то, что для дополнительных знаний модели RAG приделывают, а не дообучают модель). Т.е. такой текст получить от модели не зазорно, но вот пропустить его "через себя" автор немного не успел.
Даже странно, что нет ссылки на свой tg-канал. С другой стороны, это дело наживное.
Статья - классика генерёнки: "буду ставить вот на такой бук (нормально тут описать бук, а не версию ОС). Дальше ставим ollama, делаем несколько команд, чтобы убедится, что у нас все же убунта на x86_64, а не, случайно, Mac на m5. Дальше пишем волшебную фразу, что с AMD мы на GPU не сумеем, и что и так сойдет, главное - много ОЗУ!"
Два раза рассказать про AMD, но ни разу не указать ни объем ОЗУ, ни даже размер модели, ни модель проца - а потом в конце написать "если статья была полезной" - уважаемый "автор", надо же перечитывать, что там нейросеть за полчаса выдала на-гора!
Этож сколько времени требуется для формирования собственного датасета для дообучения?
И какого формата должен содержать ответ?
Можно ли дообучить, передав список с файлами своей тематики, документация, книги, даташиты и прочее?
Можно, но совершенно, совершенно не нужно. Шиты своей тематики подключают через RAG и MCP.
Такие крошечные ллм возможно и программировать то не умеют. Им мне кажется не помешает потюнить . Настоящий код хотя бы увидят. Другое дело в датасете. Отчасти его можно через ллм же нагенерить на основе документации по своим библиотекам, фреймворкам. Но тут тоже зависит от того как планируется их использовать.
Такие маленькие ллм очень плотно упакованы. Нет места, чтобы что-то дописать, только поверх с разрушением существующих весов. Поэтому только RAG и остается. Поправьте, если не так.
ну да, она будет чтото "забывать", например знания по кулинарии. но не думаю что это сильно важно. по-хорошему надо конечно открытые датасеты для обучения разным ЯП. ну и чтобы сообщество дообучало новые актуальные модели под разные языки этими датасетами.
может даже ЯП + фреймворк + популярные либы.
но мне кажется от них все равно результаты будут очень слабые. люди тут от моделей 30b изначально оптимизированных под кодинг ходят плюются... хотя надежда конечно умирает последней, ктото наоборот обещает будущее с личными заточенными под пользователя мини моделями.
Вот примеры датасетов. Можно посмотреть изнутри их содержание.
Автор (или тот кто написал ему статью) галлюцинирует
понимать под до обучением задание системного промта в Modelfile это конечно круто.
А следующий абзац вооще...
Ollama официально поддерживает fine-tuning для
ollama НЕ имеет функционала до обучения моделей. Ключ "--train" придуман.
Статья высосана из пальца и бредовая. не ведитесь
В следующей статье хочется, чтобы было поподробнее про первый пункт «Подготовить датасет в формате» на реальном примере.
Статья - нейросетевой булшит. С помощью Ollama нельзя файнтюнить модели, она только для инференса. Нет там такого флага: --train.
Вот вот. Когда уже на хабре добавят бейджики о сгенерированном контенте? Только время потерял
Не добавят, потому что Хабру много контента - много показов, а десять старушек - рубль много показов в наше непростое время тоже лишняя копейка в бюджет бизнес-проекта.
Плюс, второй оборот: много хейта - много комментов, а это еще больше старушек показов.
P.S. Это Вы еще попросите реализовать на уровне движка сайта фильтрацию антифильтрацию по тегам и бейджам! Я бы, лично, и от пометки каждой отдельной статьи "не показывать этот текст лично мне" не отказался, но - см. выше.
и итог такого действа- нейрописаки будут писать друг для друга
Нет. Они просто не будут ставить все эти теги. Друг для друга будут писать те, кто написал статью сам, а потом на LLM орфографию проверил. Вот таких негодяев мы первым делом изведём.
Так а что - плохо, что ли? Люди себе отфильтруют только то, что хочется читать, что не хочется - уберут не минусами, а лично для себя спрячут (а тут поле для аналитики - ух!), а LLM-творения (посты и комменты) LLM-писаки и боты станут читать и комментить.
Рекламодателям такие LLM-"хиты" и сегодня не уперлись, полагаю, все равно переходом с них ноль.
Какой же вы не приятный человек, а точнее старичок, отойдите пожалуйста со своей 8 битной дискетой
Я уж и не думал, что Вы отзоветесь - думал, чистый бот.
Скажите, что Вас заставило публиковать эту LLM-бредятину? Правда, хочу понять, статья вообще бестолковая, и просто с ошибками - Вы бы и сами такое по прямому своему спектру интересов не захотели бы читать.
Ну ок, не сложилось Ctrl+C - Ctrl+V опубликовать, что китайская модель выдала (она не виновата, но её так научили, а что галлюцинирует - так они все такие, где не имеют инфы, из "желания" ответить на вопрос "сочинают" словеса на ходу), так скрыли бы в черновики. Всем было бы спокойнее, плюс был бы повод доработать и заново опубликовать, без подобного разгрома - а Вы и ещё одну нетленку запилили, не меняя подхода.
Ничего личного, вот правда. Более того, вполне Вас понимаю, сделать много малыми силами, да и Хабр прирастает от усилий всех и каждого (а ещё тут весьма токсично) - но ваш медиа-план точно неудачно сработал.
Быстрее напишут плагин для браузера, который бы выдавал "рейтинг" статьи, насколько близко она похожа на написанную нейросетью.
Причем нейромусор виден с первого взгляда из-за тысячи bullet point и просто куче несвязанных предложений формата "ollama — это круто! Обучаю — локально". Аж глаз дёргается. Скорее бы добавили причину минуса "низкосортный слоп".
Да, понятно, что это ИИ статья. Но лично мне читать статьи с буллетами и списки гораздо приятнее на глаз - никакой гребной воды, только факты (качество и сложность фактов зависит от построения запроса). Лично я за то, чтобы технические статьи выглядели только так. Хотя есть нейронки, нацеленные на дата анализ, которые хорошо пишут текст и удачно добавляют воду (как бдуто книдко по теории купил на 500 страниц). Оно надо?
Еще когда прочел, подумал, что это слишком хорошо, чтобы быть правдой. НО 50+ закладок, среди которых и моя, показывают то, что люди готовы верить в технологические чудеса.
Пока от разочарования влепил минус в карму.
Написать "низкие требования к памяти" и нигде не похвастаться, сколько именно памяти на конкретной машине!
н-да.
за прямую лож - меры принимать стоит (а это именно она и есть, несуществующий функционал)
скоро на этом булшите и другие модели будут обучаться, будет весело.
Да там же можно просто RAG базу создать локально и рядом положить и она будет при ответах опираться на нее, именно «обучать» необязательно
Захотел локальный чат гпт и поставил мистраль 7Б, дааааааа)
Мне казалось, что Мистраль 7Б берет мощности ГПУ. Просто пилю свой проектик небольшой и решил использовать мощности локальной ИИ. Накидал ЧатГПТ параметры своего стационарного компа, он посоветовал под мою видеокарту взять связку Оллама+Мистрал 7Б(якобы ограничение по видеопамяти)
Если есть гпу, то да, если нет, и на цпу работает
Когда скачиваете модель через lm studio, то там оценочно покажет влезет в ваш GPU или нет.
Но и при скачивании другим способом в принципе легко оценить влезет или не влезет. Размер файла на диске - это фактически образ (коэффициенты) который должен помещаться в GPU полностью. Если хотите нормальную скорость выдачи токенов ответа (хотя бы 8-10 в сек) + хотя бы 10% запаса (зависит от размера контекста который хотите использовать в чате)
Все можно, конечно и с CPU и с подкачкой в GPU, но это оочень медленно. Для практической работы не очень. Лично мне. 1 токен в сек в ответе уже раздражает безмерно.
Не обязательно 1 t/s. Есть пласт моделей которые MoE, они могут хорошо комбинировать CPU + GPU и выдавать большую скорость, при этом это большие качественные модели, а не маленькие 7B.
Например, на ryzen 5600g + 64Гб DDR4 + amd rx 6600 8Гб можно запустить GPT-OSS-120B на скорости выше 10 t/s с большим контекстом.
У меня стоит gpt-oss (правда поменьше чем 120).
Но oss это по сути несколько маленьких моделей выбираемых динамически для ответа. Т.е. отвечает используя набор коэффициентов одной из сеток внутри "наиболее подходящих".
И я с oss игрался. Не зашла и не особо впечатлила.
Для моих целей (плагин в IDE) больше подошла Qwen3-Coder-REAP-25B-A3B-MXFP4_MOE.
Тема то интересная, я вот пытался дообучить через LoRA, у меня не вышло. Куча статей в интернете не актуальные, параметры для запуска не те: или устаревшие или, скорее всего, просто галлюцинации нейросетей. Я бросил, а было бы интересно попробовать.
Критики много, а хотелось бы ссылок на правильное изложение проблемы установки локального ИИ.
Да там и обсуждать то особо нечего. Особенно в случае с ollama. Максимально казуально все. Установил, выбрал модель, запустил. Да, там есть где покопаться если нужно поменять промпты системные, или если structured output нужен. Но в документации все описано.
Если вообще никакого опыта нет, то можно посмотреть на lmstudio.
А для более продвинутых можно уже и на llama.cpp, llama-swap, Ollama.
Устанавливается все просто по доке, если железо поддерживается. В случае rdna2 амд карт для запуска на ROCm может потребоваться компиляция с определенными параметрами, на vulkan без бубна даже на древних картах а-ля amd rx 550 запускается (лично проверял).
Но это все только для инференса, с обучением там все гораздо сложнее. Есть вариант файнтюна для бедных - LoRa, а для еще более бедных QLoRa.
Ну что, не-луддиты, рады качественному контенту? Статьи про ИИ, написанные ИИ. Здорово, да? Очень интересно заходить на хабр и видеть только это.
Какой же это отстой, очередной ИИ мусор, но самое обидное что видимо автори и сам не понимает о чем идет речь, чтобы проверить правду
Прочитал комментарии и подумал, что пора проверять статьи на "нейронку" с помощью "нейронки". Но мне было бы интересно узнать, как подготовить датасет для интересующихся в домашних условиях. Хотелось бы, чтобы это было доступно и понятно.
Есть вчерашняя статья про это
Как то пытался на виртуалкепри помощи дипсика покрутить убунту на предмет некоторых настроек. Изменения настроек по советам дипсика систему уронили.
Я высказал дипсика упрек, на что он резонно ответил: "А вот не надо доверять дипсику".
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Как я установил Ollama на Ubuntu 24.04 и начал обучать локальную LLM под свои задачи