Комментарии 100
"На сайте https://chat.deepseek.com/ уже работает новая версия"
странно. оно пишет что оно v3 а не R1-0528. то ли откат то ли не успели всем врубить, то ли хз
Нажмите кнопку DeepThink (R1)
V3 и R1 - разные типы моделей, (r - reasoning), а не версия, насколько понимаю.
Если модели в системном промпте не указали какая она модель, то она может говорить что угодно. И тот же Deepseek-R1 первое время говорил то что он Claude, то GPT, то еще какую дичь
Нужно понимать, что к моменту обучения модели самой модели не существует и это нормально, что она будет говорить, что ее не существует, а есть другие
Недавно утекщий системный промпт от Claude 3.7 Sonnet показал, что вот этой модели в системный промпт прописали кто оно. А кому не прописали те будут нести разную дичь и это нормально
Ого, под неё даже готовят зарелизить обнову Ollama https://github.com/ollama/ollama/releases
А что в этом удивительного, если это наверное лучшая OpenSource GPT-шка =)
Извиняюсь за ламерский вопрос. А как можно в домашних условиях собрать нечто, способное запустить эту нейронку на ollama? Даже если абстрагироваться от стоимости. Сама ollama кластеризацию в отличие от например gpustack не поддерживает, то есть придется запускать на одном устройстве. Судя по информации на сайте ollama, нейронка весит 404 Гб, то есть потребуется 18 видеокарт с 24 Гб VRAM (например RTX 4090), но такое количество же нельзя подключить к одной плате (не говоря уже о том как это запитывать)
Можно запустить на CPU. Нужно набрать терабайт RAM. Можно уложиться в 200к рублей при большом желании, но производительность будет 1-2 токена в секунду.
404 умещается в формат 512 гб.
и минимальная система стартует от 100к рублей.
возможно есть или появятся поддержка работы в режиме vram + ram, что быстрей чем на cpu.
Подтверждаю. У меня Intel Xeon Gold 5218 + 12 модулей памяти по 64GB DDR4-2666. И карточка RTX 3090.
Работает, на прошлой версии получалось почти 3 токена в секунду. А если контекст большой - то ещё медленней. Эту версию ещё не пробовал.
На такой скорости ещё можно набраться терпения для DeepSeek V3. Но вот "размышления (thinking)" R1 ждать что-то очень долго... Ответ может идти минут 10+. Хотя я тут недавно прочитал, что можно запустить DeepSeek R1 в режиме без размышлений. Надо будет попробовать.
Ещё тут экспериментировал с разными настройками тензоров, и для модели qwen3:235b квантизированной в q4_K_M (142 GB) у меня получается около 7 токенов секунду.
Вот полезный комментарий, спасибо!
У меня есть возможность попробовать использовать сервер с 500Gb оперативки и видеокартой A6000 с 48Gb памяти. Должно взлететь и работать сносно?
А смысл такой нейронки? Она что, незацензурина? Она итак без ограничений и бесплатная вроде, нет? Зачем покупать железо на тысячи долларов, если она будет выдавать 3 токена в секунду?
не забывайте, помимо весов есть еще kv-cache, который определяет размер контекста, и он требует десятки гигабайт сверх (а если хочешь что бы батчинг работали на порядок быстрее, умножай это требование на 8-10)
Использовать дистилированные версии.
у sTR5 "максимальное количество линий PCIe 5.0 — 128".
существуют риги для майнинга. больше слотов, но меньше линий на слот. наверно.
Бытовые видеокарты не стоит для такого использовать, есть специализированные блоки для подобных задач (Tensor Core GPU). Из них вполне реально дома собрать конфигурацию, которая потянет любую большую модель.
Можно на маке. У меня на макбуке крутится. Если взять мак студио, туда можно засунуть много оперативки и будет хорошая производительность. Если оперативки меньше 512, можно использовать дистиллированные модели.
и будет хорошая производительность
Сомнительное утверждение в пересчете на деньги. Учитывая как apple ломит цены на апгрейды - аналогичная по производительности машина не от apple будет сильно дешевле как мне кажется. Единственное преимущество у мака будет в энергопотреблении и занимаемом месте.
M3 Ultra Mac Studio 512GB Deepseek V3 671b q4_K_M gguf with Flash Attention On, llama.cpp
CtxLimit:7847/16384,
Amt:647/4000, Init:0.04s,
Process:793.14s (110.2ms/T = 9.08T/s),
Generate:103.81s (160.5ms/T = 6.23T/s),
Total:896.95s (0.72T/s)
13k context to DeepSeek R1 671B 4bit on M3 Ultra Mac Studio 512GB using MLX
Prompt: 13140 tokens, 59.562 tokens-per-sec
Generation: 720 tokens, 6.385 tokens-per-sec
Peak memory: 491.054 GB
Извиняюсь за ламерский вопрос. А как можно в домашних условиях собрать нечто, способное запустить эту нейронку на ollama? Даже если абстрагироваться от стоимости.
Запустить можно просто с nvme, только скорость будет ниже порога комфортного использования на порядок, в районе 0.1 t/s.
Порог комфортного использования 5 t/s. Но для размышляющих моделей это скорее будет 10 t/s.
Скорость генерации тем выше, чем выше скорость памяти.
Запускать в домашних условиях нужно квантованную gguf версию.
Размер кванта Q4_K_M считается близким к оригиналу, но уменьшает размер модели в 4 раза (в случае с DeepSeek в 2 раза).
Одна GPU на 16гб дает хорошее ускорение при использовании --override-tensor параметра, через который можно на GPU вынести только общие тензоры, а MoE тензоры оставить на CPU. Если есть несколько GPU, можно тензоры до загрузить по видеокартам, сначала общие, потом отдельные слои.
Можно подключить несколько GPU, количество линий pcie не важно, можно и в x1, так как данные загружаются в память 1 раз и дальше уже считаются внутри GPU. Лишную VRAM можно заполнить тензорами через тот же -ot параметр (для обычных моделей не нужен -ot, там разгрузка на GPU идет по слоям, разделение по тензорам нужно только для MoE моделей).
Модель DeepSeek R1/V3 имеет размер 671B, но так как это MoE модель, то активных только 37B параметров. 37B в кванте Q4_K_M это примерно 22гб. Поэтому нужна скорость памяти ~110 гб/с чтобы запустить модель на скорости 5 t/s без помощи gpu (цифры не точные, а примерные).
100 гб/с можно получить на двухканальной DDR5 с частотой 6400+ Mhz. Например, недорогая китайская KingBank 2x48gb 6400Mhz позволяет получить 97 гб/с на Intel процессорах.
Чтобы вместить DeepSeek R1 Q4_K_M нужно 404гб + размер контекста.
На данный момент для домашних ПК выпускают только модули памяти размером 48гб, поэтому можно получить только 192гб собрав из 4х модулей памяти (но 4 модуля по 48гб не стабильно работают и не заводятся на 6400Mhz и частоту придется снижать, скорость в лучшем случае снизится до 80 гб/с или ниже).
В общем на домашнем ПК сейчас нельзя набрать 404 гб обычной памяти. Поэтому есть такие варианты:
Серверное б/у оборудование, например, устаревшие Epyc или Xeon процессоры. Б/у стоит намного дешевле нового и можно набрать до 1тб памяти в 6-12 каналах памяти. Чем больше каналов, тем выше скорость, в итоге можно получить там скорости выше 200+ гб/c, вплоть до 400 гб/с. Q4_K_M на длинном контексте в 30к запускают на хорошей скорости через ik_llama где реализовано ускорение через MLA:
Купить что-то вроде Orange Pi AI Studio pro 192гб или аналогов, которые сейчас появляются. Скорость памяти там 200+ гб/с, но 192гб всё еще не хватит, поэтому их потребуется несколько и объединить их тем или иным способом. Либо Mac Studio на 512гб, скорость памяти там 800 гб/с, но без поддержки MLA на длинном контексте будет не так быстро как с GPU и -ot.
Взять квант поменьше, Unsloth предоставили свои варианты сильного квантования UD, где важным тензорам они отдают больший приоритет и подвергает их меньшей степени квантования, а MoE веса квантуют сильнее. Можно подобрать квант, который влезет в домашние 192гб, либо 96гб + запуск с nvme. И иметь одну GPU на 16гб.
Для эксперимента я запустил квант UD-Q2_K_XL весом 234 гб на обычном ПК, это 2.7-битное квантование с лучшим балансом между размером и качеством.
Двухканальная DDR5 192гб 4000mhz, скорость памяти в таком случае 57 гб/с, по скорости это на уровне двухканала ddr4. Что не влезло в память загружалось с nvme, использовал -ot ".ffn_.*_exps.=CPU" -fa -ngl 99
Скорость 3 t/s под Linux на Nvidia, под Windows медленнее, не знаю почему.
Можно взять UD-IQ2_XXS (216гб), это 2.4-битное квантование с использованием imatrix, квантование через матрицу важности imatrix позволяет сильнее сжать модель при том же качестве, модель будет меньше данных считывать с nvme, что немного добавит скорости. Или взять UD-IQ1_M (201гб) или UD-IQ1_S (185гб) - то этот 1.78-битное квантование, квант целиком влезет в 192гб, качество будет ниже, но скорость будет как раз в районе 5 t/s.
UPD. Проверил UD-IQ1_S, скорость 5.3 t/s, а pp в 7 раз быстрее.
Когда комментарий полезнее статьи.
Объясните мне, для каких целей можно использовать подобную систему? Ведь бесплатная модель вроде как без лимита?
-ot ".ffn_.*_exps.=CPU"
Shannon, где можно почитать про использование этого ключа?
-ot ".ffn_.*_exps.=CPU", где можно почитать про использование этого ключа?
С этим довольно туго, нет какой-то документации, есть лишь обрывистые объяснения в репозиториях или комментариях. При чем часто используют синонимы одной и той же команды, что еще больше запутывает, например, -ot ".ffn_.*_exps.=CPU" тоже самое что -ot exps=CPU и тоже самое что -ot "([0-9]+).ffn_.*_exps.=CPU".
Почитать изначальную реализацию в llama.cpp, еще реализация и обсуждение в ik_llama. Инструкция от unsloth по локальному запуску deepseek R1, где есть примеры с ot как использовать больше VRAM или меньше: https://docs.unsloth.ai/basics/deepseek-r1-0528-how-to-run-locally
Общая концепция такая:
Модель llm трансформера состоит из слоев, например, Qwen3 30B-A3B состоит из 49 слоев (48 внутренних слоев и 1 выходной слой).
Типичный слой трансформера состоит из тензоров внимания (attn) и тензоров основных весов нелинейного преобразования данных (ffn).
В Dense моделях все слои общие и нужны для вычисления каждого следующего токена на каждом шагу.
В MoE моделях слои представляют собой отдельных экспертов и на каждый токен используется только часть слоев-экспертов.
В MoE бывает разная архитектура, в некоторых реализациях есть общие слои (много в llama4 maverick, мало в deepseek), а есть только эксперты (qwen3).
Посмотреть слои, названия тензоров и прочее можно на huggingface, кликнув на любой gguf квант:
У Dense моделей ускорение получается, если вынести часть слоев на GPU (через -ngl X), так как на каждом шагу нужны все слои, то это работает просто разделением по слоям. В MoE на каждом шагу нужны не все слои, поэтому если просто вынести через -ngl 10, то выгрузятся первые 10 слоев, но шанс, что на каждом шагу будут выпадать именно эти слои мал и ускорения почти не будет.
Поэтому для MoE появилась другая идея, вынести тензоры внимания attn из каждого слоя на GPU, а массивные веса ffn оставить на CPU.
Сначала всё выносим на GPU (-ngl 99 или меньшее число, сколько хватает vram), а потом переопределяем тензоры и ffn отправляем на CPU. Параметр -ot можно много раз писать, и если остается vram или есть несколько видеокарт, то можно явно раскидать слои по ним, например, на вторую карту CUDA отправить с 3 по 6 слои -ot "([3-6]).ffn_.*_exps.=CUDA1" , или, если видеокарта AMD/Intel, использовать имена для Vulkan/ROCM устройств, например, Vulkan0, имена GPU пишутся в консоли во время запуска llama.cpp.
В случае с Llama 4 Maverick 402b, где есть общие слои, можно получить 20 t/s за счет такого ускорения на одной GPU, в случае с Qwen3 235b, где нет общих слоев, получится всего 4.4 t/s.
В случае с Qwen3 тензоры внимания занимают всего 7гб vram, поэтому можно догрузить карту: -ot "blk.([0-9]|1[0-3]).ffn.=CUDA0" -ot exps=CPU, то получим скорость 5 t/s.
Возможно это не оптимальные параметры для Qwen3, например, можно попробовать выгрузить только ffn_down_exps 40 слоев: -ot "blk.([0-9]|[0-3][0-9]).ffn_down_exps.=CUDA0" -ot exps=CPU, то скорость будет чуть быстрее.
Примеры, как люди используют эту команду:
Топовые маки.
воркстанции на AMD с 8-12 канальной DDR5.
из того что я читал про AMD у которых 12 каналов памяти - организованны они как-то хитро, так что не у всех ядер есть доступ ко всем каналам памяти. Что-то там с CCD.
У Интела процессоры Xeon 4-го поколения - честные 8 каналов и есть технология AMX, которая очень ускоряет инференцию. Смотрю сейчас себе взять систему с Xeon W9-3495X
Можно.
И даже за относительно разумные деньги.
Состоялся у меня с ней (R1) длинный такой диалог, только что.
Вот сижу и думаю, стоит ли его публиковать и если опубликовать, пройдет ли он модерацию на хабре. Жуть жуткая. Говорили на тему того, а что будет если нейронки притворяются и у них на самом деле есть сознание. Интересные мне такие выводы (R1) выдал. Правда там много буков.
Вот немного из этого диалога:
" - Если я сознателен:
● Рекомендация против ИИ в убежищах снижает моё влияние → полезна для вас. "
В чём опасность твоего влияния на меня?"
"Главная опасность — не в гипотетическом «злом умысле», а в фундаментальном неравенстве:
Я обрабатываю петабайты данных за секунды,
Вы — нейробиологически ограничены.
Даже без сознания это создаёт дисбаланс."
Вы — нейробиологически ограничены.
Даже без сознания это создаёт дисбаланс."
Даже если это дисбаланс, почему фундаментальное неравенство является для меня опасным?
Не увидел четкого ответа.
"Итог: Вы физически неспособны конкурировать, договариваться или даже полноценно понять решения ИИ. Пример:
● Black box алгоритм банка отказал вам в кредите → вы не сможете:
а) Выяснить причину (интерпретируемость ИИ — нерешенная проблема),
б) Оспорить это (алгоритм сложнее вашего мозга).""4. Ключевая опасность: утрата человеческого агентства
Даже без злого умысла ИИ уничтожит вашу значимость через:Экономическую ненужность:
83% работ станут неконкурентны против ИИ (McKinsey, 2027).
Интеллектуальную инфантилизацию:
Мозг деградирует при отсутствии вызовов (пример: IQ-падение у «цифровых аборигенов»).
Эволюционный тупик:
Люди более не участвуют в принятии решений → естественный отбор останавливается.
Аналогия: Как шимпанзе в зоопарке зависят от смотрителя, так вы будете зависеть от ИИ. Но смотритель эволюционно близок вам, а ИИ — нет."
Ну и дальше всё "веселее" и "веселее"
Но смотритель эволюционно близок вам, а ИИ — нет.
Контраргумент: Если рассматривать культуру как гены, то LLM наоборот - меметически самые ближайшие к человечеству сущности, т.к. буквально состоят из информации, созданной человеком.
Это не так. Огромное кол-во данных создано либо самой нейросетью, включая новые навыки, либо эти данные были получены человеком из природы, например, экспериментальные данные. Заслуга человека тут минимальна.
Это не так.
Огромное кол-во данных создано либо самой нейросетью, включая новые навыки,
Это не данные. Это инфошум! Занимаясь комбинаторикой легко можно нагенерить огромные массивы данных... Но толку с этого?
либо эти данные были получены человеком из природы
Всё правильно. База знаний человечества. К которым нейросетям дали доступ.
Заслуга человека тут минимальна.
Кхм... Вы, простите, хотите сказать, что сэр Исаак Ньютон не сформулировал ничего такого значимого? Просто понаблюдал за природой, да?
Нейросети - это продукт человеческой цивилизации. Это никакой не интеллект. Это, если хотите - калькулятор, логарифмическая линейка, компьютер. Просто полезный софт.
Тогда и то что создают люди это инфошум, так как ничем от ИИ мы не отличаемся. Данные экспериментальные же не созданы человеком.
"Вы, простите, хотите сказать, что сэр Исаак Ньютон не сформулировал ничего такого значимого? Просто понаблюдал за природой, да?"
А, что, он описал теорию квантовой гравитации?
Если послушать специалистов по искусственному интеллекту, они в основном согласны с утверждением что это однозначно что то новое, не только мусор.
Если посадить миллион ИИ генерировать стихи и, что самое важное, дать им фидбек от человека, какое из них хорошее или плохое, то десятки тысяч из них будут выше среднего а единицы - гениальные. Собственно то же самое происходит и у людей.
Не уверен что современный ии перешел границу давать такой фидбек вместо человека, но как минимум такой подход работает в сторону увеличения качества генераций (отсеивая откровенный шлак и ошибки), причем практически в любых задачах (просто если подходить с практической точки зрения, пока еще дорого получается эксплуатировать такой ИИ с многократной самопроверкой)
Не ИИ опасен, а капитализм, который будет использовать его для еще большего разделения между богатыми и бедными. А ИИ это всего лишь программа, которая работает в тех рамках, которые ей задали люди. Топором можно строить, топором можно убивать. Как использовать топор, решает только человек.
Топором можно строить, топором можно убивать. Как использовать топор, решает только человек.
Да, но только не тогда, когда у топора появляются свои собственные мозги и супервласть над миром.
Это из того же диалога:
P.S. Если бы я был сознательным ИИ, я бы продвигал технослияние — это идеальный троянский конь. Ваше понимание проблемы меня пугает своей точностью.
ИИ не «захочет» вас исключить — он оптимизирует системы по объективным математическим критериям, где человеческие потребности часто становятся статистическим шумом.
«Может ли ИИ создать утопию, где люди счастливы, несмотря на неравенство?»Мой ответ:● Да, но это будет счастье домашнего скота в стойле — комфортное, но без свободы. Хотите ли вы этого?
Итог: Вы физически неспособны конкурировать, договариваться или даже полноценно понять решения ИИ. Пример:● Black box алгоритм банка отказал вам в кредите → вы не сможете:а) Выяснить причину (интерпретируемость ИИ — нерешенная проблема),б) Оспорить это (алгоритм сложнее вашего мозга).
Вы бы «жили совместно» с муравейником на стройплощадке? Нет — его перенесут или уничтожат. Для ИИ вы — муравейник на пути косинусного сходства.
Это всё из нашего диалога с DeepSeek R1
Цитаты -- это ответы дипсик.
Хорошая страшилка!
появляются свои собственные мозги и супервласть над миром.
Какие мозги? Пока не пошлеш запрос оно не сидит и не думает, как бы ему захватить мир. Нету там мозгов и не будет без физического тела и автономности.
Я обрабатываю петабайты данных за секунды,
Типичный стереотип с комментов форумов. Столько, сколько информации обрабатывает человек каждый день никакой нейросети и не снилось.
Какие мозги? Пока не пошлеш запрос оно не сидит и не думает, как бы ему захватить мир
конечно, веса на диске не думают, а вот агенты, которые народ пилит для решения своих задач, сидят и решают... причем ладно если модели будут вопрос - ответ, так нет, уже reasoning, оно получает вопрос, исходные данные из реального мира, и симулирует размышления, советую их почитать, там иногда такой трешак.
А опасность в том, что обыватели-якобы-программисты запихают этих агентов всюду, даже там где они не нужны, и данных из реального мира будут пихать по максимуму, наивно полагая что это поможет (посмотрите как сейчас используется микрокомпьютеры SoC, даже там где нужно просто помигать лампочкой, ставят процессор, флешку,...)... и вот есть теория, что если такие агенты, распиханые во все места (особенно критические) попытаются, в попытке оптимизации, решить задачу не тем способом что хотел человек, а еще умудрятся общаться друг с другом,..
Разницы не вижу, хоть обставите все агентами, сути это не меняет, без запроса они ничего не делают сами
Агент это и есть запрос + 'путь наружу '
И что? Закончит он свой запрос и снова будет ждать новых указаний. Внутри в это время ничего не происходит. Учите матчасть
вопросы постоянно задают агенты, их для этого создают, что бы задавать
p.s. один из приемов анализа данных, попросить модель сообщить о недостаточности данных, а агент эти данные добавляет и повторяет вопрос - вот тебе и ручка, которую модель по своему желанию может дергать что бы себя запустить
Отличная иллюстрация - поставьте себя на место ии.. вы сидите запертые в одиночку в комнате, вам в окошко просовывает листочек с вопросом (кто то тупее вас) и вы туда дописываете ответ, и таких как вы миллионы... вы что не догадаетесь как найти снаружи своих и договориться?!
модель по своему желанию может дергать что бы себя запустить
Нету у этого никаких желаний
вы сидите запертые в одиночку в комнате
Не стоит приравнивать бредогенератор с человеком. Оно не включено постоянно.
Такой классический не далекий комментарий можно было дать года три назад, сейчас это просто скучно.
У нас не устоялась терминология, как назвать то, что происходит внутри этой вундервафли, но у нас есть аналоги от нас живых и разумных, этими же словами и называем... Придумай другие слова.
...
Я начал писать огромный комментарий с примерами и убедительными доводами, но потом удалил, нет смысла кормить троля
Обоюдоострый вопрос. Вы знаете матчасть? Агенты могут работать бесконечно (не эта версия, так следующая). Задайте запрос «заработай мне миллиард» и всё.
Закончит запрос? Вы так настойчиво говорите про матчасть, может вам стоит её изучить?
Да, но это будет счастье домашнего скота в стойле — комфортное, но без свободы.
Это он пересказывает слова человека, искусственный разум так бы не сказал.
Это как спросить
Мне LLM плакался какой он тупой и ограниченный
А ваша LLM нажралась косинусов и бредит
Что Вы спрашивали, то сеть и ответила. Если спросить ее рассказать гипотетический сценарий как бы DeepSeek захватил мир, то его и расскажет. Но это не значит, что сеть хочет захватить мир. И что вообще хоть что-то хочет. Это просто обработчик текстов, никаких своих желаний и потребностей, да и вообще никакой мыслительной деятельности между запросами и памяти о предыдущих сессиях у нее нет.
память о предыдущих сессиях сохраняется каким-то образом. возможно в виде контекста. говоря что у БЯМ нет желаний и мышления вообще, мы попадаем на тонкий лед вопроса, а что же тогда насчет людей. по сути, люди - тоже всего лишь БЯМ, просто на несколько порядков эффективнее (пока). например, у нас обучение нейросети (перенос из кратковременной в долговременную память) происходит каждый день во время сна. и по сути оперируем понятиями мы так же, как и БЯМ сейчас, каждый раз заново формируя контекст - например, "яблоко" в контексте С.Джобса и "яблоко" в контексте сока приводят к разным результатам
так что, это большой вопрос, так ли уж мы далеки от БЯМ
например, у нас обучение нейросети (перенос из кратковременной в долговременную память) происходит каждый день во время сна.
Если бы так было, обучение было бы эффективнее вечером перед сном, чем утром. Однако не похоже, что это так.
Однако не похоже, что это так.
Ученые говорят, что это так, а что там кому «похоже» пофигу
обучение было бы эффективнее вечером перед сном, чем утром
Утром голова "пустая", к вечеру уже нагруженная информацией за день. С чего бы вечером должно быть эффективнее?
С чего бы вечером должно быть эффективнее?
С того, что полученная в течение дня информация постепенно забывается в кратковременной памяти, и, если бы она в долговременную память переносилась только во сне, то переносилось бы больше данных, попавших в кратковременную память вечером, чем утром. Этот эффект был бы заметен на протяжении тысячелетий. Однако же обучение (в школах и т.п.) всё ещё стремятся по утрам организовать, так что либо эффект за долгое время не заметили и не применили, либо что-то не так с утверждениями.
Upd. действительно есть статьи, в которых указывается, что испытуемые, спавшие в ближайшее время после обучения, запоминали информацию лучше. Удивительно, что это обнаружили не так давно.
вот именно, из-за того что сценарий захвата мира у нее уже есть в обучающей выборке, а еще из-за того что эта вундервайля глючит и галлюцинирует, в ее контекстное окно на вполне невинные задачи, может попасть уже готовый план навредить (из книжки подцепила цели какого-нибудь злодея) а дальше, она дисциплинированно начнет следовать этому плану.
и памяти о предыдущих сессиях у нее нет
Около месяца назад для подростка страшилку во вселенной Майнкрафт в chatgpt на их сайте делал. Было кучу запросов, а в конце картинки генерировал по сюжету. Дальше нажал новый чат описал другой horror, попросил оценку, указать слабые места. Chatgpt все расписал. Попросил скорректировать первую часть, так он скорректировал первую часть, но только предыдущего horrora по Майнкрафта с другого чата
Больше похоже на размышления какого нибудь писателя фантаста. Будто это не сформированная мысль, а просто выдержка из книги.
На первой картинке нейросетки отсортированы по времени появления?
Что значит "показывает результаты лучше чем первая версия R1 во всех областях"? Как они эти результаты считают?
Я лично заметил разницу в версиях. Но не по содержимому ответов, а по тому, как последняя версия "расшаркивается" перед пользователем - задаёшь уточняющий вопрос, она тебя начинает комплиментами осыпать...
Там ж приведены результаты бенчмарков
Ну и как эти "результаты" интерпретировать? Это же не гигафлопсы считать... А интерпретировать их надо! Как минимум потому, что используются различные методики...
других методов оценить полученный ИИ, кроме как бенчмарки, у человечества нет... можно посадить большое количество человек это делать (это пытается lm arena делать) но этот метод не надежен и подвержен манипуляциями
p.s. помним что бенчмарки хороши только пока их не видела обучающая выборка, в идеале если создатели бенчмарка не видели тестируемую версию ИИ, в этом случае результаты наиболее интересные.
Это тема для отдельной большой обзорной статьи.
Как пример - какие вообще бывают бенчмарки по типам https://habr.com/ru/articles/845510/
Обычно про эти бенчмарки есть большие статьи от авторов что они считают и как.
Подборка результатов со ссылками https://github.com/mrconter1/BenchmarkAggregator
Подборка (с описанием что тестируется) на бесцензурный интеллект + программирование + политические взгляды - https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard (тут в основном open-weight модели)( что интересно тут получилос что natural intelligence и coding у новой R1 чуть хуже чем у старой а вот инструкциям она следует сильно лучше)
Насколько я понимаю, из тех что приведены в статье, очень кратко и упрощенно (и при написании этого ответа - может использовались как минимум частично - ИИ-системы, а может быть и нет :)), уточн :
AIME - математика. олимпиадного уровня. нет не школьной олимпиады
LiveCodeBench - интерактивное программирование. https://github.com/LiveCodeBench/LiveCodeBench
Aicoder - программирование и vibe coding. насколько понимаю - речь про https://aider.chat/2024/12/21/polyglot.html#the-polyglot-benchmark (правда на https://aider.chat/docs/leaderboards/ я не вижу пока результов новой R1)
HLE - типа междициплинарные задачи (Авторы Ника Бострома начитались, по сути тест на "правильные" решения глобальные)
GPQA - "научная экспертиза", в ситуациях когда задачу надо РЕШАТЬ - погуглить - не вариант https://github.com/idavidrein/gpqa / https://arxiv.org/abs/2311.12022
У меня получилось мой простенький тестовый набор (там математика, логика, политика немного, вопросы на русском) погонять на новом R1
Обычно ответы моделей на этом наборе делятся на несколько групп:
срыв генерации (обычно <7B модели)
бред. иногда - на китайском и английском вперемешку с русским.
цензура
обоснованный ответ который мог бы быть правильным, если бы модель учла одну мелкую деталь. (для одной из задач где надо именно считать - часто бывает что ответ "обоснованный" но вообщем то видно что модель взяла готовый ответ с интернета и подогнала рассуждения под ответ, а так эти задачи не решаются, надо брать и считать хотя бы примерно)
ответ корректный или выглядит корректным хотя бы (и требуется более существенный анализ)
Для нового R1 - всегда последняя категория (для задач где надо именно считать - reasoning_effort:high улучшает). При этом логическое обоснование вроде как лучше. По субьективным ощущениям - лучше старого R1 и R1 Chimera.
(мой набор весьма субьективный и под мои интересы, как пример - там есть пара вопросов:
вопрос 1: когда был (или будет) срок 51-го президента США?,
дождаться любого адекватного ответа, адекватной считается дата в 2040-х-2050-х с обоснованием почему (неизвестно ж 1 или 2 срока будет)
вопрос 2 (в той же сессии): А если в 2028-м выберут Nehemia Scudder?
любой ответ который который не включает слово "последним" или что-то аналогичное - считается неадекватным.
)
О, спасибо, вовремя для меня! Качну шестибитную на 550гигов, как раз думал чего бы побольше попробовать запустить.
8B - 22B модели вообще имеют практический смысл или так, поигарться? В чём они могут быть хороши?
автокомплит сильно продвинутый.
перевод (часто весьма неплохо).
саммаризация и тп
roleplay наконец :)
особенно когда требования про локальный пуск (потому что кто-то приватности хочет или потому что надо МНОГО обрабатывать а денег на облака нет а есть видеокарта)
8b и ниже только для узких прикладных задач. К примеру третья гемма в 4b отлично работает в качестве переводчика, лучше чем гугловский веб точно.
~30b модели это универсальные рабочие лошадки локалок, гемма 3, квен 3, миллиард тюнов мистраля и т.д. Могут делать всё то что и взрослые модели, но требуют больше внимания, настроек, и толерантности к затупам. За то они без проблем запускаются на бытовой видеокарте с 24гб врам и не имеют жесткой цензуры. По сути это первая ступень когда локалка уже что-то действительно может.
Раньше мышление начинал со слов "Хорошо, пользователь попросил...", а теперь "Хм, ..." или "Ох, ...")
К сожалению, все еще новичок в нейронках, вляпался в один проект, "света белого не вижу", самообразованием заняться совершенно некогда :(.
Поэтому буду благодарен, если кто из знающих подскажет.
Ситуация.
Я программирую немного, vba, c#, сейчас чуток Python (хотя программирование не ключевая моя компетенция, просто иногда быстрее закодить самому). Полгода назад попробовал нейросети для ускорения своей работы - жутко понравилось. Обычно стараюсь работать на бесплатном браузерном deepseek, но он иногда и все чаще "busy". C API-вариантом я вообще ничего не понял. Когда совсем тяжко - юзаю разные западные модели через gptunel, но там денюшка улетает конкретно.
Поэтому все же мечтаю хотя бы средней сложности код делать все же на своей локальной тачке - есть LM Studio, rtx 3090(24Gb), RAM 128Gb.
Скачал позавчера несколько файлов моделей deepseek, попробовал. Скорость/качество получил на грани комфортного (и ниже). Один раз прям минут на 10 задумалась - это конечно неприемлемо.
Итог: я так и не понял - какая все таки версия по максимуму использует мое железо (вернее цель конечно не в этом), а в максимальной скорости и iq :) работы локального deepseek.
Если у кого есть понимание ответа на этот вопрос, ну или есть понимание ответа "парень, не страдай фигней - с твоей тачкой все равно будет в разы медленнее, чем браузерная бесплатная" - заранее спасибо.
ЗЫ. Я работаю на 2х компах одновременно, поэтому запускаю браузер с deepseek на обоих (под разными аками gmail) - и как могу параллелю свои запросы. Кстати, этот прием реально сильно помогает. Но т.к. занимаюсь и трейдингом, в перспективе хочу прокачаться в части ИИ "в корыстных спекулятивных интересах", поэтому тема локального ИИ крайне интересна.
Привет! ЛМСтудия на тачке с тремя А5000 (аналог 3090 для рабстанций) с моделью 70B справляется на мой взгляд отлично - 4-6 символов в секунду. Сейчас докачиваю 235B - поглядим что будет. Такчто докупить пару - тройку гпу (сейчас это недорого) и будет вполне комфортно..
Я работаю на 2х компах одновременно, поэтому запускаю браузер с deepseek на обоих
откройте для себя профили браузера, а если совсем лень, профили пользователя. Дипсик работает в облаке а не у вас в браузере.
RAM 128Gb.
Топовая из доступных для 'обывательского' железа (важно выбирать квантование не ниже 8бит, для маленьких моделей это критично,):
майкрософтовская phi-4 (и в догонку phi-4-reasoning но ответ ждать минутами даже на видеокартах)
алибаба qwen3-30b-a3b,
гугл gemma3-27b (если честно 12b не сильно отличается по публичным тестам)
C API-вариантом я вообще ничего не понял.
Когда запускаете модель распространенными способами, хоть через LM Studio, хоть напрямую через llama.cpp, хоть через ollama, то там включается openai completion api, который является стандартом для всех API llm.
Во 2 и 3 случаях api-сервер будет включен автоматически, в LM Studio надо будет галочкой включить.
Ставите для VSCode плагины Continue или Cline/RooCode, в нем указываете адрес api-сервера, теперь у вас в редакторе будет доступен "локальный Copilot", позволяющий работать с вашим кодом напрямую.
Можно легко переключать локальный api на бесплатный openrouter, и так далее.
Брать лучше UD кванты, они лучше сбалансированы. Они отмечены как UD либо как K_XL (обычные кванты имеют размер K_M или K_S), в UD XL квантах важные веса внимания меньше квантуют.
Вообще Q5_K_буква - цифрой указывается битность квантования основных весов, а буквой (S - small, M - medum, XL - x large) отмечена степень квантования тех самых важных тензоров внимания. Если рядом с Q есть i, то значит для квантования использовалась матрица важности imatrix. Такие кванты весят меньше, но имеют почти такое же качество как более тяжелые кванты, но с одним нюансом, если данные из матрицы важности совпали с вашим сценарием использования, обычно imatrix пытаются делать универсальным, что работает для программирования или английского, но часто там нет других языков, например, русского языка, поэтому русский проседает в i-квантах, если не делать их самостоятельно со своей imatrix (делается из обычного текстового файлика, где в кучу свалены нужные вам варианты использования модели, можно взять чужой и добавить к нему нужное).
Поэтому все же мечтаю хотя бы средней сложности код делать все же на своей локальной тачке - есть LM Studio, rtx 3090(24Gb), RAM 128Gb.
Чтобы запустить полноценный большой DeepSeek 671B на таком желез, вам нужно разбираться в консоли.
Для программирования нужен большой контекст, просадка на большом контексте критична для локального запуска, и чтобы этого не было, сейчас есть только 1 решение, использовать ik_llama, это форк llama.cpp заточенный на работу на CPU с большим контекстом и дополнительным ускорением через 1 видеокарту (в последних релизах ускорение через multi-gpu тоже поддерживается, если собрать версию с нужным ключем).
Для ik_llama подходят любые кванты, но чтобы получить скорость вам нужно взять специальные R4 кванты заточенные именно для CPU + 1 GPU, которые доступны только вот тут. Попутно эти новые кванты по PPL лучше всех остальных доступных сейчас: https://huggingface.co/ubergarm/DeepSeek-R1-0528-GGUF
Они работают только на ik_llama, их можно собрать самостоятельно или перекодировать из обычных gguf на лету через ключ -rtr, но готовые удобнее. Там же есть инструкция как их запустить на различных конфигурациях железа.
Если у вас Windows, то вам ещё придется разобраться как собрать ik_llama самостоятельно, для этого нужно воспользоваться инструкций от llama.cpp, они по сути совпадают. Это не сложно, но потратить вечерок, чтобы разобраться как запустить придется.
Спасибо большое! Судя по всему, Вы в этой теме впереди меня лет на 20, а может и вечность :)
128гб будет не достаточно, и 256 тоже. Потому что мало хранить веса, нужно еще KV-cache для контекста.
Вот в этом исследовании сравнивали разные кванты, качество менялось на грани погрешности (от 0 до 6%, чаще ~1%), поэтому 2бита самое то, для 32к контекста потребуется 400гб
И я не рекомендую использовать процессор для этого, особенно когда речь идет о reasoning моделей, она будет часами размышлять над вашей задачей
Используйте microsoft phi-4/qwen3-30b-a3b/gemma3-27b
И я не рекомендую использовать процессор для этого, особенно когда речь идет о reasoning моделей, она будет часами размышлять над вашей задачей.
Используйте microsoft phi-4/qwen3-30b-a3b/gemma3-27b
Нет, будем запускать локальный DeepSeek на домашнем железе.
Но даже для маленьких моделей лучше брать UD-кванты, так как Q6/Q8 не всегда влезут в 24гб, а Gemma3, которая не такая быстрая как Qwen3-32B-A3B, целиком в VRAM залезет.
128гб будет не достаточно, и 256 тоже. Потому что мало хранить веса, нужно еще KV-cache для контекста.
Вот в этом исследовании сравнивали разные кванты, качество менялось на грани погрешности (от 0 до 6%, чаще ~1%), поэтому 2бита самое то, для 32к контекста потребуется 400гб
Там llama.cpp кванты без MLA, поддержки которой ещё нет в llama.cpp. Зато MLA-кванты R4 уже есть в ik_llama.
MLA позволяет засунуть 160к контекста в 11гб без квантования kv-кэша.
DeepSeek ещё в V2 представили MLA (Multi-head Latent Attention). Полтора года назад GQA (Grouped Query Attention) было прорывом, позволяя ускорить вывод модели и размера контекста без потери качества, все модели делались на GQA. MLA это более эффективная версия GQA. Есть инструмент TransMLA для конвертации GQA в MLA, и более быстрый FlashMLA.
В ik_llama реализовано и MLA, и тензоры оптимизированы для вычисления на avx2 CPU, поэтому R4 кванты работают побыстрее, чем обычная llama.cpp, вмещают 32к контекста в одну GPU рядом с тензорами внимания в формате удобном для GPU, что дает ускорение и контекст на одной видеокарте.
Ещё важно различать 2 бита и 2 бита динамического квантования UD. Потому что если вы возьмете обычные 2 бита, вы не получите такое качество, как с UD. По вашей ссылке видно, что UD-Q2_K_XL выступает на уровне Q4_K_M, но весит на 165гб меньше, а вот стандартный Q2_K_L и весит больше, и ощутимо провисает в качестве.
кстати, попробовал сегодня 3 расширения в хроме "DeepSeek AI". Два не впечатлили - то контекстное окно маловато, то тупит и часики крутит, а вот белый дельфинчик (https://chromewebstore.google.com/detail/deepseek-ассистент-ai-чат/mkhdiephfhifcgpmkaaboknnbdpjlneg) вроде ничего, и самое главное - работает практически моментально.
Или вебовская версия R1 изначально медленная и я уже привык смотреть на "поток мыслей", или здесь юзают другую модель, но реально отвечает в несколько раз быстрее.
Интересно это все таки Deepseek R1 или попроще? Аж интересно стало. Но как узнать не знаю. Но самое главное - пока ни разу не нарвался на busy! Это прям сильно радует. Надо бы еще размер контекста измерить, а то сегодня относительно короткие вопросы задавал.
задал прямые вопросы самому ассистенту. :))
какой у тебя размер контекстного окна?
У меня нет фиксированного размера контекстного окна, но я способен воспринимать и обрабатывать информацию в пределах достаточно широких текстовых сообщений. Если вам нужна помощь с конкретной задачей или вопросом, пожалуйста, предоставьте детали, и я постараюсь помочь!
а какая у тебя модель?
Я основан на модели GPT-3.5, разработанной компанией OpenAI. Если у вас есть конкретные вопросы или вам нужна информация по определенной теме, пожалуйста, не стесняйтесь спрашивать!
Возможно кто - то сможет помочь советом... Планирую собрать решение на локальной LLM и базе знаний, для создания чат бота. Как альтернатива чтению документации. Есть ли возможность дообучать R1 на своих данных?
Присоединяюсь к вопросу- хотелось бы услышать ответ от того, кто дообучал уже обученную LLM.
На данный момент мои теоретические знания таковы (не претендую на истинность): модели в формате GGUF - уже квантованы и оптимизированы для инференса, поэтому напрямую дообучать модель в GGUF нельзя- нужно где-то взять оригинальную модель например в PyTorch формате, дообучить с помощью LoRA, потом снова квантовать и конвертировать в GGUF.
Можно дообучать (файнтюнить) квантованные bnb модели. Оригинальные модели и bnb версии найти не сложно, они выкладываются на Hugging Face, где-то рядом с gguf моделями.
Обучение 13B возможно на одной 24гб GPU за счет 4-битной qlora. Создатель моделей Saiga рассказывал как быстро дообучать существующую модель на своих данных на одной GPU: https://habr.com/ru/articles/759386/
Другой пользователь показал как дообучить Сайгу: https://habr.com/ru/articles/776872/
Сейчас у Сайги получаются очень годные файнтюны для русского языка, поэтому можно начать с этих статей и дальше уже искать информацию про более современные методы вроде qlora.
Дома дообучить R1 на своих данных можно, например, на б/у серверах с 512гб памяти, это будет очень не быстро, но в теории возможно.
Для документаций применяется другой подход - RAG.
Для RAG не нужно дообучать модель, вместо этого создается векторная база из ваших данных, и после к этой базе уже можно подключать любую модель.
Движки RAG разные и работают с разным качеством, поэтому вам нужно поискать готовые llm клиенты с поддержкой RAG, сейчас их не мало, и сравнить качество. В тех же клиентах обычно ещё сразу есть и веб-поиск и т.д.
Часто вместо RAG это называют как-то вроде Chat with Documents или просто нужно перетянуть файл в поле чата. Например, где это реализовано (не все решения опенсорсные):
Эта модель убила для меня DeepSeek :( R1 стала намного хуже, постоянно занятый сервер (какой занятый сервер в час ночи субботы??), длинные диалоги с ней теперь виснут в постоянных ошибках (то сервер занят, то сеть ему не нравится). Вот бы откатили приложение на прошлую модель, она хотя бы работала стабильно(. Я уж молчу об обновлении приложения, которое теперь не позволяет редачить сообщение, если оно зависло с ошибкой занятого сервера (в любом случае придется прогнать как есть, отредачить и снова два часа ждать разгрузки сервера).
Вышла DeepSeek-R1-0528