Решил поковырять задачу локально. Предварительно перегнал в фотореализм через flux2dev (надпись он сохранил), потом сунул в Hunyuan-3D-2.1. Надпись уничтожена, остальное на троечку. Впрочем, я ожидал худшего:)
3DAiStudio кстати заработал и даже выдал что-то вменяемое, но лимиты у них конченые, это да
Имхо — 3д генераторы заточены под восстановление геометрии из фотореализма, где светотень подсказывает сетке, где выпкулость/вогнутость. Мультик для них это боль.
Тут фокус в том что то что есть сейчас (почти) достигло потолка. У нас сейчас уже те самые «микросхемы с ручками для переноски» — посмотрите как ставят Threadripper в сокет. Видеокарта весит 4 кг. Для датацентров планируют карты в 15квт делать. Чипы уже такие есть (и они размером с тарелку). Дальнейшее увеличение производительности требует физического увеличения размера устройства и его потребления. Даже Microsoft вспомнил что пихать браузерный движок в блокнот это возможно не самый лучший подход.
Поэтому если горизонты не видны — их придётся найти, если мы хотим избежать стагнации/упадка прогресса. Текущий подход себя исчерпывает.
Когда узнал про принцип работы RAG представлял его себе как большое многомерное пространство с точками‑смыслами, и когда LLM хочет оттуда что‑то дернуть она вычленяет общие смыслы того что надо, и по их координатам дергает ближайшие точки из этого пространства и сцепленные с ними цитаты.
И была идея воткнуть в это пространство смыслов кротовые норы, которые бы отражали логические связи между смыслами. Логические связи по задумке надо было обнаруживать на этапе формирования БД. Идея в том, что если два смысла имеют логическую связь, но при этом находятся на большом декартовом расстоянии, то добавление такого вот портала рядом с ними создавало бы аномалию с существенно меньшим расстоянием между ними.
Типо вот
Но идея уперлась в то, что такое искривленное неравномерное пространство считать гораздо сложнее, чем прямое. Ну то есть наверно можно засунуть RAG в какое‑нибудь гиперболическое пространство (Пуанкаре‑эмбеддинги, привет) но при решении в лоб это будет жрать столько, что все плюсы будут нивелироваться, плюс поверх этого отвалятся стандартные плюшки вроде индексов faiss/hnsw. Хотя можно вместо искривлённого пространства просто насовать туда точек‑телепортов, наподобие входов в пв‑туннели у Буджолд. Только тут вместо пятимерности пятитысячемерность, которая немножечко более ресурсоёмка.
И вот эта штука из статьи имхо решает эту задачу, и решает круто, красиво и изящно.
Нейросети жрут видеопамять большой ложкой. 32 Гб это минимум на котором можно запускать жирные LLM (120b+) с более‑менее приемлемой скоростью; всякие толстые генераторы картинок с вменяемым качеством (которое может и пахнет нейрослопом, но не так сильно). Flux2dev 8bit например, или Wan2.2. А ещё есть такая штука как файнтюнинг.
Есть 3ds maxы и blenderы, которые на хорошей видеокарте могут рендерить трассировкой пути (не та которая в играх а полноценной) чуть ли не в реалтайме, или в разрешениях 130 МПикс+. Видеокартой. Можно даже запрягать несколько рендерингов одновременно. Можно грузить одновременно генерацию видео и монтажную программу: пока рендерится одно, монтируешь другое.
Плюс есть вот такие вот конфигурации мониторов
в которых современные недооптимизированные игры на человеческой видеокарте выдадут, в лучшем случае, 10 фпс. Если вообще запустятся.
В общем, смысл в том, что граница между профессиональным использованием и игровым нечёткая, она размыта — это раз, два — есть особо тяжелые игровые сетапы с большой площадью экранов и/или высокими требованиями к fps, которые обычные видеокарты просто не потянут.
Какие модели? Какой движок? Какие gpu? Сколько vram? Какой CPU? Версия PCIe? От этих факторов все зависит. Чем выше интенсивность обмена и хуже скорость этого pcie, тем меньше будет пользы.
mmap это вообще пакость. Она нужна вроде как чтобы модель быстрее стала доступна для использования даже пока все веса еще не загрузились, на деле только хуже делает и замедляет всё. На качество она влиять не должна.
Попробуйте всё запихнуть в GPU
То есть мы все слои пихаем в VRAM («Передача на GPU»), KVCache тоже туда. Всё что можно.
Длину контекста можно поставить любую, лишь бы в VRAM влезло. Для комфортной работы лучше 65к или 128к, хотя выше 48к у подобных моделей может начать ухудшаться мышление, особенно на низкой квантизацией (4K_M передаёт привет).
Я думаю речь о сообразительности. Всё таки опусосоннеты посуровей раз в 20, чем даже 122b/397b локальные модельки. Я тоже среди прочих гонял Qwen 3.6 35b a10b 4k_m. Она работает конечно как ракета, там под 10–15 строк в секунду вылетает. Но она, во‑первых на thinking может запросто потратить 10–30 секунд, а то и минуту, что немного портит впечатление от скорости, во‑вторых, может зациклиться, если ее заставлять читать какие‑нибудь консольные выводы при работе ffmpeg или установки пакетов питона. В‑третьих с некоторыми простыми задачами она тупо иногда не справляется. У 27b dense в этом плане получше конечно, но она в ~3 раза медленнее.
Я понимаю что можно взять другой рантайм, можно температуру покрутить и TopK, и ещё что‑нибудь, но когда ты практически решаешь задачу на это не хочется тратить время.
Локальные ЛЛМ на сегодняшний день, ИМХО про рутину и про бизнес‑логику, про установку настройку пакетов. Средние и сложные технические и/или нетривиальные задачи лучше им не давать, если нервы дороги.
Самый простой путь — в LMStudio открыть окно скачивания моделей. Там как магазин приложений на смартфоне. Ищите штуки которые поместятся в комп, смотрите число лайков и скачиваний, описание. Нажимаете «Download» — качается в фоне, пока качается одна или несколько моделей можно использовать текущие.
Зато dense может решать такую сложную и нетривиальную задачу как «Дай командную строку ffmpeg чтобы вытащить каждый 30 кадр из видео». И не уходит в зацикливание, и без thinking на 10к токенов. В отличие от 35ba3b. Скорость ниже раза в 3, это да (60 т/с вместо 180 т/с), но лучше получать медленнее результат, чем быстрее чушь)
Мне нравится как сделан интерфейс в Microsoft Office до 2003 версии включительно. Там все элементы на панельках можно как угодно перетащить и настроить под себя. Панельки вытаскиваются в отдельные окна, прилипают к краям экрана, группируются как угодно. А меню сверху и списки со шрифтами являются частным случаем таких перетаскиваемых кнопочек — туда можно впихивать нужное и убирать ненужное, настраивается абсолютно всё.
Фокус в том что эти менюшки‑кнопочки настраивались в GUI через Drag&Drop. То есть интерфейс был редактором самого себя. Ты не настраиваешь список команд в отдельном окне, ты буквально перетаскиваешь кнопки на панельку/менюшку.
Для простого пользователя это оверкилл+переусложнение. А вот для профессионального использования это прекрасно, я считаю. В VisualStudio кажется до 2008 версии так тоже было можно делать, потом порезали. Вообще, в современном тяжелом софте такое сейчас встречается. Например, в 3ds max есть кастомизируемый ленточный интерфейс, где тоже всё можно таскать и настраивать.
Всё относительно. В те времена это было «вау» и работало, потому что «Windows only» в те времена это даже хлеще чем сейчас «Anrdoid only». Применять современные мерки к тем штукам бессмысленно. Примерно как рассуждать о непрактичности карет с лошадьми на фоне автомобилей.
Фокус в том, что до недавнего времени господа ПЖ были единицами, и у большей части населения возможности реализовать вот этот вот набор поведенческих паттернов «дорвавшегося до власти человека» было мало. Как ведут себя отдельные индивиды с этой проблемой довольно давно известно и расписано в миллионах книг за тысячи лет. Но теперь эта возможность появилась у многих.
У большого количества людей, идущих на поводу у вот этих вот поощряемых ИИ «особенностей поведения», может образоваться (и скорее всего так и будет) некоторый набор эмерджентных свойств, ранее неизвестных. Как у единой социальной системы. Иными словами, раньше «дорвался до власти» было болезнью индивидов, а теперь это может стать эпидемией, которая породит ранее невиданные социальные процессы. Речь сейчас не про плохо это или хорошо, а про то, что это в принципе новая, ранее не изученная социальная динамика с трудно прогнозируемыми последствиями.
Другое дело, что сейчас в мире очень много штук, нагнетающих энтропию и непредсказуемость будущего, и вышеописанная штука может просто затеряться в общей картине.
Было дело, тогда это казалось высокими технологиями. Помню в школе, когда про саму возможность существования таких окон узнал, очень впечатлился и векторный редактор написал под это дело. Ну, чтобы такие окна пихать везде где можно :)
Я не говорил что это «правильно» или «не правильно». Я говорил о причинах, по которым до одного аспекта докапываются, а до другого не докапываются. Грубо говоря, художникам не повезло в данном случае быть «на виду» — продукт их труда видит больше людей, и больше вероятность, что кому то что‑то не понравится.
Я думаю, разница в том, что код игрок не видит, а контент — видит. Я сам не против ИИ, прогресс это хорошо, но я за качество. У большинства современных нейросетей с качеством результата проблемы. Если эти проблемы фиксить перед продакшеном (опять же не важно — руками или автоматом) — вопросов нет. Но их не фиксят.
Решил поковырять задачу локально. Предварительно перегнал в фотореализм через flux2dev (надпись он сохранил), потом сунул в Hunyuan-3D-2.1. Надпись уничтожена, остальное на троечку. Впрочем, я ожидал худшего:)
3DAiStudio кстати заработал и даже выдал что-то вменяемое, но лимиты у них конченые, это да
Имхо — 3д генераторы заточены под восстановление геометрии из фотореализма, где светотень подсказывает сетке, где выпкулость/вогнутость. Мультик для них это боль.
Тут фокус в том что то что есть сейчас (почти) достигло потолка. У нас сейчас уже те самые «микросхемы с ручками для переноски» — посмотрите как ставят Threadripper в сокет. Видеокарта весит 4 кг. Для датацентров планируют карты в 15квт делать. Чипы уже такие есть (и они размером с тарелку). Дальнейшее увеличение производительности требует физического увеличения размера устройства и его потребления. Даже Microsoft вспомнил что пихать браузерный движок в блокнот это возможно не самый лучший подход.
Поэтому если горизонты не видны — их придётся найти, если мы хотим избежать стагнации/упадка прогресса. Текущий подход себя исчерпывает.
Когда узнал про принцип работы RAG представлял его себе как большое многомерное пространство с точками‑смыслами, и когда LLM хочет оттуда что‑то дернуть она вычленяет общие смыслы того что надо, и по их координатам дергает ближайшие точки из этого пространства и сцепленные с ними цитаты.
И была идея воткнуть в это пространство смыслов кротовые норы, которые бы отражали логические связи между смыслами. Логические связи по задумке надо было обнаруживать на этапе формирования БД. Идея в том, что если два смысла имеют логическую связь, но при этом находятся на большом декартовом расстоянии, то добавление такого вот портала рядом с ними создавало бы аномалию с существенно меньшим расстоянием между ними.
Но идея уперлась в то, что такое искривленное неравномерное пространство считать гораздо сложнее, чем прямое. Ну то есть наверно можно засунуть RAG в какое‑нибудь гиперболическое пространство (Пуанкаре‑эмбеддинги, привет) но при решении в лоб это будет жрать столько, что все плюсы будут нивелироваться, плюс поверх этого отвалятся стандартные плюшки вроде индексов faiss/hnsw. Хотя можно вместо искривлённого пространства просто насовать туда точек‑телепортов, наподобие входов в пв‑туннели у Буджолд. Только тут вместо пятимерности пятитысячемерность, которая немножечко более ресурсоёмка.
И вот эта штука из статьи имхо решает эту задачу, и решает круто, красиво и изящно.
Нейросети жрут видеопамять большой ложкой. 32 Гб это минимум на котором можно запускать жирные LLM (120b+) с более‑менее приемлемой скоростью; всякие толстые генераторы картинок с вменяемым качеством (которое может и пахнет нейрослопом, но не так сильно). Flux2dev 8bit например, или Wan2.2. А ещё есть такая штука как файнтюнинг.
Есть 3ds maxы и blenderы, которые на хорошей видеокарте могут рендерить трассировкой пути (не та которая в играх а полноценной) чуть ли не в реалтайме, или в разрешениях 130 МПикс+. Видеокартой. Можно даже запрягать несколько рендерингов одновременно. Можно грузить одновременно генерацию видео и монтажную программу: пока рендерится одно, монтируешь другое.
Плюс есть вот такие вот конфигурации мониторов
в которых современные недооптимизированные игры на человеческой видеокарте выдадут, в лучшем случае, 10 фпс. Если вообще запустятся.
В общем, смысл в том, что граница между профессиональным использованием и игровым нечёткая, она размыта — это раз, два — есть особо тяжелые игровые сетапы с большой площадью экранов и/или высокими требованиями к fps, которые обычные видеокарты просто не потянут.
Какие модели? Какой движок? Какие gpu? Сколько vram? Какой CPU? Версия PCIe? От этих факторов все зависит. Чем выше интенсивность обмена и хуже скорость этого pcie, тем меньше будет пользы.
Я не автор если что)
mmap это вообще пакость. Она нужна вроде как чтобы модель быстрее стала доступна для использования даже пока все веса еще не загрузились, на деле только хуже делает и замедляет всё. На качество она влиять не должна.
Попробуйте всё запихнуть в GPU
То есть мы все слои пихаем в VRAM («Передача на GPU»), KVCache тоже туда. Всё что можно.
Длину контекста можно поставить любую, лишь бы в VRAM влезло. Для комфортной работы лучше 65к или 128к, хотя выше 48к у подобных моделей может начать ухудшаться мышление, особенно на низкой квантизацией (4K_M передаёт привет).
Я думаю речь о сообразительности. Всё таки опусосоннеты посуровей раз в 20, чем даже 122b/397b локальные модельки. Я тоже среди прочих гонял Qwen 3.6 35b a10b 4k_m. Она работает конечно как ракета, там под 10–15 строк в секунду вылетает. Но она, во‑первых на thinking может запросто потратить 10–30 секунд, а то и минуту, что немного портит впечатление от скорости, во‑вторых, может зациклиться, если ее заставлять читать какие‑нибудь консольные выводы при работе ffmpeg или установки пакетов питона. В‑третьих с некоторыми простыми задачами она тупо иногда не справляется. У 27b dense в этом плане получше конечно, но она в ~3 раза медленнее.
Я понимаю что можно взять другой рантайм, можно температуру покрутить и TopK, и ещё что‑нибудь, но когда ты практически решаешь задачу на это не хочется тратить время.
Локальные ЛЛМ на сегодняшний день, ИМХО про рутину и про бизнес‑логику, про установку настройку пакетов. Средние и сложные технические и/или нетривиальные задачи лучше им не давать, если нервы дороги.
Самый простой путь — в LMStudio открыть окно скачивания моделей. Там как магазин приложений на смартфоне. Ищите штуки которые поместятся в комп, смотрите число лайков и скачиваний, описание. Нажимаете «Download» — качается в фоне, пока качается одна или несколько моделей можно использовать текущие.
Более умный начал душнить. Про проветривание. Я нахожу эту ненамеренную постсамоиронию очень человечной :)
Нынче уже лучше, чем год назад. Они по‑прежнему тупые, но простые задачи решать уже могут.
Просто надо трезво на это смотреть, без «Локальная qwen 4b a1b обогнала Claude Opus 4.7 в 99% тестов, облака больше не нужны!!1»
Зато dense может решать такую сложную и нетривиальную задачу как «Дай командную строку ffmpeg чтобы вытащить каждый 30 кадр из видео». И не уходит в зацикливание, и без thinking на 10к токенов. В отличие от 35ba3b. Скорость ниже раза в 3, это да (60 т/с вместо 180 т/с), но лучше получать медленнее результат, чем быстрее чушь)
Да
Ну, простота относительна. Я бы из бесплатного посоветовал LibreCAD или FreeCAD (последний вроде ожил, в апреле вышла 1.1.1, есть 3D).
Скрытый текст
Мне нравится как сделан интерфейс в Microsoft Office до 2003 версии включительно. Там все элементы на панельках можно как угодно перетащить и настроить под себя. Панельки вытаскиваются в отдельные окна, прилипают к краям экрана, группируются как угодно. А меню сверху и списки со шрифтами являются частным случаем таких перетаскиваемых кнопочек — туда можно впихивать нужное и убирать ненужное, настраивается абсолютно всё.
Фокус в том что эти менюшки‑кнопочки настраивались в GUI через Drag&Drop. То есть интерфейс был редактором самого себя. Ты не настраиваешь список команд в отдельном окне, ты буквально перетаскиваешь кнопки на панельку/менюшку.
Для простого пользователя это оверкилл+переусложнение. А вот для профессионального использования это прекрасно, я считаю. В VisualStudio кажется до 2008 версии так тоже было можно делать, потом порезали. Вообще, в современном тяжелом софте такое сейчас встречается. Например, в 3ds max есть кастомизируемый ленточный интерфейс, где тоже всё можно таскать и настраивать.
Всё относительно. В те времена это было «вау» и работало, потому что «Windows only» в те времена это даже хлеще чем сейчас «Anrdoid only». Применять современные мерки к тем штукам бессмысленно. Примерно как рассуждать о непрактичности карет с лошадьми на фоне автомобилей.
Фокус в том, что до недавнего времени господа ПЖ были единицами, и у большей части населения возможности реализовать вот этот вот набор поведенческих паттернов «дорвавшегося до власти человека» было мало. Как ведут себя отдельные индивиды с этой проблемой довольно давно известно и расписано в миллионах книг за тысячи лет. Но теперь эта возможность появилась у многих.
У большого количества людей, идущих на поводу у вот этих вот поощряемых ИИ «особенностей поведения», может образоваться (и скорее всего так и будет) некоторый набор эмерджентных свойств, ранее неизвестных. Как у единой социальной системы. Иными словами, раньше «дорвался до власти» было болезнью индивидов, а теперь это может стать эпидемией, которая породит ранее невиданные социальные процессы. Речь сейчас не про плохо это или хорошо, а про то, что это в принципе новая, ранее не изученная социальная динамика с трудно прогнозируемыми последствиями.
Другое дело, что сейчас в мире очень много штук, нагнетающих энтропию и непредсказуемость будущего, и вышеописанная штука может просто затеряться в общей картине.
Было дело, тогда это казалось высокими технологиями. Помню в школе, когда про саму возможность существования таких окон узнал, очень впечатлился и векторный редактор написал под это дело. Ну, чтобы такие окна пихать везде где можно :)
Я не говорил что это «правильно» или «не правильно». Я говорил о причинах, по которым до одного аспекта докапываются, а до другого не докапываются. Грубо говоря, художникам не повезло в данном случае быть «на виду» — продукт их труда видит больше людей, и больше вероятность, что кому то что‑то не понравится.
Я думаю, разница в том, что код игрок не видит, а контент — видит. Я сам не против ИИ, прогресс это хорошо, но я за качество. У большинства современных нейросетей с качеством результата проблемы. Если эти проблемы фиксить перед продакшеном (опять же не важно — руками или автоматом) — вопросов нет. Но их не фиксят.