Всё же мне кажется, эта сборка слабовата для нормального использования с практической стороны, ну поиграться пойдет. Я перебирал варианты, и все варианты получались не менее 300 тысяч с двумя бу видеокартами (в сумме VRAM 48 ГБ), но остальные компоненты новые.
Спасибо за наводку на doug-martin/goqu, но с этими всеми «билдерами» на любом ЯП надо изучать особенности их DSL и особенно, если там есть неочевидные вещи. Если надо миграцию с версии 1 на 2 сделать, тоже дает проблемы. Пока пробуем github.com/VauntDev/tqla, и шаблон используется стандартный text/template.
Меня всегда интересовало, как устроено человеческое мышление и взаимодействие, поэтому психология и коммуникация стали естественной областью для размышлений.
На мой взгляд, Zig — это современный аналог С. Вопрос о том, почему для веб-сервисов выбирают PHP, Python или Go, а не С думаю сразу даст понимание). Отсутствие нужных библиотек тоже дает причину пока не брать его в серьезный проект.
Спасибо за интересный способ. Я тоже экспериментировал с созданием расширения для PHP на Zig и убедился, что это возможно. Однако я бы не стал использовать язык версии до стабильной, так как высок риск нарушения обратной совместимости. В Zig это происходит почти постоянно, как и на Rust до стабильной версии.
Вероятно, я бы рассмотрел изменение архитектуры и процессов, например, с использованием других PHP-фреймворков (roadrunner, reactphp, amphp, swoole) или создание отдельного микросервиса на Go. Но это повлияет на продолжительность и стоимость внедрения. Возможно, ваш подход окажется самым экономичным и быстрым, но имеет высокий риск для дальнейшей эксплуатации из-за возможных проблем.
Я тоже пришёл к тому, чтобы хранить SQL-код отдельно в файлах с embed. Этот подход позволяет подключать различные инструменты для анализа и проверки SQL, а также использовать современные технологии, такие как LLM. Лично мне нравится работать с LLM, так как она действительно помогает выявлять потенциальные проблемы и уведомляет о них в MR (PR).
Конечно, есть сложности с переменными, но, на мой взгляд, их можно размещать в зависимости от контекста в более подходящих местах.
Идея кодогенерации пока кажется мне избыточной и сложной для понимания — это как магия. Но надо будет попробовать и поглядеть, как это будет выглядеть в процессах.
Отлично, что вы увидели проблему и решили ее решить. Данная идея витает в воздухе, если такое реализовать на своей локальной ЛЛМ + RAG + механизм «запоминания» прогресса или истории диалогов, то вполне получится личный тренажер-учитель и практически по любой теме.
Пока кажется, что две б/у видеокарты GeForce RTX 3090 с 24 ГБ памяти (в сумме 48)— оптимальный выбор для домашнего использования в пределах до 300 тысяч рублей. Однако есть риск, что GPU может быть «уставшей».
Спасибо, полезная статья и подталкивает уже начать собирать своего «домового». Вопрос знатокам: если взять GeForce RTX 5060 Ti 16GB + материнку с PCIe 5.0 + AMD Ryzen 9 9950X3D + 192 ГБ DDR5, будет ли комфортно использовать модели, например, Q4 32b, а также подобные, как в статье? Перебирал разные варианты, и ниже 300 т.р. не выходит c 2мя GPU картами.
Запросил данные, и тишина. Снова убедился, что отечественные не умеют продавать и в рекламу. Клиент должен их добиваться чтобы что-то узнать, а надо наоборот.
Спасибо, вполне практически полезная информация про Qodo‑Cover. Пока вручную пишу запросы для генерации тестов, результат разный, но ускоряет рутину это точно. Хотя проект Qodo‑Cover, написали, уже не поддерживается, но надо поиграться с ним и проверить концепцию.
Спасибо за описание. То есть получается если есть "материнка" с 1 x PCIe 5.0 (в режиме x8), 1 x PCIe 5.0 (в режиме x16) и максимально эффективно это поставить 2 "видюхи" GeForce RTX 5070 Ti PCIe 5.0 16 ГБ GDDR7, 256 бит и GeForce RTX 5060 Ti PCIe 5.0 16 ГБ GDDR7, 128 бит.
Всё же мне кажется, эта сборка слабовата для нормального использования с практической стороны, ну поиграться пойдет. Я перебирал варианты, и все варианты получались не менее 300 тысяч с двумя бу видеокартами (в сумме VRAM 48 ГБ), но остальные компоненты новые.
Картинка с зорким глазом реально передает ощущения, когда работаешь с ллм и ходишь по кругу)
Спасибо за наводку на doug-martin/goqu, но с этими всеми «билдерами» на любом ЯП надо изучать особенности их DSL и особенно, если там есть неочевидные вещи. Если надо миграцию с версии 1 на 2 сделать, тоже дает проблемы. Пока пробуем github.com/VauntDev/tqla, и шаблон используется стандартный text/template.
Учитывая что в профиле автора указано это )
На мой взгляд, Zig — это современный аналог С. Вопрос о том, почему для веб-сервисов выбирают PHP, Python или Go, а не С думаю сразу даст понимание). Отсутствие нужных библиотек тоже дает причину пока не брать его в серьезный проект.
Спасибо за интересный способ. Я тоже экспериментировал с созданием расширения для PHP на Zig и убедился, что это возможно. Однако я бы не стал использовать язык версии до стабильной, так как высок риск нарушения обратной совместимости. В Zig это происходит почти постоянно, как и на Rust до стабильной версии.
Вероятно, я бы рассмотрел изменение архитектуры и процессов, например, с использованием других PHP-фреймворков (roadrunner, reactphp, amphp, swoole) или создание отдельного микросервиса на Go. Но это повлияет на продолжительность и стоимость внедрения. Возможно, ваш подход окажется самым экономичным и быстрым, но имеет высокий риск для дальнейшей эксплуатации из-за возможных проблем.
Сейчас многие начали свои сообщения прогонять чрез LLM, например в Яндекс браузер он встроен.
Спасибо за идею и её реализацию.
Я тоже пришёл к тому, чтобы хранить SQL-код отдельно в файлах с embed. Этот подход позволяет подключать различные инструменты для анализа и проверки SQL, а также использовать современные технологии, такие как LLM. Лично мне нравится работать с LLM, так как она действительно помогает выявлять потенциальные проблемы и уведомляет о них в MR (PR).
Конечно, есть сложности с переменными, но, на мой взгляд, их можно размещать в зависимости от контекста в более подходящих местах.
Идея кодогенерации пока кажется мне избыточной и сложной для понимания — это как магия. Но надо будет попробовать и поглядеть, как это будет выглядеть в процессах.
Скрытый текст
Извините не удержался)
Отлично, что вы увидели проблему и решили ее решить. Данная идея витает в воздухе, если такое реализовать на своей локальной ЛЛМ + RAG + механизм «запоминания» прогресса или истории диалогов, то вполне получится личный тренажер-учитель и практически по любой теме.
Всё же думаю, vram побольше надо, и пара 3090 вполне подойдут.
Пока кажется, что две б/у видеокарты GeForce RTX 3090 с 24 ГБ памяти (в сумме 48)— оптимальный выбор для домашнего использования в пределах до 300 тысяч рублей. Однако есть риск, что GPU может быть «уставшей».
Про какие лишние объекты идет речь? Как то связано с выделением памяти?
Спасибо, полезная статья и подталкивает уже начать собирать своего «домового». Вопрос знатокам: если взять GeForce RTX 5060 Ti 16GB + материнку с PCIe 5.0 + AMD Ryzen 9 9950X3D + 192 ГБ DDR5, будет ли комфортно использовать модели, например, Q4 32b, а также подобные, как в статье? Перебирал разные варианты, и ниже 300 т.р. не выходит c 2мя GPU картами.
Интересный эксперимент. В идеале параллельно надо было несколько моделей запустить и сравнить прогресс.
Запросил данные, и тишина. Снова убедился, что отечественные не умеют продавать и в рекламу. Клиент должен их добиваться чтобы что-то узнать, а надо наоборот.
Почти постоянно пишут, что используют «чистый» код. Интересно, есть ли кто напишет, что использует «грязный» код, например, в своем резюме?
Спасибо, вполне практически полезная информация про Qodo‑Cover. Пока вручную пишу запросы для генерации тестов, результат разный, но ускоряет рутину это точно. Хотя проект Qodo‑Cover, написали, уже не поддерживается, но надо поиграться с ним и проверить концепцию.
Спасибо за описание.
То есть получается если есть "материнка" с 1 x PCIe 5.0 (в режиме x8), 1 x PCIe 5.0 (в режиме x16) и максимально эффективно это поставить 2 "видюхи" GeForce RTX 5070 Ti PCIe 5.0 16 ГБ GDDR7, 256 бит и GeForce RTX 5060 Ti PCIe 5.0 16 ГБ GDDR7, 128 бит.
Интересно, как возможно объединить память видеокарт без SLI/NVLink? Не хватает технического описания реализации такого.