Как ни странно, но для относительно простого кода и локальная модель (Qwen2.5-Coder-14B-Instruct-Q4_K_M) и DeepSeek облачный и GigaCode справляются одинаково. Т.е. претензий к результату нет особых. А проверять результат, перед принятием кода всегда нужно (вероятность глюков есть у всех).
"относительно простой" запрос - это типа "java. сделай функцию, извлекающую статические члены класса типа string с формированием List этих строк" + файл класса.
Конечно, запускать это на рабочем компе где и так IDE память нехило отжирает, - это мазохизм. Но для ollama, крутящемся на отдельном серваке с RXT 5060ti 16G вполне быстро. Облачный запрос и локальный приблизительно одинаково по времени. Локальный даже субъективно быстрее (режим stream и ответ "печатает")
Но, правда, каждый раз жаба говорит кваа, когда слышит включение вентилятора, намекая что ресурс своего оборудования не вечен :)
Мда.. Мне надо было тэг сарказм поставить на фраза "50 = кардио". :) Это просто (похоже) локальная шутка в зале про ситуацию, когда кто то занимается с весом, который ну заведомо для него легкий.
Типично, видишь как в зале (новенький, который через месяц максимум уйдет) легко помахивает гантельками без напряга (в жуткой технике) делая 8012 раз (как где то прочитал/сказали). И видно что ему это вообще на "нафиг отвяжись".
я делаю 10-12 раз на тренажере с 250кг блинов на нем (жим ногами) не на отказ на 4-м подходе. И больше не нагружаю не из за того, что не могу больше. А потому что не хочу перегружать суставы. А приседать со штангой, с малыми весами (до 100) особого смысла нет. А большие веса, что могу в принципе и 12 сделать - не хочу. Потому что риски выше чем в тренажере.
В какой то момент вес ограничивается не силой, а опасением за суставы и связки.
Мне не 40.. и даже уже не 50... И в какой то момент понимаешь, что мышцы нарастить и усилить - просто. А вот суставы и связки - нет. Суставные поверхности (хряшь) и межпозвоночные диски вообще человеку одни на всю жизнь даются и они почти не регенерируют.
Так, что когда вам 30, делайте что хотите и не задумывайтесь как вам это потом аукнется или (если повезет) не аукнется.
Я перепробовал несколько разных. Остановился на том, где комфортнее для связок суставов лично мне. Все люди разные. Нужно, конечно же, ориентироваться на свои ощущения (и это даже не боль). Пусть даже весьма тонкие.
У меня в жиме ногами 250 рабочий вес на 12 повторений (хотя это для конретного тренажера в зале и цифра абстрактная). В тренажере я могу контролировать точно положение ступней, коленей и поясницы и знаю/чувствую, что небольшое отклонение уже сопровождается определенными ощущениями в свзязках коленей. И ограничеваю вес исходя из нагрузки на суставы. Приседания со штангой очень давно не делаю ибо очково делать с нормальными весами (а это где то наверное эквивалентно будет 130..170. Точнее не могу сказать. Давно не делал и нет тут явной корреляции с тренажером). Прекрасно понимая, что отклонение на пару градусов и ой.. Да ну нафиг. То же и со становой тягой. Обойдусь без нее. Позвоночник пока без грыж и хочется это сохранить.
Хотя, если человек только пришел в зал и приседает со штангой меньше (раза в 1.5) своего веса, то это наверное не страшно. Или ему 20..25..30 и..
Блин. в 20 приходилось на разминке по очереди бегать/приседать на ходу с тушкой напарника на плечах. Какая там техника то на коротких остановках и кругами перед глазами. И ничего не сломалось/не испортилось и травм не было. тушки были по 80 кг и иногда более.
Так что пусть каждый сам выбирает свой путь в хирургу травмотологу.
Это очень спорный вопрос. Размазывая нагрузку по большому количеству мышц, что бы обеспечить нормальную нагрузку на каждую группу придется увеличивать веса и количество повторений в подходе. А становая и приседания и так весьма травмоопасны. Одна ошибка и привет перерыв в тренировке на пару месяцев (в лучшем случае). А риск ошибки возрастает с утомлением. Тренажер как минимум уменьшает (при прочих равных и понимании что делаешь) риск травмы, по сравнению со свободным весом.
Купил как то, будучи в Сингапуре, кепку с вентилятором в козырьке и солнечной батарейкой на темечке. коллекторный моторчик и пластиковые "подшиники" (одноразовая игрушка) Прикольно и мощно крутился вентилятор.. Там..
Вернулся домой (лето.. инюнь.. Сибирь). Вентилятор на солнце сказал "не.. не хочу" и лениво делал пару оборотов, если подтолкнуть пальцем.
Вам очень большое спасибо! Если бы не были описанны тонкие моменты по шагам, то с установкой провозился бы долго. А так уложился за пол часа (включая поиск фичи с "--runtime nvidia") Как только у Вас времени на все это хватает :)
Заодно и проверил для себя.. "Скорость: 9.6x..18.0x от реального времени" на аудио книге (Длительность: 2ч 12м 40с + Длительность: 3ч 5м 56с). Конечно качетво эталонное аудио. Но все равно весьма цифры радуют.
Хоть будет возможность записывать совещания что бы через пару месяце не отпирались "я это не гооврил. Это не я" :)
Спасибо за скрипт и инструкцию. Помогает не рыскать в поисках инфы. Но, как обычно, установка под linux сопряжена с неожиданностями. В частности
sudo docker run --rm --gpus all nvidia/cuda:13.0.1-base-ubuntu24.04 /bin/bash docker: Error response from daemon: failed to create task for container: failed to create shim task: OCI runtime create failed: runc create failed: unable to start container process: error during container init: error running prestart hook #0: exit status 1, stdout: , stderr: Auto-detected mode as 'legacy' nvidia-container-cli: initialization error: load library failed: libnvidia-ml.so.1: cannot open shared object file: no such file or directory: unknown
Добавление опции "--runtime nvidia" спасает
sudo docker run --runtime nvidia --rm --gpus all nvidia/cuda:13.0.1-base-ubuntu24.04 nvidia-smi Wed Oct 8 09:30:52 2025 +-----------------------------------------------------------------------------------------+ | NVIDIA-SMI 580.95.05 Driver Version: 580.95.05 CUDA Version: 13.0 | +-----------------------------------------+------------------------+----------------------+
Работает и без sudo.
И, кстати, так конечно видно что не так.. но если кто будет запускать не разбираясь, то наткнется что образ "nvidia/cuda:12.4.1-base-ubuntu22.04" с v12.0|24.04 не совместим (не работает). Мне понадобилосьт взять nvidia/cuda:13.0.1-base-ubuntu24.04. А строка "nvidia/cuda:12.4.1-base-ubuntu22.04" захардкодена.
Короткий скролл и умение читать по диагонали - это необходимость. Потому что, 99% информации в Интеренете это мусор. А в последнее время еще и мусор автоматически сгенеренный LLM. И просто необходимо уметь оценить с ходу "а стоит ли внимательно читать вообще". И то что действительно важно читается вдумчиво.
Да и художественной литературы это касается.
Когда-нибудь ловили себя на том, что открываете книгу, с которой раньше провели бы всю ночь, и уже через три страницы рука инстинктивно тянется к телефону?
Это значит, что и книжка скорее всего мусор, написанный графоманом. Почему то от некоторых "других" книг приходится заставлять себя оторваться что бы "лечь спать не в 5 утра".
Синхронист, пусть даже в теме, ну просто не может иметь глубокие познания в криптографии, технологии создания чипа (в частности для SmartCard), программировании (узконишевом). Это то с чем я сталкивался. А у каждой такой узкой темы свой язык (жаргон). Иногда лучше вообще не переводить.
Медиков вообще не понимаю, когда они начинают на своем русском (!) языке говорить :)
А вообще, что бы быть синхронистом, это нужно иметь какие то особые мозги. Я, например, не могу думать сразу на двух языках, что бы переключаться мгновенно и пересказывать на лету вслух (!) в режимере реального времени. А при таких попытках получается коряво и голова начинает болеть уже через 5 минут от этого. :)
Пока собственный опыт не покажет разницу, все эти рассуждения слишком теоретические. По факту я вот не скажу что лучше, синхронист с опытом или LLM для тех же целей (синхронный перевод речи). Не буду гадать.
Перевод текстов на английском (технических и литературных), ради интереса, смотрел. И часто раздражает результ. Хочется иногда сказать "ну коряво.. не передан смысл правильно.. упущено это/то". Поэтому не пользуюсь автопереводом. Ну или в крайнем случае как подстрочник.
То вот китайский.. вижу перевод и не могу проверить. А по аналогии англ->рус перевода понимаю, что и тут могут быть (однозначно есть) неточности и.. И скорее всего их больше чем для других языков. Но китайский (и культурный контекст) пока учить не готов :) Но и в 100% точность машинного первода не особо верю.
Мысль, которую я хотел донести изначально: "LLM хорошо как помошник. Но и самому другой язык и контекст знать весьма не помешает. Иначе можно нарваться на ложный перевод". И не более.
К слову, GigaChat это сберовская сеть. Туповатая, особенно в программировании (локальные LLM на 8-20b зачатую лучше подсказывают), но зато бесплатная и доступная.
Кстати, задавать вопросы по свежим темам - это способ оценить когда последний раз обучали/дообучали LLM. И то что ответы из за этого могут быть не полные/ложные. И не зная ничего про тему можно такой ответ приянть за истину. И именно это я хотел показать. Впрочем это уже становится банальностью, что ответам LLM доверять нельзя.
ну ну.. Особенно если это тема в Интернете в общем то не представлена, поскольку и документация под NDA и просто информация скудна. Или просто сетка была обучена где назад.
Просто пример (исключительно для иллюстрации, ну что бы далеко не ходить).. Задайте вопрос "что можешь сказать про использование RTX 5070 для LLM" в GigaChat (GigaChat - просто под рукой и доступен бесплатно)
Ответ: "..На данный момент видеокарты серии NVIDIA GeForce RTX 5000-го семейства официально ещё не представлены, включая RTX 5070. Если бы такая карта существовала, исходя из общих тенденций..."
Вот так же будет с переводом специфичных терминов из узких областей. А конференции и новые статьи, которые зочется перевести обычно посвящены чему то новому. И часто новая терминология и пр.
на МРТ отлично видно сколько. Обычно на срезе (уровень пупка) легко оценить площадь органов, мышц и жира. Сам по себе он должен быть (защищает внутренние органы, например) вопрос в количестве..
Попадалась как то "Алиса в стране чудес". На английском. Где комментарии (описания откуда и почему именно такая фраза) по объему были больше чем текст. Книга для студентов - лингвистов (англоязычных, к слову).
А "переводы" книг часто превращаются в самостоятельные произведения. Ибо читателю исходный контекст не известен. Его изучать нужно.
А ИИ.. ну какой это ИИ. Это LLM - предсказатель следующего токена на основе анализа (фиксированного и детерминированного по большому счету). На чем на "учили" (подбирали значения матриц), на том и предсказывает.
LLM полезен как "быстрый справочник" при переводах. не более. Когда и сам знаешь большую часть результата.
Я бывал на конференция с синхронистом переводчиком. Зачастую хочется его поправить, когда он переводит (многие в зале так и делали шепотом, не удержавшись :)). Ну просто потому что он не в теме и, зачастую, переводит не точно или вообще явно искажая смысл. Просто потому что с этими спец. темами не сталкивался.
LLM - такой же синхронист. Да.. дешево. Да.. быстро. Да, замечательно для стандартных "бытовых" тем. Но смысл в тонкостях теряет или вообще врет, если контекст специфичный.
И это "врет"/"упускает" смысл может быть, в некоторых случях, весьма неприятным.
Объем документации постоянно растет, в связи с этим дообучение модели не совсем подходит для наших задач.
Спасибо за ответ. Почему то все идут по этому пути.
Но, мне кажется, что выбор между дообучением регулярным + системный промпт на основе свежей инфы или RAG с поиском не столь очевиден для справочной (фактически) системы в довольно узкой теме знаний.
Есть базовый набор отлитый в бронзе. И в приницпе достаточно (ну по моим оценкам)
Выполнять дообучение раз в год/полгода.
не делать векторный поиск и в RAG запихивать только новое/изменение (из важных) источников которое вполне поместится в контекстное окно целиком.
Раз в несколько месяцев частично в ручном, частично автоматизированном (скритпы) режиме собрать данные из чатов/переписки/документов/описания API/jira и пр. проще чем организаовывать доступ к этому всему в автоматизированном режиме (доступ, метод разбиения на чанки и пр.) для векторного поиска.
Никто же не мешает держать нестколько маленьких LLM на конретные темы. Просто вообще толком никакой информации нет по.. что бы обосновать предложение на работе. Хоть прям на своем домашнем компе эксперементируй (наверное так и придется).
Как ни странно, но для относительно простого кода и локальная модель (Qwen2.5-Coder-14B-Instruct-Q4_K_M) и DeepSeek облачный и GigaCode справляются одинаково. Т.е. претензий к результату нет особых. А проверять результат, перед принятием кода всегда нужно (вероятность глюков есть у всех).
"относительно простой" запрос - это типа "java. сделай функцию, извлекающую статические члены класса типа string с формированием List этих строк" + файл класса.
Конечно, запускать это на рабочем компе где и так IDE память нехило отжирает, - это мазохизм. Но для ollama, крутящемся на отдельном серваке с RXT 5060ti 16G вполне быстро.
Облачный запрос и локальный приблизительно одинаково по времени. Локальный даже субъективно быстрее (режим stream и ответ "печатает")
Но, правда, каждый раз жаба говорит кваа, когда слышит включение вентилятора, намекая что ресурс своего оборудования не вечен :)
Мда.. Мне надо было тэг сарказм поставить на фраза "50 = кардио". :)
Это просто (похоже) локальная шутка в зале про ситуацию, когда кто то занимается с весом, который ну заведомо для него легкий.
Типично, видишь как в зале (новенький, который через месяц максимум уйдет) легко помахивает гантельками без напряга (в жуткой технике) делая 8012 раз (как где то прочитал/сказали). И видно что ему это вообще на "нафиг отвяжись".
Вот и шутка "делает кардио с весами".
я делаю 10-12 раз на тренажере с 250кг блинов на нем (жим ногами) не на отказ на 4-м подходе. И больше не нагружаю не из за того, что не могу больше. А потому что не хочу перегружать суставы.
А приседать со штангой, с малыми весами (до 100) особого смысла нет. А большие веса, что могу в принципе и 12 сделать - не хочу. Потому что риски выше чем в тренажере.
В какой то момент вес ограничивается не силой, а опасением за суставы и связки.
Мне не 40.. и даже уже не 50...
И в какой то момент понимаешь, что мышцы нарастить и усилить - просто.
А вот суставы и связки - нет. Суставные поверхности (хряшь) и межпозвоночные диски вообще человеку одни на всю жизнь даются и они почти не регенерируют.
Так, что когда вам 30, делайте что хотите и не задумывайтесь как вам это потом аукнется или (если повезет) не аукнется.
С небольшим весом это получится кардио... на 50 раз.
То же полезно. Но я лучше на гребном тренажере минут 30 погребу. Это интереснее.
Я перепробовал несколько разных. Остановился на том, где комфортнее для связок суставов лично мне. Все люди разные. Нужно, конечно же, ориентироваться на свои ощущения (и это даже не боль). Пусть даже весьма тонкие.
ну так я про это и говорил. Про риск травмы.
У меня в жиме ногами 250 рабочий вес на 12 повторений (хотя это для конретного тренажера в зале и цифра абстрактная). В тренажере я могу контролировать точно положение ступней, коленей и поясницы и знаю/чувствую, что небольшое отклонение уже сопровождается определенными ощущениями в свзязках коленей. И ограничеваю вес исходя из нагрузки на суставы.
Приседания со штангой очень давно не делаю ибо очково делать с нормальными весами (а это где то наверное эквивалентно будет 130..170. Точнее не могу сказать. Давно не делал и нет тут явной корреляции с тренажером). Прекрасно понимая, что отклонение на пару градусов и ой.. Да ну нафиг.
То же и со становой тягой. Обойдусь без нее. Позвоночник пока без грыж и хочется это сохранить.
Хотя, если человек только пришел в зал и приседает со штангой меньше (раза в 1.5) своего веса, то это наверное не страшно. Или ему 20..25..30 и..
Блин. в 20 приходилось на разминке по очереди бегать/приседать на ходу с тушкой напарника на плечах. Какая там техника то на коротких остановках и кругами перед глазами. И ничего не сломалось/не испортилось и травм не было.
тушки были по 80 кг и иногда более.
Так что пусть каждый сам выбирает свой путь в хирургу травмотологу.
Это очень спорный вопрос.
Размазывая нагрузку по большому количеству мышц, что бы обеспечить нормальную нагрузку на каждую группу придется увеличивать веса и количество повторений в подходе. А становая и приседания и так весьма травмоопасны. Одна ошибка и привет перерыв в тренировке на пару месяцев (в лучшем случае). А риск ошибки возрастает с утомлением.
Тренажер как минимум уменьшает (при прочих равных и понимании что делаешь) риск травмы, по сравнению со свободным весом.
передыдущий коммент был ближе к сути :)
Это просто наглядный пример, показывающий разницу солнечной энергии на единицу площади в разных широтах.
Хотя наверное у Вас был сарказм :)
Почему то вспомнилось..
Купил как то, будучи в Сингапуре, кепку с вентилятором в козырьке и солнечной батарейкой на темечке.
коллекторный моторчик и пластиковые "подшиники" (одноразовая игрушка)
Прикольно и мощно крутился вентилятор.. Там..
Вернулся домой (лето.. инюнь.. Сибирь). Вентилятор на солнце сказал "не.. не хочу" и лениво делал пару оборотов, если подтолкнуть пальцем.
Просто вспомнилось.
Вам очень большое спасибо!
Если бы не были описанны тонкие моменты по шагам, то с установкой провозился бы долго. А так уложился за пол часа (включая поиск фичи с "--runtime nvidia")
Как только у Вас времени на все это хватает :)
Заодно и проверил для себя.. "Скорость: 9.6x..18.0x от реального времени" на аудио книге (Длительность: 2ч 12м 40с + Длительность: 3ч 5м 56с). Конечно качетво эталонное аудио. Но все равно весьма цифры радуют.
Хоть будет возможность записывать совещания что бы через пару месяце не отпирались "я это не гооврил. Это не я" :)
Спасибо за скрипт и инструкцию. Помогает не рыскать в поисках инфы.
Но, как обычно, установка под linux сопряжена с неожиданностями.
В частности
Добавление опции "--runtime nvidia" спасает
Работает и без sudo.
И, кстати, так конечно видно что не так.. но если кто будет запускать не разбираясь, то наткнется что образ "nvidia/cuda:12.4.1-base-ubuntu22.04" с v12.0|24.04 не совместим (не работает). Мне понадобилосьт взять nvidia/cuda:13.0.1-base-ubuntu24.04.
А строка "nvidia/cuda:12.4.1-base-ubuntu22.04" захардкодена.
Короткий скролл и умение читать по диагонали - это необходимость.
Потому что, 99% информации в Интеренете это мусор. А в последнее время еще и мусор автоматически сгенеренный LLM.
И просто необходимо уметь оценить с ходу "а стоит ли внимательно читать вообще".
И то что действительно важно читается вдумчиво.
Да и художественной литературы это касается.
Это значит, что и книжка скорее всего мусор, написанный графоманом. Почему то от некоторых "других" книг приходится заставлять себя оторваться что бы "лечь спать не в 5 утра".
Новый шаг
Синхронист, пусть даже в теме, ну просто не может иметь глубокие познания в криптографии, технологии создания чипа (в частности для SmartCard), программировании (узконишевом). Это то с чем я сталкивался. А у каждой такой узкой темы свой язык (жаргон). Иногда лучше вообще не переводить.
Медиков вообще не понимаю, когда они начинают на своем русском (!) языке говорить :)
А вообще, что бы быть синхронистом, это нужно иметь какие то особые мозги.
Я, например, не могу думать сразу на двух языках, что бы переключаться мгновенно и пересказывать на лету вслух (!) в режимере реального времени.
А при таких попытках получается коряво и голова начинает болеть уже через 5 минут от этого. :)
Пока собственный опыт не покажет разницу, все эти рассуждения слишком теоретические. По факту я вот не скажу что лучше, синхронист с опытом или LLM для тех же целей (синхронный перевод речи). Не буду гадать.
Перевод текстов на английском (технических и литературных), ради интереса, смотрел. И часто раздражает результ. Хочется иногда сказать "ну коряво.. не передан смысл правильно.. упущено это/то". Поэтому не пользуюсь автопереводом. Ну или в крайнем случае как подстрочник.
То вот китайский.. вижу перевод и не могу проверить. А по аналогии англ->рус перевода понимаю, что и тут могут быть (однозначно есть) неточности и..
И скорее всего их больше чем для других языков. Но китайский (и культурный контекст) пока учить не готов :)
Но и в 100% точность машинного первода не особо верю.
Мысль, которую я хотел донести изначально: "LLM хорошо как помошник. Но и самому другой язык и контекст знать весьма не помешает. Иначе можно нарваться на ложный перевод".
И не более.
К слову, GigaChat это сберовская сеть. Туповатая, особенно в программировании (локальные LLM на 8-20b зачатую лучше подсказывают), но зато бесплатная и доступная.
Кстати, задавать вопросы по свежим темам - это способ оценить когда последний раз обучали/дообучали LLM. И то что ответы из за этого могут быть не полные/ложные. И не зная ничего про тему можно такой ответ приянть за истину. И именно это я хотел показать.
Впрочем это уже становится банальностью, что ответам LLM доверять нельзя.
ну ну..
Особенно если это тема в Интернете в общем то не представлена, поскольку и документация под NDA и просто информация скудна.
Или просто сетка была обучена где назад.
Просто пример (исключительно для иллюстрации, ну что бы далеко не ходить)..
Задайте вопрос "что можешь сказать про использование RTX 5070 для LLM" в GigaChat (GigaChat - просто под рукой и доступен бесплатно)
Ответ: "..На данный момент видеокарты серии NVIDIA GeForce RTX 5000-го семейства официально ещё не представлены, включая RTX 5070. Если бы такая карта существовала, исходя из общих тенденций..."
Вот так же будет с переводом специфичных терминов из узких областей. А конференции и новые статьи, которые зочется перевести обычно посвящены чему то новому. И часто новая терминология и пр.
на МРТ отлично видно сколько.
Обычно на срезе (уровень пупка) легко оценить площадь органов, мышц и жира.
Сам по себе он должен быть (защищает внутренние органы, например)
вопрос в количестве..
Попадалась как то "Алиса в стране чудес".
На английском. Где комментарии (описания откуда и почему именно такая фраза) по объему были больше чем текст. Книга для студентов - лингвистов (англоязычных, к слову).
А "переводы" книг часто превращаются в самостоятельные произведения. Ибо читателю исходный контекст не известен. Его изучать нужно.
А ИИ.. ну какой это ИИ.
Это LLM - предсказатель следующего токена на основе анализа (фиксированного и детерминированного по большому счету). На чем на "учили" (подбирали значения матриц), на том и предсказывает.
LLM полезен как "быстрый справочник" при переводах. не более. Когда и сам знаешь большую часть результата.
Я бывал на конференция с синхронистом переводчиком. Зачастую хочется его поправить, когда он переводит (многие в зале так и делали шепотом, не удержавшись :)). Ну просто потому что он не в теме и, зачастую, переводит не точно или вообще явно искажая смысл. Просто потому что с этими спец. темами не сталкивался.
LLM - такой же синхронист. Да.. дешево. Да.. быстро. Да, замечательно для стандартных "бытовых" тем.
Но смысл в тонкостях теряет или вообще врет, если контекст специфичный.
И это "врет"/"упускает" смысл может быть, в некоторых случях, весьма неприятным.
Спасибо за ответ.
Почему то все идут по этому пути.
Но, мне кажется, что выбор между дообучением регулярным + системный промпт на основе свежей инфы или RAG с поиском не столь очевиден для справочной (фактически) системы в довольно узкой теме знаний.
Есть базовый набор отлитый в бронзе. И в приницпе достаточно (ну по моим оценкам)
Выполнять дообучение раз в год/полгода.
не делать векторный поиск и в RAG запихивать только новое/изменение (из важных) источников которое вполне поместится в контекстное окно целиком.
Раз в несколько месяцев частично в ручном, частично автоматизированном (скритпы) режиме собрать данные из чатов/переписки/документов/описания API/jira и пр. проще чем организаовывать доступ к этому всему в автоматизированном режиме (доступ, метод разбиения на чанки и пр.) для векторного поиска.
Никто же не мешает держать нестколько маленьких LLM на конретные темы.
Просто вообще толком никакой информации нет по.. что бы обосновать предложение на работе.
Хоть прям на своем домашнем компе эксперементируй (наверное так и придется).