Купил как то, будучи в Сингапуре, кепку с вентилятором в козырьке и солнечной батарейкой на темечке. коллекторный моторчик и пластиковые "подшиники" (одноразовая игрушка) Прикольно и мощно крутился вентилятор.. Там..
Вернулся домой (лето.. инюнь.. Сибирь). Вентилятор на солнце сказал "не.. не хочу" и лениво делал пару оборотов, если подтолкнуть пальцем.
Вам очень большое спасибо! Если бы не были описанны тонкие моменты по шагам, то с установкой провозился бы долго. А так уложился за пол часа (включая поиск фичи с "--runtime nvidia") Как только у Вас времени на все это хватает :)
Заодно и проверил для себя.. "Скорость: 9.6x..18.0x от реального времени" на аудио книге (Длительность: 2ч 12м 40с + Длительность: 3ч 5м 56с). Конечно качетво эталонное аудио. Но все равно весьма цифры радуют.
Хоть будет возможность записывать совещания что бы через пару месяце не отпирались "я это не гооврил. Это не я" :)
Спасибо за скрипт и инструкцию. Помогает не рыскать в поисках инфы. Но, как обычно, установка под linux сопряжена с неожиданностями. В частности
sudo docker run --rm --gpus all nvidia/cuda:13.0.1-base-ubuntu24.04 /bin/bash docker: Error response from daemon: failed to create task for container: failed to create shim task: OCI runtime create failed: runc create failed: unable to start container process: error during container init: error running prestart hook #0: exit status 1, stdout: , stderr: Auto-detected mode as 'legacy' nvidia-container-cli: initialization error: load library failed: libnvidia-ml.so.1: cannot open shared object file: no such file or directory: unknown
Добавление опции "--runtime nvidia" спасает
sudo docker run --runtime nvidia --rm --gpus all nvidia/cuda:13.0.1-base-ubuntu24.04 nvidia-smi Wed Oct 8 09:30:52 2025 +-----------------------------------------------------------------------------------------+ | NVIDIA-SMI 580.95.05 Driver Version: 580.95.05 CUDA Version: 13.0 | +-----------------------------------------+------------------------+----------------------+
Работает и без sudo.
И, кстати, так конечно видно что не так.. но если кто будет запускать не разбираясь, то наткнется что образ "nvidia/cuda:12.4.1-base-ubuntu22.04" с v12.0|24.04 не совместим (не работает). Мне понадобилосьт взять nvidia/cuda:13.0.1-base-ubuntu24.04. А строка "nvidia/cuda:12.4.1-base-ubuntu22.04" захардкодена.
Короткий скролл и умение читать по диагонали - это необходимость. Потому что, 99% информации в Интеренете это мусор. А в последнее время еще и мусор автоматически сгенеренный LLM. И просто необходимо уметь оценить с ходу "а стоит ли внимательно читать вообще". И то что действительно важно читается вдумчиво.
Да и художественной литературы это касается.
Когда-нибудь ловили себя на том, что открываете книгу, с которой раньше провели бы всю ночь, и уже через три страницы рука инстинктивно тянется к телефону?
Это значит, что и книжка скорее всего мусор, написанный графоманом. Почему то от некоторых "других" книг приходится заставлять себя оторваться что бы "лечь спать не в 5 утра".
Синхронист, пусть даже в теме, ну просто не может иметь глубокие познания в криптографии, технологии создания чипа (в частности для SmartCard), программировании (узконишевом). Это то с чем я сталкивался. А у каждой такой узкой темы свой язык (жаргон). Иногда лучше вообще не переводить.
Медиков вообще не понимаю, когда они начинают на своем русском (!) языке говорить :)
А вообще, что бы быть синхронистом, это нужно иметь какие то особые мозги. Я, например, не могу думать сразу на двух языках, что бы переключаться мгновенно и пересказывать на лету вслух (!) в режимере реального времени. А при таких попытках получается коряво и голова начинает болеть уже через 5 минут от этого. :)
Пока собственный опыт не покажет разницу, все эти рассуждения слишком теоретические. По факту я вот не скажу что лучше, синхронист с опытом или LLM для тех же целей (синхронный перевод речи). Не буду гадать.
Перевод текстов на английском (технических и литературных), ради интереса, смотрел. И часто раздражает результ. Хочется иногда сказать "ну коряво.. не передан смысл правильно.. упущено это/то". Поэтому не пользуюсь автопереводом. Ну или в крайнем случае как подстрочник.
То вот китайский.. вижу перевод и не могу проверить. А по аналогии англ->рус перевода понимаю, что и тут могут быть (однозначно есть) неточности и.. И скорее всего их больше чем для других языков. Но китайский (и культурный контекст) пока учить не готов :) Но и в 100% точность машинного первода не особо верю.
Мысль, которую я хотел донести изначально: "LLM хорошо как помошник. Но и самому другой язык и контекст знать весьма не помешает. Иначе можно нарваться на ложный перевод". И не более.
К слову, GigaChat это сберовская сеть. Туповатая, особенно в программировании (локальные LLM на 8-20b зачатую лучше подсказывают), но зато бесплатная и доступная.
Кстати, задавать вопросы по свежим темам - это способ оценить когда последний раз обучали/дообучали LLM. И то что ответы из за этого могут быть не полные/ложные. И не зная ничего про тему можно такой ответ приянть за истину. И именно это я хотел показать. Впрочем это уже становится банальностью, что ответам LLM доверять нельзя.
ну ну.. Особенно если это тема в Интернете в общем то не представлена, поскольку и документация под NDA и просто информация скудна. Или просто сетка была обучена где назад.
Просто пример (исключительно для иллюстрации, ну что бы далеко не ходить).. Задайте вопрос "что можешь сказать про использование RTX 5070 для LLM" в GigaChat (GigaChat - просто под рукой и доступен бесплатно)
Ответ: "..На данный момент видеокарты серии NVIDIA GeForce RTX 5000-го семейства официально ещё не представлены, включая RTX 5070. Если бы такая карта существовала, исходя из общих тенденций..."
Вот так же будет с переводом специфичных терминов из узких областей. А конференции и новые статьи, которые зочется перевести обычно посвящены чему то новому. И часто новая терминология и пр.
на МРТ отлично видно сколько. Обычно на срезе (уровень пупка) легко оценить площадь органов, мышц и жира. Сам по себе он должен быть (защищает внутренние органы, например) вопрос в количестве..
Попадалась как то "Алиса в стране чудес". На английском. Где комментарии (описания откуда и почему именно такая фраза) по объему были больше чем текст. Книга для студентов - лингвистов (англоязычных, к слову).
А "переводы" книг часто превращаются в самостоятельные произведения. Ибо читателю исходный контекст не известен. Его изучать нужно.
А ИИ.. ну какой это ИИ. Это LLM - предсказатель следующего токена на основе анализа (фиксированного и детерминированного по большому счету). На чем на "учили" (подбирали значения матриц), на том и предсказывает.
LLM полезен как "быстрый справочник" при переводах. не более. Когда и сам знаешь большую часть результата.
Я бывал на конференция с синхронистом переводчиком. Зачастую хочется его поправить, когда он переводит (многие в зале так и делали шепотом, не удержавшись :)). Ну просто потому что он не в теме и, зачастую, переводит не точно или вообще явно искажая смысл. Просто потому что с этими спец. темами не сталкивался.
LLM - такой же синхронист. Да.. дешево. Да.. быстро. Да, замечательно для стандартных "бытовых" тем. Но смысл в тонкостях теряет или вообще врет, если контекст специфичный.
И это "врет"/"упускает" смысл может быть, в некоторых случях, весьма неприятным.
Объем документации постоянно растет, в связи с этим дообучение модели не совсем подходит для наших задач.
Спасибо за ответ. Почему то все идут по этому пути.
Но, мне кажется, что выбор между дообучением регулярным + системный промпт на основе свежей инфы или RAG с поиском не столь очевиден для справочной (фактически) системы в довольно узкой теме знаний.
Есть базовый набор отлитый в бронзе. И в приницпе достаточно (ну по моим оценкам)
Выполнять дообучение раз в год/полгода.
не делать векторный поиск и в RAG запихивать только новое/изменение (из важных) источников которое вполне поместится в контекстное окно целиком.
Раз в несколько месяцев частично в ручном, частично автоматизированном (скритпы) режиме собрать данные из чатов/переписки/документов/описания API/jira и пр. проще чем организаовывать доступ к этому всему в автоматизированном режиме (доступ, метод разбиения на чанки и пр.) для векторного поиска.
Никто же не мешает держать нестколько маленьких LLM на конретные темы. Просто вообще толком никакой информации нет по.. что бы обосновать предложение на работе. Хоть прям на своем домашнем компе эксперементируй (наверное так и придется).
Когда встал вопрос "нужно переписать с 2.7 на свежее", то опыт показал, что переписывать исходники, скорее всего, придется даже между версиями 3.* поскольку и либы не совместимы частично и пр. И боль с установкой окружения для разных версий.
Да ну нафиг. Преписано важное на java и забыта проблема.
Но и сейчас изредка возникают атавистические боли типа "ой. есть/был же скрипт анализа логов под эту ситуацию.. Ааа. он еще на 2.7 был сделан тогда".
Идите нафиг с этим питоном и его версионностью.
Я бы изменил заголовок на "Использование Python обходится компаниям в миллионы долларов".
Все идут по пути RAG+большая LLM (в облаке по подписке)
Все пытаюсь найти опыт дообучения локальной небольшй (7-12b) LLM на документации и данных компании. Что бы понять ресурсы (и время) на обучениие и какой результат будет. Внутреннюю документацию под NDA в облако бросать.. незя.. а RAG+offline LLM с большим конеткстным окном нынче не дешево (GPU память).
А вы не думали над вариантом дообучения локальной LLM?
Интересно откуда такой язык. Уже много статей вижу, где терминология и аналогии из разработки ПО используются для рассказа про совсем левую, по отношениею к разработке ПО, тему.
Это способ привлечь внимание, излагая мысли таким извращенным способом, или что?
Мы привыкли к CI/CD для кода. Почему бы не применить CI/CD для организма?
Мы? Не надо обобщать. Как то я, и все мои знакомые, не пытаются рассуждать о музыке, здоровье, политике и т.д. используя весьма узкую терминологию из своей проффессиональной деятельности.
Причем, в данной статье, терминология и пр. узки даже в рамках сферы разработки ПО. Если хотели эпатировать читателей стилем... Не знаю как для других, а мне не понравилось (зачем я это читал.. зачем я это комментировал... впрочем, завтрак с прочтением не напрягающих голову статей на хабре)
Не стоит пытаться натянуть сову на глобус. Результат не эстетично выглядит.
Глаза резало явное восхваление AutoFAQ Xplain пока читал. Ну слишком уж много приторно сладких восхвалений. А потом ой.."Хабы:Блог компании AutoFAQ" в конце увидел.
Ну блин. Даже если AutoFAQ и действительно хорошь, но осадочек остался не приятный. Ошущение, что наткнулся на зазывалу на восточном базаре. Неприятно однако.
Будучи как то на конференции/презентации (Thales) столкнулся с тем, что одного из выступающих понимаю отлично а другого вообще только отдельные обрывки. Говорил каким то неперрывным звуком, растягивая слова и без промежутков (не могу даже сказать что не так. но не воспринимал вообще). В кулуарах почемуто народ обзался в основном с тем, кого все понимали (видимо не только у меня была проблема с воприятиме на слух второго:) ) Задал кто то вопрос в шутку "а чего так". В ответ он скзал что и сам его плохо понимает иногда и приходится напрягаться. Сказав что он из "южных штатов". Оба граждане US не в первом поколении (как я понял). Может и этот ответ прозвучал в шутку.. но чего то запомнилось.
Все эти 9 из 10... К примеру, гранты по медицине (Россия) - принимают заявки только если используется ИИ. Вот и притягивай за уши будь добр. Нужно это или нет в конкретной теме. (знаю, поскольку со мной консулитировалсь как "притянуть за уши" что бы..)
передыдущий коммент был ближе к сути :)
Это просто наглядный пример, показывающий разницу солнечной энергии на единицу площади в разных широтах.
Хотя наверное у Вас был сарказм :)
Почему то вспомнилось..
Купил как то, будучи в Сингапуре, кепку с вентилятором в козырьке и солнечной батарейкой на темечке.
коллекторный моторчик и пластиковые "подшиники" (одноразовая игрушка)
Прикольно и мощно крутился вентилятор.. Там..
Вернулся домой (лето.. инюнь.. Сибирь). Вентилятор на солнце сказал "не.. не хочу" и лениво делал пару оборотов, если подтолкнуть пальцем.
Просто вспомнилось.
Вам очень большое спасибо!
Если бы не были описанны тонкие моменты по шагам, то с установкой провозился бы долго. А так уложился за пол часа (включая поиск фичи с "--runtime nvidia")
Как только у Вас времени на все это хватает :)
Заодно и проверил для себя.. "Скорость: 9.6x..18.0x от реального времени" на аудио книге (Длительность: 2ч 12м 40с + Длительность: 3ч 5м 56с). Конечно качетво эталонное аудио. Но все равно весьма цифры радуют.
Хоть будет возможность записывать совещания что бы через пару месяце не отпирались "я это не гооврил. Это не я" :)
Спасибо за скрипт и инструкцию. Помогает не рыскать в поисках инфы.
Но, как обычно, установка под linux сопряжена с неожиданностями.
В частности
Добавление опции "--runtime nvidia" спасает
Работает и без sudo.
И, кстати, так конечно видно что не так.. но если кто будет запускать не разбираясь, то наткнется что образ "nvidia/cuda:12.4.1-base-ubuntu22.04" с v12.0|24.04 не совместим (не работает). Мне понадобилосьт взять nvidia/cuda:13.0.1-base-ubuntu24.04.
А строка "nvidia/cuda:12.4.1-base-ubuntu22.04" захардкодена.
Короткий скролл и умение читать по диагонали - это необходимость.
Потому что, 99% информации в Интеренете это мусор. А в последнее время еще и мусор автоматически сгенеренный LLM.
И просто необходимо уметь оценить с ходу "а стоит ли внимательно читать вообще".
И то что действительно важно читается вдумчиво.
Да и художественной литературы это касается.
Это значит, что и книжка скорее всего мусор, написанный графоманом. Почему то от некоторых "других" книг приходится заставлять себя оторваться что бы "лечь спать не в 5 утра".
Новый шаг
Синхронист, пусть даже в теме, ну просто не может иметь глубокие познания в криптографии, технологии создания чипа (в частности для SmartCard), программировании (узконишевом). Это то с чем я сталкивался. А у каждой такой узкой темы свой язык (жаргон). Иногда лучше вообще не переводить.
Медиков вообще не понимаю, когда они начинают на своем русском (!) языке говорить :)
А вообще, что бы быть синхронистом, это нужно иметь какие то особые мозги.
Я, например, не могу думать сразу на двух языках, что бы переключаться мгновенно и пересказывать на лету вслух (!) в режимере реального времени.
А при таких попытках получается коряво и голова начинает болеть уже через 5 минут от этого. :)
Пока собственный опыт не покажет разницу, все эти рассуждения слишком теоретические. По факту я вот не скажу что лучше, синхронист с опытом или LLM для тех же целей (синхронный перевод речи). Не буду гадать.
Перевод текстов на английском (технических и литературных), ради интереса, смотрел. И часто раздражает результ. Хочется иногда сказать "ну коряво.. не передан смысл правильно.. упущено это/то". Поэтому не пользуюсь автопереводом. Ну или в крайнем случае как подстрочник.
То вот китайский.. вижу перевод и не могу проверить. А по аналогии англ->рус перевода понимаю, что и тут могут быть (однозначно есть) неточности и..
И скорее всего их больше чем для других языков. Но китайский (и культурный контекст) пока учить не готов :)
Но и в 100% точность машинного первода не особо верю.
Мысль, которую я хотел донести изначально: "LLM хорошо как помошник. Но и самому другой язык и контекст знать весьма не помешает. Иначе можно нарваться на ложный перевод".
И не более.
К слову, GigaChat это сберовская сеть. Туповатая, особенно в программировании (локальные LLM на 8-20b зачатую лучше подсказывают), но зато бесплатная и доступная.
Кстати, задавать вопросы по свежим темам - это способ оценить когда последний раз обучали/дообучали LLM. И то что ответы из за этого могут быть не полные/ложные. И не зная ничего про тему можно такой ответ приянть за истину. И именно это я хотел показать.
Впрочем это уже становится банальностью, что ответам LLM доверять нельзя.
ну ну..
Особенно если это тема в Интернете в общем то не представлена, поскольку и документация под NDA и просто информация скудна.
Или просто сетка была обучена где назад.
Просто пример (исключительно для иллюстрации, ну что бы далеко не ходить)..
Задайте вопрос "что можешь сказать про использование RTX 5070 для LLM" в GigaChat (GigaChat - просто под рукой и доступен бесплатно)
Ответ: "..На данный момент видеокарты серии NVIDIA GeForce RTX 5000-го семейства официально ещё не представлены, включая RTX 5070. Если бы такая карта существовала, исходя из общих тенденций..."
Вот так же будет с переводом специфичных терминов из узких областей. А конференции и новые статьи, которые зочется перевести обычно посвящены чему то новому. И часто новая терминология и пр.
на МРТ отлично видно сколько.
Обычно на срезе (уровень пупка) легко оценить площадь органов, мышц и жира.
Сам по себе он должен быть (защищает внутренние органы, например)
вопрос в количестве..
Попадалась как то "Алиса в стране чудес".
На английском. Где комментарии (описания откуда и почему именно такая фраза) по объему были больше чем текст. Книга для студентов - лингвистов (англоязычных, к слову).
А "переводы" книг часто превращаются в самостоятельные произведения. Ибо читателю исходный контекст не известен. Его изучать нужно.
А ИИ.. ну какой это ИИ.
Это LLM - предсказатель следующего токена на основе анализа (фиксированного и детерминированного по большому счету). На чем на "учили" (подбирали значения матриц), на том и предсказывает.
LLM полезен как "быстрый справочник" при переводах. не более. Когда и сам знаешь большую часть результата.
Я бывал на конференция с синхронистом переводчиком. Зачастую хочется его поправить, когда он переводит (многие в зале так и делали шепотом, не удержавшись :)). Ну просто потому что он не в теме и, зачастую, переводит не точно или вообще явно искажая смысл. Просто потому что с этими спец. темами не сталкивался.
LLM - такой же синхронист. Да.. дешево. Да.. быстро. Да, замечательно для стандартных "бытовых" тем.
Но смысл в тонкостях теряет или вообще врет, если контекст специфичный.
И это "врет"/"упускает" смысл может быть, в некоторых случях, весьма неприятным.
Спасибо за ответ.
Почему то все идут по этому пути.
Но, мне кажется, что выбор между дообучением регулярным + системный промпт на основе свежей инфы или RAG с поиском не столь очевиден для справочной (фактически) системы в довольно узкой теме знаний.
Есть базовый набор отлитый в бронзе. И в приницпе достаточно (ну по моим оценкам)
Выполнять дообучение раз в год/полгода.
не делать векторный поиск и в RAG запихивать только новое/изменение (из важных) источников которое вполне поместится в контекстное окно целиком.
Раз в несколько месяцев частично в ручном, частично автоматизированном (скритпы) режиме собрать данные из чатов/переписки/документов/описания API/jira и пр. проще чем организаовывать доступ к этому всему в автоматизированном режиме (доступ, метод разбиения на чанки и пр.) для векторного поиска.
Никто же не мешает держать нестколько маленьких LLM на конретные темы.
Просто вообще толком никакой информации нет по.. что бы обосновать предложение на работе.
Хоть прям на своем домашнем компе эксперементируй (наверное так и придется).
Когда встал вопрос "нужно переписать с 2.7 на свежее", то опыт показал, что переписывать исходники, скорее всего, придется даже между версиями 3.* поскольку и либы не совместимы частично и пр. И боль с установкой окружения для разных версий.
Да ну нафиг. Преписано важное на java и забыта проблема.
Но и сейчас изредка возникают атавистические боли типа "ой. есть/был же скрипт анализа логов под эту ситуацию.. Ааа. он еще на 2.7 был сделан тогда".
Идите нафиг с этим питоном и его версионностью.
Я бы изменил заголовок на "Использование Python обходится компаниям в миллионы долларов".
Все идут по пути RAG+большая LLM (в облаке по подписке)
Все пытаюсь найти опыт дообучения локальной небольшй (7-12b) LLM на документации и данных компании.
Что бы понять ресурсы (и время) на обучениие и какой результат будет.
Внутреннюю документацию под NDA в облако бросать.. незя.. а RAG+offline LLM с большим конеткстным окном нынче не дешево (GPU память).
А вы не думали над вариантом дообучения локальной LLM?
Интересно откуда такой язык.
Уже много статей вижу, где терминология и аналогии из разработки ПО используются для рассказа про совсем левую, по отношениею к разработке ПО, тему.
Это способ привлечь внимание, излагая мысли таким извращенным способом, или что?
Мы? Не надо обобщать. Как то я, и все мои знакомые, не пытаются рассуждать о музыке, здоровье, политике и т.д. используя весьма узкую терминологию из своей проффессиональной деятельности.
Причем, в данной статье, терминология и пр. узки даже в рамках сферы разработки ПО.
Если хотели эпатировать читателей стилем...
Не знаю как для других, а мне не понравилось
(зачем я это читал.. зачем я это комментировал... впрочем, завтрак с прочтением не напрягающих голову статей на хабре)
Не стоит пытаться натянуть сову на глобус. Результат не эстетично выглядит.
Вот прям точность то 277. Жаль что не до секунд оценка :)
Глаза резало явное восхваление AutoFAQ Xplain пока читал. Ну слишком уж много приторно сладких восхвалений.
А потом ой.."Хабы:Блог компании AutoFAQ" в конце увидел.
Ну блин. Даже если AutoFAQ и действительно хорошь, но осадочек остался не приятный.
Ошущение, что наткнулся на зазывалу на восточном базаре. Неприятно однако.
Будучи как то на конференции/презентации (Thales) столкнулся с тем, что одного из выступающих понимаю отлично а другого вообще только отдельные обрывки. Говорил каким то неперрывным звуком, растягивая слова и без промежутков (не могу даже сказать что не так. но не воспринимал вообще).
В кулуарах почемуто народ обзался в основном с тем, кого все понимали (видимо не только у меня была проблема с воприятиме на слух второго:) )
Задал кто то вопрос в шутку "а чего так". В ответ он скзал что и сам его плохо понимает иногда и приходится напрягаться. Сказав что он из "южных штатов". Оба граждане US не в первом поколении (как я понял).
Может и этот ответ прозвучал в шутку.. но чего то запомнилось.
Все эти 9 из 10...
К примеру, гранты по медицине (Россия) - принимают заявки только если используется ИИ.
Вот и притягивай за уши будь добр. Нужно это или нет в конкретной теме.
(знаю, поскольку со мной консулитировалсь как "притянуть за уши" что бы..)