Синхронист, пусть даже в теме, ну просто не может иметь глубокие познания в криптографии, технологии создания чипа (в частности для SmartCard), программировании (узконишевом). Это то с чем я сталкивался. А у каждой такой узкой темы свой язык (жаргон). Иногда лучше вообще не переводить.
Медиков вообще не понимаю, когда они начинают на своем русском (!) языке говорить :)
А вообще, что бы быть синхронистом, это нужно иметь какие то особые мозги. Я, например, не могу думать сразу на двух языках, что бы переключаться мгновенно и пересказывать на лету вслух (!) в режимере реального времени. А при таких попытках получается коряво и голова начинает болеть уже через 5 минут от этого. :)
Пока собственный опыт не покажет разницу, все эти рассуждения слишком теоретические. По факту я вот не скажу что лучше, синхронист с опытом или LLM для тех же целей (синхронный перевод речи). Не буду гадать.
Перевод текстов на английском (технических и литературных), ради интереса, смотрел. И часто раздражает результ. Хочется иногда сказать "ну коряво.. не передан смысл правильно.. упущено это/то". Поэтому не пользуюсь автопереводом. Ну или в крайнем случае как подстрочник.
То вот китайский.. вижу перевод и не могу проверить. А по аналогии англ->рус перевода понимаю, что и тут могут быть (однозначно есть) неточности и.. И скорее всего их больше чем для других языков. Но китайский (и культурный контекст) пока учить не готов :) Но и в 100% точность машинного первода не особо верю.
Мысль, которую я хотел донести изначально: "LLM хорошо как помошник. Но и самому другой язык и контекст знать весьма не помешает. Иначе можно нарваться на ложный перевод". И не более.
К слову, GigaChat это сберовская сеть. Туповатая, особенно в программировании (локальные LLM на 8-20b зачатую лучше подсказывают), но зато бесплатная и доступная.
Кстати, задавать вопросы по свежим темам - это способ оценить когда последний раз обучали/дообучали LLM. И то что ответы из за этого могут быть не полные/ложные. И не зная ничего про тему можно такой ответ приянть за истину. И именно это я хотел показать. Впрочем это уже становится банальностью, что ответам LLM доверять нельзя.
ну ну.. Особенно если это тема в Интернете в общем то не представлена, поскольку и документация под NDA и просто информация скудна. Или просто сетка была обучена где назад.
Просто пример (исключительно для иллюстрации, ну что бы далеко не ходить).. Задайте вопрос "что можешь сказать про использование RTX 5070 для LLM" в GigaChat (GigaChat - просто под рукой и доступен бесплатно)
Ответ: "..На данный момент видеокарты серии NVIDIA GeForce RTX 5000-го семейства официально ещё не представлены, включая RTX 5070. Если бы такая карта существовала, исходя из общих тенденций..."
Вот так же будет с переводом специфичных терминов из узких областей. А конференции и новые статьи, которые зочется перевести обычно посвящены чему то новому. И часто новая терминология и пр.
на МРТ отлично видно сколько. Обычно на срезе (уровень пупка) легко оценить площадь органов, мышц и жира. Сам по себе он должен быть (защищает внутренние органы, например) вопрос в количестве..
Попадалась как то "Алиса в стране чудес". На английском. Где комментарии (описания откуда и почему именно такая фраза) по объему были больше чем текст. Книга для студентов - лингвистов (англоязычных, к слову).
А "переводы" книг часто превращаются в самостоятельные произведения. Ибо читателю исходный контекст не известен. Его изучать нужно.
А ИИ.. ну какой это ИИ. Это LLM - предсказатель следующего токена на основе анализа (фиксированного и детерминированного по большому счету). На чем на "учили" (подбирали значения матриц), на том и предсказывает.
LLM полезен как "быстрый справочник" при переводах. не более. Когда и сам знаешь большую часть результата.
Я бывал на конференция с синхронистом переводчиком. Зачастую хочется его поправить, когда он переводит (многие в зале так и делали шепотом, не удержавшись :)). Ну просто потому что он не в теме и, зачастую, переводит не точно или вообще явно искажая смысл. Просто потому что с этими спец. темами не сталкивался.
LLM - такой же синхронист. Да.. дешево. Да.. быстро. Да, замечательно для стандартных "бытовых" тем. Но смысл в тонкостях теряет или вообще врет, если контекст специфичный.
И это "врет"/"упускает" смысл может быть, в некоторых случях, весьма неприятным.
Объем документации постоянно растет, в связи с этим дообучение модели не совсем подходит для наших задач.
Спасибо за ответ. Почему то все идут по этому пути.
Но, мне кажется, что выбор между дообучением регулярным + системный промпт на основе свежей инфы или RAG с поиском не столь очевиден для справочной (фактически) системы в довольно узкой теме знаний.
Есть базовый набор отлитый в бронзе. И в приницпе достаточно (ну по моим оценкам)
Выполнять дообучение раз в год/полгода.
не делать векторный поиск и в RAG запихивать только новое/изменение (из важных) источников которое вполне поместится в контекстное окно целиком.
Раз в несколько месяцев частично в ручном, частично автоматизированном (скритпы) режиме собрать данные из чатов/переписки/документов/описания API/jira и пр. проще чем организаовывать доступ к этому всему в автоматизированном режиме (доступ, метод разбиения на чанки и пр.) для векторного поиска.
Никто же не мешает держать нестколько маленьких LLM на конретные темы. Просто вообще толком никакой информации нет по.. что бы обосновать предложение на работе. Хоть прям на своем домашнем компе эксперементируй (наверное так и придется).
Когда встал вопрос "нужно переписать с 2.7 на свежее", то опыт показал, что переписывать исходники, скорее всего, придется даже между версиями 3.* поскольку и либы не совместимы частично и пр. И боль с установкой окружения для разных версий.
Да ну нафиг. Преписано важное на java и забыта проблема.
Но и сейчас изредка возникают атавистические боли типа "ой. есть/был же скрипт анализа логов под эту ситуацию.. Ааа. он еще на 2.7 был сделан тогда".
Идите нафиг с этим питоном и его версионностью.
Я бы изменил заголовок на "Использование Python обходится компаниям в миллионы долларов".
Все идут по пути RAG+большая LLM (в облаке по подписке)
Все пытаюсь найти опыт дообучения локальной небольшй (7-12b) LLM на документации и данных компании. Что бы понять ресурсы (и время) на обучениие и какой результат будет. Внутреннюю документацию под NDA в облако бросать.. незя.. а RAG+offline LLM с большим конеткстным окном нынче не дешево (GPU память).
А вы не думали над вариантом дообучения локальной LLM?
Интересно откуда такой язык. Уже много статей вижу, где терминология и аналогии из разработки ПО используются для рассказа про совсем левую, по отношениею к разработке ПО, тему.
Это способ привлечь внимание, излагая мысли таким извращенным способом, или что?
Мы привыкли к CI/CD для кода. Почему бы не применить CI/CD для организма?
Мы? Не надо обобщать. Как то я, и все мои знакомые, не пытаются рассуждать о музыке, здоровье, политике и т.д. используя весьма узкую терминологию из своей проффессиональной деятельности.
Причем, в данной статье, терминология и пр. узки даже в рамках сферы разработки ПО. Если хотели эпатировать читателей стилем... Не знаю как для других, а мне не понравилось (зачем я это читал.. зачем я это комментировал... впрочем, завтрак с прочтением не напрягающих голову статей на хабре)
Не стоит пытаться натянуть сову на глобус. Результат не эстетично выглядит.
Глаза резало явное восхваление AutoFAQ Xplain пока читал. Ну слишком уж много приторно сладких восхвалений. А потом ой.."Хабы:Блог компании AutoFAQ" в конце увидел.
Ну блин. Даже если AutoFAQ и действительно хорошь, но осадочек остался не приятный. Ошущение, что наткнулся на зазывалу на восточном базаре. Неприятно однако.
Будучи как то на конференции/презентации (Thales) столкнулся с тем, что одного из выступающих понимаю отлично а другого вообще только отдельные обрывки. Говорил каким то неперрывным звуком, растягивая слова и без промежутков (не могу даже сказать что не так. но не воспринимал вообще). В кулуарах почемуто народ обзался в основном с тем, кого все понимали (видимо не только у меня была проблема с воприятиме на слух второго:) ) Задал кто то вопрос в шутку "а чего так". В ответ он скзал что и сам его плохо понимает иногда и приходится напрягаться. Сказав что он из "южных штатов". Оба граждане US не в первом поколении (как я понял). Может и этот ответ прозвучал в шутку.. но чего то запомнилось.
Все эти 9 из 10... К примеру, гранты по медицине (Россия) - принимают заявки только если используется ИИ. Вот и притягивай за уши будь добр. Нужно это или нет в конкретной теме. (знаю, поскольку со мной консулитировалсь как "притянуть за уши" что бы..)
Как узко... А коментарии к коду это такая фигня.. Чет все зацикливаются на том как пуговици пришиты (код написан). Костюм не только из пуговиц состоит.
Обычно возникают проблемы не по коментриям к коду. А вопросы типа:
А когда и в каком контексте это делали.
Где лежит обсуждение с заказчиком и почему сделано так или не иначе.
А почему вот от этого отказались и выбрали это..
и т.д.
И это все не всегда можно востановить. Переписка теряется.. люди уходят (и на строне заказчика то же). В заявка часто не пишут все. Типа зачем писать "это ж очевидно". А через полгода даже автор это "очевидно" уже не воспринимает как очевидно. А если в конференции голосовй никто не вел протокол или что то в нем упустил то эту инфу можно вообще только перекрестным допросом извлечь.
то что это аппаратные это понятно. А вот КАК конретно сделан этой информации я не смог найти. На каких принципах и подробности. Ну когда меня этот вопрос заинтересовал (когда то).
Чип в смарт карте это не бог весть что.. небольшой ОЗУ (максимум 4Кб) и частота тактовая обычно в районе 16Мгц.
Производители смарткарт/токенов утверждают, что это не псевдо. Правда подробностей, например, разработчик NXP мне не смог/не захотел рассказать. Когда я всем этим занимался...
все эти токены это исторически smartcard+usb ридер в одной упаковке. pcsc - это стандарт работы с SmartCard ридером.
У GemAlto, например, был переходной вариант USB ридер в формате "флешки" в котором можно было отщелкнув крышечку вставить/заменить карту (обрезанная до контактной площадки как SIM карта.
Где то в районе 2008..2009 (могу ошибаться в датах. лень копать/вспоминать) стандарт работы через APDU с приложением на смарт картах стал более менее стандартизированным и подогнаным под PKCS#11.
У меня двойственное впечатление от ИИ помошника в написании кода.
С одной строны, спасает от рутины подсказкой очередного блока. Особенно, если это что та шаблонное и простое. Или вставка готовых шаблонных кусков, которые и так знаешь, но набивать не нужно. Ну проще найти и целиком вставить шаблонный кусок кода, что бы тупо не тратить время на его ввод.
Но с другой строны иногда (часто) такую фигню предлагает. А мозг, даже если настроен сам писать кусок кода, все равно фиксируется в фоне на подсказках читая их и это утомляет и разражает. Или когда предлагает куски кода выдернутые явно из StackOverflow, где иногда такую хрень пишут что аж противно смотреть. Даже если эта хрень хоть как то работает. То же разражает.
А если даже не полную фигню, на первый взгляд, предлагает, то то что принял (легко же нажать TAB) нужно проверять тщательно. Ибо уж два случая пачей на прод из за того что похожие (по названию) переменные не те подставил ИИ, а я этого просто не заметил и принял как есть. Типа в целом похоже, а.. А в детали вникать - так быстрее самому написать. Если бы писал сам - то таких опечаток бы не допустил (понимаешь что пишешь же..).
А если использовать что то не стандартное (мало инфы в интернете), то хоть отключай и не пользуйся. Лютые глюки. Не существующие переменные/функции (это куда ни шло. просто не скомпилируется), не допустимые конструкции, которые даже будут работать (как минимум), но 100% вызовут memory leak, например или весьма не эффетивны по производительнсоти/ресурсам.
Может я что то не понимаю, но мне кажется что хайп по поводу ИИ в программировании/разработке сильно раздут. Ну инструмент. Ну полезный.. Но не более.
Эээ.. не понял наездов. И наездов даже не наменя, а на какую то вирутальную личность, которую Вы на ходу придумали и целый спич ее критикующий накатали. Чет у вас больная какая то видимо тема, раз так задело.
Синхронист, пусть даже в теме, ну просто не может иметь глубокие познания в криптографии, технологии создания чипа (в частности для SmartCard), программировании (узконишевом). Это то с чем я сталкивался. А у каждой такой узкой темы свой язык (жаргон). Иногда лучше вообще не переводить.
Медиков вообще не понимаю, когда они начинают на своем русском (!) языке говорить :)
А вообще, что бы быть синхронистом, это нужно иметь какие то особые мозги.
Я, например, не могу думать сразу на двух языках, что бы переключаться мгновенно и пересказывать на лету вслух (!) в режимере реального времени.
А при таких попытках получается коряво и голова начинает болеть уже через 5 минут от этого. :)
Пока собственный опыт не покажет разницу, все эти рассуждения слишком теоретические. По факту я вот не скажу что лучше, синхронист с опытом или LLM для тех же целей (синхронный перевод речи). Не буду гадать.
Перевод текстов на английском (технических и литературных), ради интереса, смотрел. И часто раздражает результ. Хочется иногда сказать "ну коряво.. не передан смысл правильно.. упущено это/то". Поэтому не пользуюсь автопереводом. Ну или в крайнем случае как подстрочник.
То вот китайский.. вижу перевод и не могу проверить. А по аналогии англ->рус перевода понимаю, что и тут могут быть (однозначно есть) неточности и..
И скорее всего их больше чем для других языков. Но китайский (и культурный контекст) пока учить не готов :)
Но и в 100% точность машинного первода не особо верю.
Мысль, которую я хотел донести изначально: "LLM хорошо как помошник. Но и самому другой язык и контекст знать весьма не помешает. Иначе можно нарваться на ложный перевод".
И не более.
К слову, GigaChat это сберовская сеть. Туповатая, особенно в программировании (локальные LLM на 8-20b зачатую лучше подсказывают), но зато бесплатная и доступная.
Кстати, задавать вопросы по свежим темам - это способ оценить когда последний раз обучали/дообучали LLM. И то что ответы из за этого могут быть не полные/ложные. И не зная ничего про тему можно такой ответ приянть за истину. И именно это я хотел показать.
Впрочем это уже становится банальностью, что ответам LLM доверять нельзя.
ну ну..
Особенно если это тема в Интернете в общем то не представлена, поскольку и документация под NDA и просто информация скудна.
Или просто сетка была обучена где назад.
Просто пример (исключительно для иллюстрации, ну что бы далеко не ходить)..
Задайте вопрос "что можешь сказать про использование RTX 5070 для LLM" в GigaChat (GigaChat - просто под рукой и доступен бесплатно)
Ответ: "..На данный момент видеокарты серии NVIDIA GeForce RTX 5000-го семейства официально ещё не представлены, включая RTX 5070. Если бы такая карта существовала, исходя из общих тенденций..."
Вот так же будет с переводом специфичных терминов из узких областей. А конференции и новые статьи, которые зочется перевести обычно посвящены чему то новому. И часто новая терминология и пр.
на МРТ отлично видно сколько.
Обычно на срезе (уровень пупка) легко оценить площадь органов, мышц и жира.
Сам по себе он должен быть (защищает внутренние органы, например)
вопрос в количестве..
Попадалась как то "Алиса в стране чудес".
На английском. Где комментарии (описания откуда и почему именно такая фраза) по объему были больше чем текст. Книга для студентов - лингвистов (англоязычных, к слову).
А "переводы" книг часто превращаются в самостоятельные произведения. Ибо читателю исходный контекст не известен. Его изучать нужно.
А ИИ.. ну какой это ИИ.
Это LLM - предсказатель следующего токена на основе анализа (фиксированного и детерминированного по большому счету). На чем на "учили" (подбирали значения матриц), на том и предсказывает.
LLM полезен как "быстрый справочник" при переводах. не более. Когда и сам знаешь большую часть результата.
Я бывал на конференция с синхронистом переводчиком. Зачастую хочется его поправить, когда он переводит (многие в зале так и делали шепотом, не удержавшись :)). Ну просто потому что он не в теме и, зачастую, переводит не точно или вообще явно искажая смысл. Просто потому что с этими спец. темами не сталкивался.
LLM - такой же синхронист. Да.. дешево. Да.. быстро. Да, замечательно для стандартных "бытовых" тем.
Но смысл в тонкостях теряет или вообще врет, если контекст специфичный.
И это "врет"/"упускает" смысл может быть, в некоторых случях, весьма неприятным.
Спасибо за ответ.
Почему то все идут по этому пути.
Но, мне кажется, что выбор между дообучением регулярным + системный промпт на основе свежей инфы или RAG с поиском не столь очевиден для справочной (фактически) системы в довольно узкой теме знаний.
Есть базовый набор отлитый в бронзе. И в приницпе достаточно (ну по моим оценкам)
Выполнять дообучение раз в год/полгода.
не делать векторный поиск и в RAG запихивать только новое/изменение (из важных) источников которое вполне поместится в контекстное окно целиком.
Раз в несколько месяцев частично в ручном, частично автоматизированном (скритпы) режиме собрать данные из чатов/переписки/документов/описания API/jira и пр. проще чем организаовывать доступ к этому всему в автоматизированном режиме (доступ, метод разбиения на чанки и пр.) для векторного поиска.
Никто же не мешает держать нестколько маленьких LLM на конретные темы.
Просто вообще толком никакой информации нет по.. что бы обосновать предложение на работе.
Хоть прям на своем домашнем компе эксперементируй (наверное так и придется).
Когда встал вопрос "нужно переписать с 2.7 на свежее", то опыт показал, что переписывать исходники, скорее всего, придется даже между версиями 3.* поскольку и либы не совместимы частично и пр. И боль с установкой окружения для разных версий.
Да ну нафиг. Преписано важное на java и забыта проблема.
Но и сейчас изредка возникают атавистические боли типа "ой. есть/был же скрипт анализа логов под эту ситуацию.. Ааа. он еще на 2.7 был сделан тогда".
Идите нафиг с этим питоном и его версионностью.
Я бы изменил заголовок на "Использование Python обходится компаниям в миллионы долларов".
Все идут по пути RAG+большая LLM (в облаке по подписке)
Все пытаюсь найти опыт дообучения локальной небольшй (7-12b) LLM на документации и данных компании.
Что бы понять ресурсы (и время) на обучениие и какой результат будет.
Внутреннюю документацию под NDA в облако бросать.. незя.. а RAG+offline LLM с большим конеткстным окном нынче не дешево (GPU память).
А вы не думали над вариантом дообучения локальной LLM?
Интересно откуда такой язык.
Уже много статей вижу, где терминология и аналогии из разработки ПО используются для рассказа про совсем левую, по отношениею к разработке ПО, тему.
Это способ привлечь внимание, излагая мысли таким извращенным способом, или что?
Мы? Не надо обобщать. Как то я, и все мои знакомые, не пытаются рассуждать о музыке, здоровье, политике и т.д. используя весьма узкую терминологию из своей проффессиональной деятельности.
Причем, в данной статье, терминология и пр. узки даже в рамках сферы разработки ПО.
Если хотели эпатировать читателей стилем...
Не знаю как для других, а мне не понравилось
(зачем я это читал.. зачем я это комментировал... впрочем, завтрак с прочтением не напрягающих голову статей на хабре)
Не стоит пытаться натянуть сову на глобус. Результат не эстетично выглядит.
Вот прям точность то 277. Жаль что не до секунд оценка :)
Глаза резало явное восхваление AutoFAQ Xplain пока читал. Ну слишком уж много приторно сладких восхвалений.
А потом ой.."Хабы:Блог компании AutoFAQ" в конце увидел.
Ну блин. Даже если AutoFAQ и действительно хорошь, но осадочек остался не приятный.
Ошущение, что наткнулся на зазывалу на восточном базаре. Неприятно однако.
Будучи как то на конференции/презентации (Thales) столкнулся с тем, что одного из выступающих понимаю отлично а другого вообще только отдельные обрывки. Говорил каким то неперрывным звуком, растягивая слова и без промежутков (не могу даже сказать что не так. но не воспринимал вообще).
В кулуарах почемуто народ обзался в основном с тем, кого все понимали (видимо не только у меня была проблема с воприятиме на слух второго:) )
Задал кто то вопрос в шутку "а чего так". В ответ он скзал что и сам его плохо понимает иногда и приходится напрягаться. Сказав что он из "южных штатов". Оба граждане US не в первом поколении (как я понял).
Может и этот ответ прозвучал в шутку.. но чего то запомнилось.
Все эти 9 из 10...
К примеру, гранты по медицине (Россия) - принимают заявки только если используется ИИ.
Вот и притягивай за уши будь добр. Нужно это или нет в конкретной теме.
(знаю, поскольку со мной консулитировалсь как "притянуть за уши" что бы..)
Как узко...
А коментарии к коду это такая фигня.. Чет все зацикливаются на том как пуговици пришиты (код написан).
Костюм не только из пуговиц состоит.
Обычно возникают проблемы не по коментриям к коду.
А вопросы типа:
А когда и в каком контексте это делали.
Где лежит обсуждение с заказчиком и почему сделано так или не иначе.
А почему вот от этого отказались и выбрали это..
и т.д.
И это все не всегда можно востановить. Переписка теряется.. люди уходят (и на строне заказчика то же). В заявка часто не пишут все. Типа зачем писать "это ж очевидно". А через полгода даже автор это "очевидно" уже не воспринимает как очевидно.
А если в конференции голосовй никто не вел протокол или что то в нем упустил то эту инфу можно вообще только перекрестным допросом извлечь.
то что это аппаратные это понятно.
А вот КАК конретно сделан этой информации я не смог найти. На каких принципах и подробности.
Ну когда меня этот вопрос заинтересовал (когда то).
Чип в смарт карте это не бог весть что.. небольшой ОЗУ (максимум 4Кб) и частота тактовая обычно в районе 16Мгц.
Производители смарткарт/токенов утверждают, что это не псевдо.
Правда подробностей, например, разработчик NXP мне не смог/не захотел рассказать.
Когда я всем этим занимался...
все эти токены это исторически smartcard+usb ридер в одной упаковке.
pcsc - это стандарт работы с SmartCard ридером.
У GemAlto, например, был переходной вариант USB ридер в формате "флешки" в котором можно было отщелкнув крышечку вставить/заменить карту (обрезанная до контактной площадки как SIM карта.
Где то в районе 2008..2009 (могу ошибаться в датах. лень копать/вспоминать) стандарт работы через APDU с приложением на смарт картах стал более менее стандартизированным и подогнаным под PKCS#11.
У меня двойственное впечатление от ИИ помошника в написании кода.
С одной строны, спасает от рутины подсказкой очередного блока. Особенно, если это что та шаблонное и простое. Или вставка готовых шаблонных кусков, которые и так знаешь, но набивать не нужно. Ну проще найти и целиком вставить шаблонный кусок кода, что бы тупо не тратить время на его ввод.
Но с другой строны иногда (часто) такую фигню предлагает. А мозг, даже если настроен сам писать кусок кода, все равно фиксируется в фоне на подсказках читая их и это утомляет и разражает.
Или когда предлагает куски кода выдернутые явно из StackOverflow, где иногда такую хрень пишут что аж противно смотреть. Даже если эта хрень хоть как то работает. То же разражает.
А если даже не полную фигню, на первый взгляд, предлагает, то то что принял (легко же нажать TAB) нужно проверять тщательно.
Ибо уж два случая пачей на прод из за того что похожие (по названию) переменные не те подставил ИИ, а я этого просто не заметил и принял как есть. Типа в целом похоже, а.. А в детали вникать - так быстрее самому написать. Если бы писал сам - то таких опечаток бы не допустил (понимаешь что пишешь же..).
А если использовать что то не стандартное (мало инфы в интернете), то хоть отключай и не пользуйся. Лютые глюки. Не существующие переменные/функции (это куда ни шло. просто не скомпилируется), не допустимые конструкции, которые даже будут работать (как минимум), но 100% вызовут memory leak, например или весьма не эффетивны по производительнсоти/ресурсам.
Может я что то не понимаю, но мне кажется что хайп по поводу ИИ в программировании/разработке сильно раздут. Ну инструмент. Ну полезный.. Но не более.
Эээ.. не понял наездов. И наездов даже не наменя, а на какую то вирутальную личность, которую Вы на ходу придумали и целый спич ее критикующий накатали.
Чет у вас больная какая то видимо тема, раз так задело.