Вы меня не так поняли. Не предлагаю я всё решать фронтирами. Я предлагаю под разные задачи использовать разные соответствующие модели. Где-то это зарубежное облако, где-то местное, где-то селфхостед модель, а где-то микромодель на устройстве пользователя.
Я лишь оспариваю позицию что "облако = плохо. селфхостед = хорошо". Это не так. Мир не чёрно-белый
Зачем SEO-специалисту харнесс? Для написания текстов? Вы действительно понимаете то о чем рассуждаете? ... Какой GLM-5.3-flash, какой харнес, какие 50 млн?
Вот эти вопросы как раз показывают насколько вы далеки от реалий. и живёте до сих пор в 2025 когда, видимо всем кроме разрабов, достаточно выдать OpenWebUI или LibreChat и надеятся что это закроет все их потребности в ИИ.
ну тут всё просто чем дешевле модель - тем больше денег/времени нужно вложить в инженерию харнесса. и наоборот. чем умней модель - тем меньше усилий и танцев с бубном.
Может ли Gemma-4B дать тот же результат в SEO текстах - моё мнение что нет.
Может ли GLM-5.3-flash дать тот же результат - да, но через танцы с бубном и значительную работу по настройке и обслуживанию пайплайна (да да, текст тоже теперь как и код пайплайнами пилят, а не ваншотят. во всяком случае мне так копирайтер знакомый рассказывал)
Но затраты на железо даже под GLM-5.3-flash внушительные (пусть и не 50 лямов). А затраты на подготовку харнесса?
Тут всё тот же вопрос возврата инвестиций и окупаемости вложений. Если мы всегда при любых условиях отказываемся от облаков - мы всегда идём по долгому и дорогому пути, с шансом прийти в самом конце к отрицательной маржинальности. И если бы это хоть давало какую-то ещё выгоду (например как в истории с 152ФЗ, но далеко не каждая задача сотрудников условного SMB под этот 152ФЗ попадает. а точнее практически ни одна не попадает)
Я за взвешенный подход.
RND без коммерческой и прочих тайн - в SOTA модели американских (на сегодняшний день именно США тут лидер) провайдеров
Повторяющиеся рутинные задачи без тайн - в китайские модели развернутые там где дешевле (не у себя) с переключением всякий раз как выходит что-то дешевле и эффективней
Задачи с ПД - в китайские модели (индивидуально подобранные под задачи) у российских провайдеров соответсвующих 152ФЗ
Задачи с гостайной, военной тайной и т.п. - в китайские модели на собственном железе.
Возможно когда-то где-то в этом списке появятся и российские или например европейские модели, но пока что цена/качество у них сильно отстают от конкурентов.
Я вижу много гипотез. не могу сказать что все они необоснованные 🤷 но и подтвердить их тоже из текста статьи никак не выходит. Например гипотеза про $ в ценах значит ЛЛМ забугорные. Я, как Беларус, всю свою сознательную жизнт всё и всегда считаю в долларах. По этому мне глаз не режет.
Ещё вижу радикальную позицию "западные LLM - это зло". С чем в корне не согласен. Ну давай посчитаем ROI например той же задачи генерации разделов ИИшкой (с твоих слов).
Предположим 1 раздел привлечёт 1 клиента. Его мог написать человек, например за 5 часов (цифры из головы). А так же этот человек мог взять ИИ и за 1 час управиться. Предположим SEOшник или копирайтер или кто там эти разделы пишет, делает по одному в день. и имеет план 20 в месяц. Благодаря ИИ он делает теперь по 2 статьи в день и укладывается за 2 недели вместо месяца а ещё и другую работу успевает сделать больше. Экономия ~4ч на 1 раздел, умножаем на 20 разделов - получаем 80ч экономии. Я хз сколько сейчас SEOшники стоят из головы предположу что 1000 российских рублей в час. ИТОГО 80.000 экономии. При этом затраты на условный клодкод - с учётом наценки за оплату из РФ ну допустим 10.000. ROI (80.000 * 12 - 10.000 * 12) / 10.000 × 100% = 700%.
Теперь берём того же SEOшника и что бы получить модель уровня opus (которую он получит в клодкоде) покупаем ему железо для запуска топовой opensource модели. Возьмём к примеру Kimi-K3. Берём сервер с полутора террабайтами видеопамяти. На вскидку 50.000.000. ROI (80.000 * 12 - 50.000.000) / 50.000.000 × 100% = 98%. И срок окупаемости 50 лет. Это не считая стоимости обслуживания такого сервера. Можно ещё посчитать вариант аренды такого сервера у Selectel например... но мне лень :D
И да, никакой выгоды этот SEOшник не получит, ведь с ПДн о и так не работает. Но зато теперь селфхостед, а не эти страшные американские облака, которые конечно же абсолютно зло.
Так если в курсе, о чём спор? При любом раскладе инференс от провайдера будет дешевле чем своими силами. Под задачи без ПД какой смысл использовать self-hosted? Там где есть ПД - проще взять инференс у отечественного провайдера.
Я что-то сильно сомневаюсь, что сотрудники, о которых речь в статье, работают с гостайной или чем-то таким, требующим локальные модели.
Пост про то как хорош UI вместо текста. При этом весь пост забит примерами текста и ни одного примера UI. Нагенеренный нейрослоп не относящийся к статье в расчёт не беру
Как нейронка не путаться где что? LSP и инструкции.
На ваши вопросы Я ответил. Ответьте вы на мой.
Я вас в десятый раз спрашиваю вы хотя бы раз в жизни делали finetuning который вы советуете? Хотя нет. Уже не спрашиваю. Если бы вы могли ответить на этот вопрос - давно бы уже ответили.
Я утверждаю что вы слабый программист, никогда не выстраивавший процессов в настоящих командах по разработке проектов, ни с применением искусственного интеллекта, ни без него. Наверняка вы где-то на фрилансе то тут то там что-то покодили. Но в серьёзных проектах с настоящей культурой разработки вы никогда не участвовали, как и с разработкой с ИИ. От того вы предлагаете всякий бред в котором не разбираетесь, и озвучиваете то что для вас выглядит настоящим вызовом, но уже на самом деле решено большинством команд и программистов одиночек на рынке.
P.S. Я не считаю файнтюнинг плохим инструментом. Просто его применяют в совершенно других ситуациях и с другими целями
Вы хоть раз в жизни занимались переобучением LLM модели (Файнтюнингом)? Это простой вопрос, который я задаю уже в третий раз и не получаю ответа.
Конкретно ваша проблема решается:
1) инструкцией по работе с библиотекой. В agents.md просто указано, что при любой задаче связанной с кодом сначала прочитать эту инструкцию.
2) LSP - модель не должна угадывать и пытаться предсказывать какие аргументы у функции. Она как и любая IDE должна использовать технологию под названием Language Server Protocol. Это та штука которая позволяет вашему редактору кода высвечивать подсказку по аргументам, давайте возможность быстрого перехода к определению функции или наоборот точкам её применения. Во всех современных ide и во всех современных кодинговых агентов - это встроено по умолчанию. Если в вашем инструменте этого нет поищите mcp под ваш язык.
3) индексирование кода во внутреннюю базу знаний. Все блоки кода викторизуются и сохраняются в векторную базу данных. Далее агент когда ему требуется воспользоваться той или иной функцией или тем или иным паттерном просто заглядывает в эту базу и находит релевантный кусок кода. Имейте в виду что поиск векторный то есть он идёт по смыслу а не по конкретной подстроке. Все передовые современные кодинговые агенты имеют этот функционал. Если ваш агент этого не умеет существует множество mcp-серверов реализующих это.
Соответственно, что бы ваш агент ни собирался закодить - он сначала получает на вход все необходимые примеры кода и всю документацию релевантную его задаче. И уже объединив всю эту информацию с задачей начинает кодинг.
И ещё раз вас спрашиваю. Занимались ли вы хоть раз в жизни файнтюнингом, который всем рекомендуете?
А как файнтюнинг модели поможет с этими указанными вами проблемами в процессах?
Повторю свой вопрос ещё раз. Вы хоть раз выполняли файнтюнинг модели? Потому что я выполнял но совершение не в таком сценарии как вы описываете и совершенно с другими целями. И у меня складывается ощущение что вы ни разу этого не делали и пишете про то, в чём не разбираетесь
Ну вроде как да. Было бы странно, если бы они сначала отдавали код а потом предлагали за него заплатить. Но такто там суммы не серьезные. Речь о единицах или десятках долларов.
Ну и работайте с обрезанными дистиллированными слабыми моделями, когда весь мир использует SOTA 🤷 никто не запрещает вам плестись в хвосте прогресса. Так-то кто-то до сих пор делает сайты на jQuery и деплоит на прод через SCP и чувствует себя прекрасно. Никто не заставлял никого использовать передовые технологии. А по поводу Сбера - его проблемы меня волнуют чуть менее чем никак.
Я лишь говорю про то, что предполагать будто разработчики файнтюнят собственные модели под каждый проект - это дикое заблуждение вызванное невежеством (неосведомлённостью о реалиях разработки с ИИ). Да где-то есть полтора гика которые так делают, но не стоит этот специфический опыт экстраполировать на всю индустрию
Вы хоть раз файнтюнили модели? Вы вообще хоть раз работали с SOTA моделями для разработки?
Файнтюнинг современных kimi-k3 или qwen3.8-max будет стоить тысячи долларов. Не говоря уже про то что закрытые модели с которыми работает большинство не допускают finetuning. Никто не даст вам зафайнтюнить опус
А скорость и стоимость?
Вот так надо повышать интерес к матану у студентов!
Вы меня не так поняли. Не предлагаю я всё решать фронтирами. Я предлагаю под разные задачи использовать разные соответствующие модели. Где-то это зарубежное облако, где-то местное, где-то селфхостед модель, а где-то микромодель на устройстве пользователя.
Я лишь оспариваю позицию что "облако = плохо. селфхостед = хорошо". Это не так. Мир не чёрно-белый
Вот эти вопросы как раз показывают насколько вы далеки от реалий. и живёте до сих пор в 2025 когда, видимо всем кроме разрабов, достаточно выдать OpenWebUI или LibreChat и надеятся что это закроет все их потребности в ИИ.
---
окей окей. Gemma-4-12B так же не справится
ну тут всё просто
чем дешевле модель - тем больше денег/времени нужно вложить в инженерию харнесса. и наоборот. чем умней модель - тем меньше усилий и танцев с бубном.
Может ли Gemma-4B дать тот же результат в SEO текстах - моё мнение что нет.
Может ли GLM-5.3-flash дать тот же результат - да, но через танцы с бубном и значительную работу по настройке и обслуживанию пайплайна (да да, текст тоже теперь как и код пайплайнами пилят, а не ваншотят. во всяком случае мне так копирайтер знакомый рассказывал)
Но затраты на железо даже под GLM-5.3-flash внушительные (пусть и не 50 лямов). А затраты на подготовку харнесса?
Тут всё тот же вопрос возврата инвестиций и окупаемости вложений. Если мы всегда при любых условиях отказываемся от облаков - мы всегда идём по долгому и дорогому пути, с шансом прийти в самом конце к отрицательной маржинальности. И если бы это хоть давало какую-то ещё выгоду (например как в истории с 152ФЗ, но далеко не каждая задача сотрудников условного SMB под этот 152ФЗ попадает. а точнее практически ни одна не попадает)
Я за взвешенный подход.
RND без коммерческой и прочих тайн - в SOTA модели американских (на сегодняшний день именно США тут лидер) провайдеров
Повторяющиеся рутинные задачи без тайн - в китайские модели развернутые там где дешевле (не у себя) с переключением всякий раз как выходит что-то дешевле и эффективней
Задачи с ПД - в китайские модели (индивидуально подобранные под задачи) у российских провайдеров соответсвующих 152ФЗ
Задачи с гостайной, военной тайной и т.п. - в китайские модели на собственном железе.
Возможно когда-то где-то в этом списке появятся и российские или например европейские модели, но пока что цена/качество у них сильно отстают от конкурентов.
Я вижу много гипотез. не могу сказать что все они необоснованные 🤷 но и подтвердить их тоже из текста статьи никак не выходит. Например гипотеза про $ в ценах значит ЛЛМ забугорные. Я, как Беларус, всю свою сознательную жизнт всё и всегда считаю в долларах. По этому мне глаз не режет.
Ещё вижу радикальную позицию "западные LLM - это зло". С чем в корне не согласен. Ну давай посчитаем ROI например той же задачи генерации разделов ИИшкой (с твоих слов).
Предположим 1 раздел привлечёт 1 клиента. Его мог написать человек, например за 5 часов (цифры из головы). А так же этот человек мог взять ИИ и за 1 час управиться. Предположим SEOшник или копирайтер или кто там эти разделы пишет, делает по одному в день. и имеет план 20 в месяц. Благодаря ИИ он делает теперь по 2 статьи в день и укладывается за 2 недели вместо месяца а ещё и другую работу успевает сделать больше. Экономия ~4ч на 1 раздел, умножаем на 20 разделов - получаем 80ч экономии. Я хз сколько сейчас SEOшники стоят из головы предположу что 1000 российских рублей в час. ИТОГО 80.000 экономии. При этом затраты на условный клодкод - с учётом наценки за оплату из РФ ну допустим 10.000. ROI (80.000 * 12 - 10.000 * 12) / 10.000 × 100% = 700%.
Теперь берём того же SEOшника и что бы получить модель уровня opus (которую он получит в клодкоде) покупаем ему железо для запуска топовой opensource модели. Возьмём к примеру Kimi-K3. Берём сервер с полутора террабайтами видеопамяти. На вскидку 50.000.000. ROI (80.000 * 12 - 50.000.000) / 50.000.000 × 100% = 98%. И срок окупаемости 50 лет. Это не считая стоимости обслуживания такого сервера. Можно ещё посчитать вариант аренды такого сервера у Selectel например... но мне лень :D
И да, никакой выгоды этот SEOшник не получит, ведь с ПДн о и так не работает. Но зато теперь селфхостед, а не эти страшные американские облака, которые конечно же абсолютно зло.
Так если в курсе, о чём спор? При любом раскладе инференс от провайдера будет дешевле чем своими силами. Под задачи без ПД какой смысл использовать self-hosted? Там где есть ПД - проще взять инференс у отечественного провайдера.
Я что-то сильно сомневаюсь, что сотрудники, о которых речь в статье, работают с гостайной или чем-то таким, требующим локальные модели.
Кто-то не в курсе про существование ни облаков соответствующих 152-ФЗ , ни провайдеров opensource моделей соответвующих 152-ФЗ, ни про банальную псевдонимизацию.
Как ты мог упустить возможность назвать статью "честный обзор на..."!!!
А если доступ к интернету пропадёт? Или доступ к текстовым редакторам? Или к хостингу сайтов и аренде серверов?
К чему эта демагогия?
Пост про то как хорош UI вместо текста. При этом весь пост забит примерами текста и ни одного примера UI. Нагенеренный нейрослоп не относящийся к статье в расчёт не беру
Легаси видели? Да.
Вы что в раг загонять собрались? Код.
Как нейронка не путаться где что? LSP и инструкции.
На ваши вопросы Я ответил. Ответьте вы на мой.
Я вас в десятый раз спрашиваю вы хотя бы раз в жизни делали finetuning который вы советуете? Хотя нет. Уже не спрашиваю. Если бы вы могли ответить на этот вопрос - давно бы уже ответили.
Я утверждаю что вы слабый программист, никогда не выстраивавший процессов в настоящих командах по разработке проектов, ни с применением искусственного интеллекта, ни без него. Наверняка вы где-то на фрилансе то тут то там что-то покодили. Но в серьёзных проектах с настоящей культурой разработки вы никогда не участвовали, как и с разработкой с ИИ. От того вы предлагаете всякий бред в котором не разбираетесь, и озвучиваете то что для вас выглядит настоящим вызовом, но уже на самом деле решено большинством команд и программистов одиночек на рынке.
P.S. Я не считаю файнтюнинг плохим инструментом. Просто его применяют в совершенно других ситуациях и с другими целями
Вы хоть раз в жизни занимались переобучением LLM модели (Файнтюнингом)? Это простой вопрос, который я задаю уже в третий раз и не получаю ответа.
Конкретно ваша проблема решается:
1) инструкцией по работе с библиотекой. В agents.md просто указано, что при любой задаче связанной с кодом сначала прочитать эту инструкцию.
2) LSP - модель не должна угадывать и пытаться предсказывать какие аргументы у функции. Она как и любая IDE должна использовать технологию под названием Language Server Protocol. Это та штука которая позволяет вашему редактору кода высвечивать подсказку по аргументам, давайте возможность быстрого перехода к определению функции или наоборот точкам её применения. Во всех современных ide и во всех современных кодинговых агентов - это встроено по умолчанию. Если в вашем инструменте этого нет поищите mcp под ваш язык.
3) индексирование кода во внутреннюю базу знаний. Все блоки кода викторизуются и сохраняются в векторную базу данных. Далее агент когда ему требуется воспользоваться той или иной функцией или тем или иным паттерном просто заглядывает в эту базу и находит релевантный кусок кода. Имейте в виду что поиск векторный то есть он идёт по смыслу а не по конкретной подстроке. Все передовые современные кодинговые агенты имеют этот функционал. Если ваш агент этого не умеет существует множество mcp-серверов реализующих это.
Соответственно, что бы ваш агент ни собирался закодить - он сначала получает на вход все необходимые примеры кода и всю документацию релевантную его задаче. И уже объединив всю эту информацию с задачей начинает кодинг.
И ещё раз вас спрашиваю. Занимались ли вы хоть раз в жизни файнтюнингом, который всем рекомендуете?
А как файнтюнинг модели поможет с этими указанными вами проблемами в процессах?
Повторю свой вопрос ещё раз. Вы хоть раз выполняли файнтюнинг модели? Потому что я выполнял но совершение не в таком сценарии как вы описываете и совершенно с другими целями. И у меня складывается ощущение что вы ни разу этого не делали и пишете про то, в чём не разбираетесь
Ну вроде как да. Было бы странно, если бы они сначала отдавали код а потом предлагали за него заплатить. Но такто там суммы не серьезные. Речь о единицах или десятках долларов.
Ну и работайте с обрезанными дистиллированными слабыми моделями, когда весь мир использует SOTA 🤷 никто не запрещает вам плестись в хвосте прогресса. Так-то кто-то до сих пор делает сайты на jQuery и деплоит на прод через SCP и чувствует себя прекрасно. Никто не заставлял никого использовать передовые технологии. А по поводу Сбера - его проблемы меня волнуют чуть менее чем никак.
Я лишь говорю про то, что предполагать будто разработчики файнтюнят собственные модели под каждый проект - это дикое заблуждение вызванное невежеством (неосведомлённостью о реалиях разработки с ИИ). Да где-то есть полтора гика которые так делают, но не стоит этот специфический опыт экстраполировать на всю индустрию
Вы хоть раз файнтюнили модели? Вы вообще хоть раз работали с SOTA моделями для разработки?
Файнтюнинг современных kimi-k3 или qwen3.8-max будет стоить тысячи долларов. Не говоря уже про то что закрытые модели с которыми работает большинство не допускают finetuning. Никто не даст вам зафайнтюнить опус
Кажется вы просто не понимаете как работают нейронки. Никто не переобучает модель под проект.
Сегодня над проектом работает одна модель, завтра другая. Нет никакой потери.
Те задачи да. Но есть и другие, которые модели не могли делать год назад. А сегодня могут
И это ниша с каждым днём всё шире...