Уже есть движение по закручиванию гаек и повышению цен. Как понимаю, это связано с тем, что мощностей просто не хватает на всех.
Но это не меняет того, что в этой сфере слишком много расходов, слишком много обещаний и слишком мало реального профита. А инвесторы - не бездонные мешки с деньгами.
Нет, они ответили "да" на "откажутся ли они от ChatGPT, если плата станет обязательной?". Другое дело, что тут не раскрыто, а на сколько глубоко эти люди используют ChatGPT - сложно понять, от чего именно люди откажутся. Многие ChatGPT используют просто как замену поисковику.
Но речь была не о качестве опроса, а о том, что ChatGPT очень мало приносит денег, при очень высоких затратах на железо и его обслуживание.
Так давно уже есть инструменты оценки качества покрытия кода тестами.
Лично для меня тесты, в первую очередь, дают не "У меня и так все работало." (сразу после написания оно и работает, да и то бывают нюансы), а уверенность, что с течением времени ничего не сломается.
Можно смело заниматься рефакторингом, доработками и т.д.
Да и интеграционными тестами все покрывать не очень хорошо - не зря же придумали пирамиду тестов (хотя хочется иногда, это да).
Но вообще, вопрос-то не в тестах был, а в осознании и понимании у LLM. И лично я считаю, что качественная иллюзия у LLM не мешает мне эту LLM использовать - пока она мне приносит пользу. Требовать более глубокое понимание у LLM? А как мы поймем, что все, это уже не иллюзия, а реальное понимание? Тем более, если мы сами не знаем четко, что такое осознание и понимание у человека.
По идее, что 20 инстансов DeepSeek-R1-Distill-Qwen-32B, что один полноценный deepseek-r1 - по скорости и ресурсам должно быть сопоставимо. Но качество будет за "полной" моделью. P.S. qwen3 не тестировали? Что-то модели в целом не самые свежие...
"а если не видно разницы, зачем платить больше?" Да, все так. Но если LLM решает мои задачи - то так ли нужно это осознание и понимание?
Я даю ИИ код - на выходе тесты. Не факт что я бы написал лучше и уж точно я бы писал дольше (ладно, с учетом подбора промта я бы написал быстрее - но это больше вопрос моего опыта работы с ИИ и однотипности задачи - выигрыш по времени не сразу получился).
И возникает очень философский вопрос - а на сколько человек осознает и понимает это все?
Недавно где-то видел результаты опроса, что пользователи откажутся от LLM, если подписка станет обязательной. А большинство пользователей того же ChatGPT не платят (видел оценки в 500млн активных пользователей в неделю и всего в 15,5млн подписчиков - конверсия около 3% получается).
Так что да, многие используют - спору нет. Станет плата обязательной - много кто перейдет на подписку. Еще больше людей просто перестанет использовать. Но это все и близко не окупит инвестиции.
Я не спорю, что перспективы есть. И польза есть. Но хайп очень сильно раздул ожидания. И в этом очень большая проблема.
А2А протокол уже есть - это просто общий чат с несколькими LLM (основное применение LLM - это чат с ними, они хорошо заточены на это дело). Тем более с появлением MCP проще некуда вызвать "соседа", специализирующегося на своей теме.
Но что-то "великого прорыва" на этом поприще не произошло...
RAG, MCP, Agent - это новые возможности для LLM, а не изменения в LLM.
Кардинально LLM - это просто "T9 на супер-стероидах".
Так что да, кардинально LLM останутся примерно такими же. Но знания, заложенные в LLM растут, растут "навыки" использования инструментов и т.д. Уменьшается вес моделей, повышается скорость вычисления, появляются новые алгоритмы работы и обучения.
Так что прогресс есть и он существенен.
Но да, человека (специалиста) LLM не превзойдет (по глубине знаний) - просто потому, что обучается на данных от человека (или компиляции этих данных). А по "ширине" знаний LLM уже впереди - просто потому, что обучается на данных всего человечества, а не в какой-то своей области.
Пускай я и согласен с посылом статьи, но вот аргументация...
ИИ (LLM) - это не компьютер и никогда не позиционировался как замена компьютера. LLM позиционируется как замена человеку. А человек не обладает 100% точностью.
Пускай LLM и отстает от специалиста, но уже превосходит не-специалиста в знаниях. И с этой точки зрения можно считать, что LLM уже превосходит человека - просто потому что LLM превосходит знаниями любого человека, если считать не "глубину" знаний, а "ширину".
Так что да, LLM не дают детерминированный результат (что, впрочем, спорно - детерминированность ответа на одних и тех же данных достижима), тем более не дают 100% надежности в правильности ответов, что значительно сокращает применимость LLM. Но это значительный шаг вперед, в первую очередь в роли личных ассистентов, а не как замена человеку.
Если есть желание гонять LLM - то лучше сразу на полноценный комп закладываться, с видеокартой и прочими ништяками.
Я бы на мини-системник на базе AMD Ryzen AI MAX+ 395 посмотрел - распаяно 128GB быстрой памяти (что хорошо для LLM), но цена - около 200к, что не так уж и бюджетно (хотя если собирать новый комп с похожими характеристиками, то не сильно дешевле выйдет).
Может для умного дома и избыточно, но мощная локальная LLM пригодится и в повседневной жизни.
У phi 4 с русским языком "очень не очень". Гугл пиарился с gemma-3n, но она только текст и картинки принимает, если не ошибаюсь. Llama - их множество, дотренированных различным образом, но не пробовал. В целом об их моделях молва идет как о не очень качественных (не знаю, на сколько это соотносится с реальностью).
Я бы посмотрел на Voxtral от mistralai. В целом, те модели от mistralai, что пробовал, русский понимают, пускай и не лучшим образом (но именно Voxtral не пробовал).
LLM и на CPU работают, вопрос скорости генерации токенов (и обработки запроса). А скорость зависит от пропускной способности памяти, где видеокарты как раз в почете.
С этой точки зрения APU не имеют особого смысла - просто потому, что скорость памяти не меняется.
P.S. Самый большой эффект оптимизаций видел в обработке запросов, но не в генерации (ik_llama.cpp в разы быстрее llama.cpp на CPU).
Может сервер приложений - артефакт былых времен? Навскидку, ни Golang, ни Rust не имеют сервера приложений, что не мешает создавать "что-то серьезное и маштабируемое" на них.
P.S. к слову, за сервер приложений сейчас выступает docker (и k8s). Так что "нет сервера приложений" - очень спорно. Он просто видоизменился и стал универсальным.
как будто бы после перезагрузки вообще все установленные пакеты сбрасываются
Да, при перезапуске контейнера все, что не в образе или volume сбрасывается. Это полностью ожидаемое поведение docker. Решение простое: собрать свой образ с нужными пакетами - тогда сбрасываться не будут.
К слову, при сборке своего образа можно средствами мульти-этапной сборки скинуть скомпилированный github-mcp-server с "родного" образа, а не собирать руками (что потребует установки Golang).
Лично мне эта фича нравится - можно смело экспериментировать с пакетами в образе и выносить рабочий вариант в Dockerfile (очень пригодилось, когда игрался с подключением к виртуальному рабочему столу в образе).
Доступ к докеру в контейнере - идея не лучшая. Этим полный root-доступ к системе предоставили. Не проще было бинарник github-mcp-server скопировать в контейнер и через него работать?
Простейший способ - скомпилировать движок вывода в WASM, проконтролировав детерминированность API с хост-системой.
На выходе получим детерминированный вывод LLM - потому как виртуальная машина WASM строго детерминирована, а вся недетерминированность может возникать исключительно при вызове функций хоста.
Но скорость работы будет очень низкой. Мало того, что выполнение исключительно на процессоре, причем в виртуальной машине (пускай и не сильно большую лишнюю нагрузку она дает). Так еще и множество низкоуровневых оптимизаций не сделать из-за ограниченного числа инструкций виртуальной машины.
Уже есть движение по закручиванию гаек и повышению цен.
Как понимаю, это связано с тем, что мощностей просто не хватает на всех.
Но это не меняет того, что в этой сфере слишком много расходов, слишком много обещаний и слишком мало реального профита.
А инвесторы - не бездонные мешки с деньгами.
Нет, они ответили "да" на "откажутся ли они от ChatGPT, если плата станет обязательной?".
Другое дело, что тут не раскрыто, а на сколько глубоко эти люди используют ChatGPT - сложно понять, от чего именно люди откажутся. Многие ChatGPT используют просто как замену поисковику.
Но речь была не о качестве опроса, а о том, что ChatGPT очень мало приносит денег, при очень высоких затратах на железо и его обслуживание.
Так давно уже есть инструменты оценки качества покрытия кода тестами.
Лично для меня тесты, в первую очередь, дают не "У меня и так все работало." (сразу после написания оно и работает, да и то бывают нюансы), а уверенность, что с течением времени ничего не сломается.
Можно смело заниматься рефакторингом, доработками и т.д.
Да и интеграционными тестами все покрывать не очень хорошо - не зря же придумали пирамиду тестов (хотя хочется иногда, это да).
Но вообще, вопрос-то не в тестах был, а в осознании и понимании у LLM. И лично я считаю, что качественная иллюзия у LLM не мешает мне эту LLM использовать - пока она мне приносит пользу.
Требовать более глубокое понимание у LLM? А как мы поймем, что все, это уже не иллюзия, а реальное понимание? Тем более, если мы сами не знаем четко, что такое осознание и понимание у человека.
По идее, что 20 инстансов DeepSeek-R1-Distill-Qwen-32B, что один полноценный deepseek-r1 - по скорости и ресурсам должно быть сопоставимо. Но качество будет за "полной" моделью.
P.S. qwen3 не тестировали? Что-то модели в целом не самые свежие...
MoE модели уже давно в строю.
"а если не видно разницы, зачем платить больше?"
Да, все так. Но если LLM решает мои задачи - то так ли нужно это осознание и понимание?
Я даю ИИ код - на выходе тесты. Не факт что я бы написал лучше и уж точно я бы писал дольше (ладно, с учетом подбора промта я бы написал быстрее - но это больше вопрос моего опыта работы с ИИ и однотипности задачи - выигрыш по времени не сразу получился).
И возникает очень философский вопрос - а на сколько человек осознает и понимает это все?
Недавно где-то видел результаты опроса, что пользователи откажутся от LLM, если подписка станет обязательной. А большинство пользователей того же ChatGPT не платят (видел оценки в 500млн активных пользователей в неделю и всего в 15,5млн подписчиков - конверсия около 3% получается).
Так что да, многие используют - спору нет. Станет плата обязательной - много кто перейдет на подписку. Еще больше людей просто перестанет использовать. Но это все и близко не окупит инвестиции.
Я не спорю, что перспективы есть. И польза есть. Но хайп очень сильно раздул ожидания. И в этом очень большая проблема.
Проблем достаточно. И главная - это очень дорого. ChatGPT так и не стал прибыльным, хотя и самый популярный.
Рынок LLM называют пузырем - слишком много расходов, слишком много обещаний и слишком мало реальной пользы.
А2А протокол уже есть - это просто общий чат с несколькими LLM (основное применение LLM - это чат с ними, они хорошо заточены на это дело).
Тем более с появлением MCP проще некуда вызвать "соседа", специализирующегося на своей теме.
Но что-то "великого прорыва" на этом поприще не произошло...
RAG, MCP, Agent - это новые возможности для LLM, а не изменения в LLM.
Кардинально LLM - это просто "T9 на супер-стероидах".
Так что да, кардинально LLM останутся примерно такими же. Но знания, заложенные в LLM растут, растут "навыки" использования инструментов и т.д. Уменьшается вес моделей, повышается скорость вычисления, появляются новые алгоритмы работы и обучения.
Так что прогресс есть и он существенен.
Но да, человека (специалиста) LLM не превзойдет (по глубине знаний) - просто потому, что обучается на данных от человека (или компиляции этих данных). А по "ширине" знаний LLM уже впереди - просто потому, что обучается на данных всего человечества, а не в какой-то своей области.
Пускай я и согласен с посылом статьи, но вот аргументация...
ИИ (LLM) - это не компьютер и никогда не позиционировался как замена компьютера. LLM позиционируется как замена человеку. А человек не обладает 100% точностью.
Пускай LLM и отстает от специалиста, но уже превосходит не-специалиста в знаниях. И с этой точки зрения можно считать, что LLM уже превосходит человека - просто потому что LLM превосходит знаниями любого человека, если считать не "глубину" знаний, а "ширину".
Так что да, LLM не дают детерминированный результат (что, впрочем, спорно - детерминированность ответа на одних и тех же данных достижима), тем более не дают 100% надежности в правильности ответов, что значительно сокращает применимость LLM. Но это значительный шаг вперед, в первую очередь в роли личных ассистентов, а не как замена человеку.
Если есть желание гонять LLM - то лучше сразу на полноценный комп закладываться, с видеокартой и прочими ништяками.
Я бы на мини-системник на базе AMD Ryzen AI MAX+ 395 посмотрел - распаяно 128GB быстрой памяти (что хорошо для LLM), но цена - около 200к, что не так уж и бюджетно (хотя если собирать новый комп с похожими характеристиками, то не сильно дешевле выйдет).
Может для умного дома и избыточно, но мощная локальная LLM пригодится и в повседневной жизни.
У phi 4 с русским языком "очень не очень".
Гугл пиарился с gemma-3n, но она только текст и картинки принимает, если не ошибаюсь.
Llama - их множество, дотренированных различным образом, но не пробовал. В целом об их моделях молва идет как о не очень качественных (не знаю, на сколько это соотносится с реальностью).
Я бы посмотрел на Voxtral от mistralai.
В целом, те модели от mistralai, что пробовал, русский понимают, пускай и не лучшим образом (но именно Voxtral не пробовал).
LLM и на CPU работают, вопрос скорости генерации токенов (и обработки запроса). А скорость зависит от пропускной способности памяти, где видеокарты как раз в почете.
С этой точки зрения APU не имеют особого смысла - просто потому, что скорость памяти не меняется.
P.S. Самый большой эффект оптимизаций видел в обработке запросов, но не в генерации (ik_llama.cpp в разы быстрее llama.cpp на CPU).
Может сервер приложений - артефакт былых времен? Навскидку, ни Golang, ни Rust не имеют сервера приложений, что не мешает создавать "что-то серьезное и маштабируемое" на них.
P.S. к слову, за сервер приложений сейчас выступает docker (и k8s). Так что "нет сервера приложений" - очень спорно. Он просто видоизменился и стал универсальным.
Да, при перезапуске контейнера все, что не в образе или volume сбрасывается. Это полностью ожидаемое поведение docker.
Решение простое: собрать свой образ с нужными пакетами - тогда сбрасываться не будут.
К слову, при сборке своего образа можно средствами мульти-этапной сборки скинуть скомпилированный github-mcp-server с "родного" образа, а не собирать руками (что потребует установки Golang).
Лично мне эта фича нравится - можно смело экспериментировать с пакетами в образе и выносить рабочий вариант в Dockerfile (очень пригодилось, когда игрался с подключением к виртуальному рабочему столу в образе).
В доках и работа с бинарником расписана, чуть ниже примера с docker )
Доступ к докеру в контейнере - идея не лучшая. Этим полный root-доступ к системе предоставили.
Не проще было бинарник github-mcp-server скопировать в контейнер и через него работать?
P.S. не все инструкции WASM детерминированы, но его реально сделать детерминированным на уровне VM.
Простейший способ - скомпилировать движок вывода в WASM, проконтролировав детерминированность API с хост-системой.
На выходе получим детерминированный вывод LLM - потому как виртуальная машина WASM строго детерминирована, а вся недетерминированность может возникать исключительно при вызове функций хоста.
Но скорость работы будет очень низкой. Мало того, что выполнение исключительно на процессоре, причем в виртуальной машине (пускай и не сильно большую лишнюю нагрузку она дает). Так еще и множество низкоуровневых оптимизаций не сделать из-за ограниченного числа инструкций виртуальной машины.