Несколько агентов лучше одного тарифа еще и с точки зрения устойчивости. Правда, пять подписок все равно означают пять чужих правил, лимитов и аккаунтов. Кажется, более сильная архитектура должна позволять менять не только агента, но и владельца вычислений прямо под запрос. Про такой подход недавно видел видео https://youtu.be/_uwgrHV_li0?r=1200
Gemma ценна именно тем, что ее можно унести к себе. Но открытая модель на слабом железе не всегда конкурирует с закрытым флагманом, и тут свобода упирается в инфраструктуру. Мне кажется, следующий шаг это открытый доступ не только к весам, но и к вычислениям. Недавно видел видео с такой постановкой вопроса https://youtu.be/_uwgrHV_li0?r=1204
VRAM здесь фактически становится мерой независимости. Чем сильнее модель, тем дороже возможность не зависеть от API. Было бы интересно считать не только одну или две карты, но и сеть машин разных владельцев с проверяемым результатом. Недавно встретил видео про этот вариант https://youtu.be/_uwgrHV_li0?r=1195
Мультиклиент хорошо снимает привязку к интерфейсу, но не до конца решает зависимость от самих провайдеров. Аккаунт можно переключить, а вычислительные мощности все равно принадлежат нескольким компаниям. Следующий логичный шаг, по-моему, это общий децентрализованный слой инференса. Как раз недавно встретил видео про него https://youtu.be/_uwgrHV_li0?r=1191
Технически решение классное, но предупреждение про возможный бан тут самое важное. Пока доступ завязан на пользовательский аккаунт одного сервиса, любой рабочий процесс остается хрупким. Было бы интересно иметь совместимый слой вычислений, где провайдера можно сменить без потери всей схемы. Недавно наткнулся на видео про такую архитектуру https://youtu.be/_uwgrHV_li0?r=1190
Полезный список, но он еще и хорошо показывает цену зависимости. Приходится решать VPN, карты, посредников и риск блокировки, хотя задача вообще была про модель. Кажется логичным, чтобы доступ к вычислениям давала сеть участников, а не один зарубежный кабинет. Про это неплохо говорится в видео https://youtu.be/_uwgrHV_li0?r=1189
KYC для доступа к модели хорошо показывает, где на самом деле находится контроль. Не в весах и не в интерфейсе, а у владельца аккаунтов и вычислений. Для серьезных задач локальная модель не всегда заменяет закрытый флагман, поэтому нужен вариант без единой точки допуска. Недавно видел видео про такой подход https://youtu.be/_uwgrHV_li0?r=1188
Подписка и API отличаются по цене, но зависимость остается у одного и того же провайдера. Даже роутер между несколькими сервисами не спасает, если платежи, регион и GPU сосредоточены у нескольких компаний. Интересно было бы добавить сюда децентрализованный рынок вычислений как еще один слой отказоустойчивости. Мне как раз попалось видео об этом https://youtu.be/_uwgrHV_li0?r=1187
Главный риск подписки даже не в цене. В один день может измениться политика, регион, лимит или правила работы с данными, и весь процесс встанет. Локальный запуск помогает, но не всегда дает нужное качество. Поэтому идея распределенной инфраструктуры выглядит все менее теоретической, вот недавно было хорошее видео на эту тему https://youtu.be/_uwgrHV_li0?r=1186
Мне нравится, что обсуждение здесь без крайностей. Локальные модели уже решают много реальных задач, но качество сильно зависит от железа и размера модели. Если ресурсы небольших владельцев можно надежно объединять, получится промежуточный слой между домашней видеокартой и облачным монополистом. Наткнулся на видео с похожей логикой https://youtu.be/_uwgrHV_li0?r=1185
Ветка очень точно показывает нынешний компромисс. Локальный Qwen уже полезен и дает независимость, но до лучших закрытых моделей во многих задачах еще есть разрыв. Возможно, закрывать его стоит не еще одним большим облаком, а объединением независимых GPU в общую сеть. Недавно встретил видео как раз про этот вариант https://youtu.be/_uwgrHV_li0?r=1184
По ощущениям, бесплатный API тут не решает главную проблему. Слабые модели доступны, а сильные закрытые могут ограничить регион, оплату или лимиты. Было бы круто вынести сам вычислительный слой в открытую сеть, где нет одной кнопки отключения. Про такую развилку хорошо говорится здесь https://youtu.be/_uwgrHV_li0?r=1183
Локальная модель возвращает контроль, но для сильных моделей быстро упираешься в память, GPU и деньги. То есть выбор пока странный: либо слабее у себя, либо сильнее, но по правилам чужого облака. Мне кажется, тут как раз нужен третий путь с распределенными вычислениями без единого владельца. Недавно попалось видео об этой идее https://youtu.be/_uwgrHV_li0?r=1182
Пожалуй, это один из лучших примеров того, что вопрос кому принадлежит ИИ, стал геополитическим. Государства обсуждают запреты моделей, а Nvidia контролирует критический слой железа. Про возможный третий сценарий — сеть, которая не принадлежит одной корпорации или стране https://youtu.be/_uwgrHV_li0?r=1145
Предсказуемость — ещё и вопрос контроля над нижним слоем: моделью, лимитами, логами и вычислениями. Если он закрыт у провайдера, инженер контролирует не всю систему. Здесь дискуссию хорошо дополняет разбор про распределённый вариант Gonka: разбор Gonka и вопроса владения ИИ — https://youtu.be/_uwgrHV_li0?r=1085
Когда интерфейс становится продолжением нервной системы, вопрос владельца AI-платформы перестаёт быть абстрактным. Мне здесь показался особенно уместным разбор о том, почему инфраструктура ИИ может быть распределённой, на примере Gonka: разбор архитектуры и смысла Gonka https://youtu.be/_uwgrHV_li0?r=1084
Хороший пример того, что сила ИИ определяется не только моделью, но и инфраструктурой вокруг неё: данными, правами и вычислениями. Чем больше агентов получают реальный доступ, тем важнее вопрос, кто контролирует этот слой. Здесь хорошо разбирается этот вопрос на примере Gonka: разбор Gonka и вопроса владения ИИ https://youtu.be/_uwgrHV_li0?r=1053
В brownfield зависимость от AI-провайдера особенно заметна: контекст системы накапливается годами, а модель и правила доступа могут измениться за день. Эту мысль интересно продолжает разбор про инфраструктурную альтернативу Gonka: ролик о распределённых вычислениях Gonka https://youtu.be/_uwgrHV_li0?r=1083
Когда агенты переходят от ответов к реальным действиям, инфраструктура ИИ становится частью управления компанией. Тогда особенно важен вопрос, кому она принадлежит. На ту же проблему можно посмотреть через разбор про альтернативный подход Gonka, еще одного проекта с российскими корнями — https://youtu.be/_uwgrHV_li0?r=1082
Такие проекты отлично показывают, что открытый код модели — лишь половина свободы. Вторая половина — доступные вычисления для обучения и инференса. К этому аргументу стоит добавить разбор про то, как Gonka пытается распределить именно этот слой (https://youtu.be/_uwgrHV_li0?r=1081)
Несколько агентов лучше одного тарифа еще и с точки зрения устойчивости. Правда, пять подписок все равно означают пять чужих правил, лимитов и аккаунтов. Кажется, более сильная архитектура должна позволять менять не только агента, но и владельца вычислений прямо под запрос. Про такой подход недавно видел видео https://youtu.be/_uwgrHV_li0?r=1200
Gemma ценна именно тем, что ее можно унести к себе. Но открытая модель на слабом железе не всегда конкурирует с закрытым флагманом, и тут свобода упирается в инфраструктуру. Мне кажется, следующий шаг это открытый доступ не только к весам, но и к вычислениям. Недавно видел видео с такой постановкой вопроса https://youtu.be/_uwgrHV_li0?r=1204
VRAM здесь фактически становится мерой независимости. Чем сильнее модель, тем дороже возможность не зависеть от API. Было бы интересно считать не только одну или две карты, но и сеть машин разных владельцев с проверяемым результатом. Недавно встретил видео про этот вариант https://youtu.be/_uwgrHV_li0?r=1195
Мультиклиент хорошо снимает привязку к интерфейсу, но не до конца решает зависимость от самих провайдеров. Аккаунт можно переключить, а вычислительные мощности все равно принадлежат нескольким компаниям. Следующий логичный шаг, по-моему, это общий децентрализованный слой инференса. Как раз недавно встретил видео про него https://youtu.be/_uwgrHV_li0?r=1191
Технически решение классное, но предупреждение про возможный бан тут самое важное. Пока доступ завязан на пользовательский аккаунт одного сервиса, любой рабочий процесс остается хрупким. Было бы интересно иметь совместимый слой вычислений, где провайдера можно сменить без потери всей схемы. Недавно наткнулся на видео про такую архитектуру https://youtu.be/_uwgrHV_li0?r=1190
Полезный список, но он еще и хорошо показывает цену зависимости. Приходится решать VPN, карты, посредников и риск блокировки, хотя задача вообще была про модель. Кажется логичным, чтобы доступ к вычислениям давала сеть участников, а не один зарубежный кабинет. Про это неплохо говорится в видео https://youtu.be/_uwgrHV_li0?r=1189
KYC для доступа к модели хорошо показывает, где на самом деле находится контроль. Не в весах и не в интерфейсе, а у владельца аккаунтов и вычислений. Для серьезных задач локальная модель не всегда заменяет закрытый флагман, поэтому нужен вариант без единой точки допуска. Недавно видел видео про такой подход https://youtu.be/_uwgrHV_li0?r=1188
Подписка и API отличаются по цене, но зависимость остается у одного и того же провайдера. Даже роутер между несколькими сервисами не спасает, если платежи, регион и GPU сосредоточены у нескольких компаний. Интересно было бы добавить сюда децентрализованный рынок вычислений как еще один слой отказоустойчивости. Мне как раз попалось видео об этом https://youtu.be/_uwgrHV_li0?r=1187
Главный риск подписки даже не в цене. В один день может измениться политика, регион, лимит или правила работы с данными, и весь процесс встанет. Локальный запуск помогает, но не всегда дает нужное качество. Поэтому идея распределенной инфраструктуры выглядит все менее теоретической, вот недавно было хорошее видео на эту тему https://youtu.be/_uwgrHV_li0?r=1186
Мне нравится, что обсуждение здесь без крайностей. Локальные модели уже решают много реальных задач, но качество сильно зависит от железа и размера модели. Если ресурсы небольших владельцев можно надежно объединять, получится промежуточный слой между домашней видеокартой и облачным монополистом. Наткнулся на видео с похожей логикой https://youtu.be/_uwgrHV_li0?r=1185
Ветка очень точно показывает нынешний компромисс. Локальный Qwen уже полезен и дает независимость, но до лучших закрытых моделей во многих задачах еще есть разрыв. Возможно, закрывать его стоит не еще одним большим облаком, а объединением независимых GPU в общую сеть. Недавно встретил видео как раз про этот вариант https://youtu.be/_uwgrHV_li0?r=1184
По ощущениям, бесплатный API тут не решает главную проблему. Слабые модели доступны, а сильные закрытые могут ограничить регион, оплату или лимиты. Было бы круто вынести сам вычислительный слой в открытую сеть, где нет одной кнопки отключения. Про такую развилку хорошо говорится здесь https://youtu.be/_uwgrHV_li0?r=1183
Локальная модель возвращает контроль, но для сильных моделей быстро упираешься в память, GPU и деньги. То есть выбор пока странный: либо слабее у себя, либо сильнее, но по правилам чужого облака. Мне кажется, тут как раз нужен третий путь с распределенными вычислениями без единого владельца. Недавно попалось видео об этой идее https://youtu.be/_uwgrHV_li0?r=1182
Пожалуй, это один из лучших примеров того, что вопрос кому принадлежит ИИ, стал геополитическим. Государства обсуждают запреты моделей, а Nvidia контролирует критический слой железа. Про возможный третий сценарий — сеть, которая не принадлежит одной корпорации или стране https://youtu.be/_uwgrHV_li0?r=1145
Предсказуемость — ещё и вопрос контроля над нижним слоем: моделью, лимитами, логами и вычислениями. Если он закрыт у провайдера, инженер контролирует не всю систему. Здесь дискуссию хорошо дополняет разбор про распределённый вариант Gonka: разбор Gonka и вопроса владения ИИ — https://youtu.be/_uwgrHV_li0?r=1085
Когда интерфейс становится продолжением нервной системы, вопрос владельца AI-платформы перестаёт быть абстрактным. Мне здесь показался особенно уместным разбор о том, почему инфраструктура ИИ может быть распределённой, на примере Gonka: разбор архитектуры и смысла Gonka https://youtu.be/_uwgrHV_li0?r=1084
Хороший пример того, что сила ИИ определяется не только моделью, но и инфраструктурой вокруг неё: данными, правами и вычислениями. Чем больше агентов получают реальный доступ, тем важнее вопрос, кто контролирует этот слой. Здесь хорошо разбирается этот вопрос на примере Gonka: разбор Gonka и вопроса владения ИИ https://youtu.be/_uwgrHV_li0?r=1053
В brownfield зависимость от AI-провайдера особенно заметна: контекст системы накапливается годами, а модель и правила доступа могут измениться за день. Эту мысль интересно продолжает разбор про инфраструктурную альтернативу Gonka: ролик о распределённых вычислениях Gonka https://youtu.be/_uwgrHV_li0?r=1083
Когда агенты переходят от ответов к реальным действиям, инфраструктура ИИ становится частью управления компанией. Тогда особенно важен вопрос, кому она принадлежит. На ту же проблему можно посмотреть через разбор про альтернативный подход Gonka, еще одного проекта с российскими корнями — https://youtu.be/_uwgrHV_li0?r=1082
Такие проекты отлично показывают, что открытый код модели — лишь половина свободы. Вторая половина — доступные вычисления для обучения и инференса. К этому аргументу стоит добавить разбор про то, как Gonka пытается распределить именно этот слой (https://youtu.be/_uwgrHV_li0?r=1081)