Как раз AGI из всех вариантов "что стало с технологической цивилизацией" вопрос по парадоксу Ферми не закрывает.
Инопланетяне, смотрящие на звёзды, понятия не имеют, строит там на удалении в 400 световых лет сферу Дайсона биологическая цивилизация или их вышедший из-под контроля ИИ. Техносигнатура есть техносигнатура.
С современными ИИ проблема часто не в "ИИ не может", а в "как сделать так чтобы ИИ делал то, что он может". И вот агенты с разными ролями - это один из вариантов.
Разделение ответственности - вместо того, чтобы один и тот же агент спотыкался 10 раз по 10 очень схожим траекториям, мы имеем разброс с разными агентами на разных направлениях. Специализация уже, расстояние между траекториями больше, покрытие шире, каждая из тем покрыта глубже.
В теории всю эту вакханалию можно собрать в одного ИИ, который с полпинка будет и швец, и жнец, и на дуде игрец. На практике этот чудо-мерж можешь сделать не ты, а разработчик моделей. От версии к версии нужда в оркестрации падает, но к нулю она так и не сошла.
В том и дело, что квантование бьёт буквально по каждому уголку нейросетки сразу. И они это переживают очень спокойно - теряя единичные проценты производительности на бенчмарках.
Что уж тут говорить про редкие ошибки в одиночных битах.
Нейросеть в целом живёт в вероятностных режимах, так что никакой "гарантии" что ошибка будет съедена нет, быть не может, да и не нужна. А вот посчитать что практически любая случайно выбранная битовая ошибка не вызовет заметных отклонений в поведении - это можно.
"Эд Зидрон" - пустозвон, который понял что на желчное "ИИ страдать" есть большой спрос, и штампует теперь статью за статьей на эту тему.
Собственно, тут мы это и видим в очередной раз. "Давайте мы скрестим ужа сомнительных утечек с ежом далеко идущих выводов из нифига, и получим что Антропик в заднице". Прекрасное высасывание из пальца.
Для этой ниши KiCAD в целом более подходящее решение.
Он бесплатный, простой в освоении, фич для плат до 8 слоёв за глаза, библиотека компонентов-футпринтов из коробки достаточна, и он имеет вокруг себя экосистему с вещами вроде InteractiveHtmlBom. А это практически киллер-фича для хоббийных и мелкосерийных нужд. По ссылке можно потыкать и проникнуться.
Тут же из киллер-фич - только TopoR из коробки. И он конечно прикольный, с этой изогнутой автотрассировкой, но сам по себе он для малых применений веселье не окупает.
В контексте нейросетей "ответственность" ещё более бессмысленна чем в контексте человеков.
К людям она применима в основном потому что она людей худо-бедно мотивирует. Нейросети можно мотивировать напрямую, промптами и файнтюном, так что "ответственность как мотивация" идёт в задницу.
Туда ей и дорога. Тех же человеков "ответственность" очень часто мотивирует на прикрытие жопы бумажками, а не на принятие хороших решений или высокую производительность труда.
Спорю я с абсолютно дурацким убеждением о том, что "детерминизм" вообще возможен при решении сложных задач мерзкого и шумного реального мира. Не все задачи можно урезать до жёсткой стабильной логики. Шум на входе - шум на выходе.
И с тем, что мешки с мясом в этом плане фундаментально лучше современных систем ИИ. Мешки с мясом - это самообученные нейросети на фундаменте биохимического шума. Планку они ставят, но эта планка не такая уж и высокая. LLM современности уже могут уделывать докторов из мяса на многих медицинских задачах.
Алё, гараж. Мы в 21 веке. Все задачи, которые мог решать тупой как палка микроконтроллер в PLC уже решает тупой как палка микроконтроллер в PLC.
И что остаётся? Задачи, которые требуют мозгов и гибкости. Задачи, которые требуют интеллекта. Задачи, которые сейчас решает мешок с мясом на среднестатистической зарплате.
Добро пожаловать в реальный мир. В мир, сделанный из броуновского движения. В мир где дерьмо случается. Где промышленными машинами в 20 тонн управляют мешки с мясом, поведение которых предсказуемо хорошо если на уровне "худо-бедно". Плохо если уровень алкоголя в крови начинает сдвигать эту предсказуемость ещё сильнее вниз.
"Детерменизм" он захотел. Ага, щас. Губу раскатал. Думаешь, доктор чего-то там "доказывает"? Он помнит 7 самых частых диагнозов и решает какой из них ставить на вайбах, прочитав перед этим медкарту хорошо если наискосок.
Так я буквально на пять сантиметров выше говорю про Vera Rubin. "Потолок" сегодняшних серверных стоек - это явление очень временное.
Ну и удачи найти архитектуру, которая будет давать реальный выигрыш в вычислительной эффективности на широком ряде задач. Сейчас лучшие из лучших - это "мы имеем на широких бенчмарках примерно такие же значения как у трансформеров на примерно том же компьюте", или "мы имеем на узких бенчмарках 20%, а трансформер имеет 80%, но мы в 10000 раз меньше компьюта тратим, это офигенно, только вверх наша штука не масштабируется".
"Масштабирование" было основным источником роста производительности в 2022 году. В 2024 году мы упёрлись в ёмкость GPU и TPU. На текущем поколении железа больше ~4T MoE эффективно запускать мы не можем.
А вот текущие размерности работают вполне хорошо - сейчас на inference уходит примерно в 10 раз больше вычислительной мощности чем на training.
Откуда тогда взялся весь рост производительности между 2024 и 2026?
Reasoning и иные варианты test time compute. Новые данные, новые методы обучения, более точное управление поведением. Размерность растёт медленнее чем способности - в старые трансформеры запихивают новый фарш и получают очередной + на бенчмарках.
Это статистическая модель последовательности, не модель мира
Берём "статистическую модель последовательности", вскрываем её ножиком, засовываем внутрь руку. Что там у неё в кишках? Модель мира.
Не, ну я понимаю что механистическая интерпретируемость в заднице плотно и надолго. Но когда механисты что-то всё-таки находят, их надо слушать. И модели мира внутри трансформеров нашли уже очень и очень давно.
Не говоря уже о генеративных моделях видео на трансформерах. У них с физикой всё на удивление хорошо, можно прям глазками посмотреть. Хотя в основании архитектуры - тот же самый авторегрессивный трансформер с квадратным attention. Просто данные другие. Видео учит пространственному мышлению лучше чем текст, какой блин сюрприз, кто бы мог подумать.
Фотонные компьютеры
"Фотонные компьютеры" - хайпожорская фигня, потому что масштабируемость у них на современных технологиях абсолютно никакая. Самые мощные фотонные машины современности на задачах ML сливаются вчистую смартфону за $100 и копеечному процессору внутри. Что уж говорить о ML-зубилах вроде Vera Rubin - которые как раз готовятся ставить в серверные стойки сейчас.
И это аргумент в нашу пользу, значит проблема реальна
Ха ха. Проблема реальна - только она не у трансформеров, а у их "убийц". И проблема в том, что трансформеры - good enough. Мощные, гибкие, эффективные, расширяемые - их можно натравить на практически любую проблему и они её сожрут. Конкурирующие с ними архитектуры просто не дают над ними значительных преимуществ. Ты задолбался с настройкой кастомных блоков и твоя награда - это производительность хуже трансформеров на одних и тех же задачах, нестабильность в обучении, сомнительная масштабируемость, и острая боль в жопе когда приходит очередная бумажка про "как поднять производительность/эффективность трансформера на 5%" и ты не можешь эти 5% в свою хтонь впихнуть. Вот и весь "убийца".
Вопрос — какой ценой.
Ценой обучения. Сейчас основной источник роста производительности - это не масштабирование архитектуры. Масштабы архитектуры упёрлись в то, что можно эффективно запускать на современных серверах и продавать клиентам с прибылью. Но учить старые трансформеры новым трюкам - это пожалуйста, это можно.
"Убийц трансформеров" за последние годы было уже очень много. До сих пор перед глазами как живые.
В то, что новая архитектура, которая не даёт над очередной модификацией авторегрессивного трансформера абсолютно никаких практических преимуществ (фотонные компьютеры? серьёзно?), внезапно вырвется вперёд и запинает титанов вроде современного GPT-5.4, веры у меня примерно как в сказочки для детей от 3 до 9 лет.
Ну и видеть очередную итерацию бреда про "это не настоящее понимание" (define "настоящее") и "LLM всё, роста дальше не будет" (производительность с каждым релизом всё ещё растёт) - гнило и тухло. Могли бы уже найти новую пластинку вместо хитов 2023 года.
То, что RAG эволюционный тупик - верно. То, что привет-из-80х "графы знаний" в этом плане намного лучше - офигеть как сомнительно.
Фундаментальная проблема RAG - это его тупизна. "Поиск по схожести на основе запроса" ограничен, и вещи вроде реранка - заплатки. Единственное, что похоже на адекватную замену - это варианты agentic RAG. Где LLM сама делает и запросы, и реранк, и удержание нужных фрагментов - итеративно, пока не найдёт нужное. Этот метод хорош тем, что масштабируется от способностей агентов LLM, а они растут.
Как раз AGI из всех вариантов "что стало с технологической цивилизацией" вопрос по парадоксу Ферми не закрывает.
Инопланетяне, смотрящие на звёзды, понятия не имеют, строит там на удалении в 400 световых лет сферу Дайсона биологическая цивилизация или их вышедший из-под контроля ИИ. Техносигнатура есть техносигнатура.
С современными ИИ проблема часто не в "ИИ не может", а в "как сделать так чтобы ИИ делал то, что он может". И вот агенты с разными ролями - это один из вариантов.
Разделение ответственности - вместо того, чтобы один и тот же агент спотыкался 10 раз по 10 очень схожим траекториям, мы имеем разброс с разными агентами на разных направлениях. Специализация уже, расстояние между траекториями больше, покрытие шире, каждая из тем покрыта глубже.
В теории всю эту вакханалию можно собрать в одного ИИ, который с полпинка будет и швец, и жнец, и на дуде игрец. На практике этот чудо-мерж можешь сделать не ты, а разработчик моделей. От версии к версии нужда в оркестрации падает, но к нулю она так и не сошла.
Нет, но битов с моделью подавляющее большинство.
В остальном - подозреваю что ни у кого нет больше опыта чем у SpaceX в использовании не-hardened железа в космосе. Они эту тему любят.
В том и дело, что квантование бьёт буквально по каждому уголку нейросетки сразу. И они это переживают очень спокойно - теряя единичные проценты производительности на бенчмарках.
Что уж тут говорить про редкие ошибки в одиночных битах.
Нейросеть в целом живёт в вероятностных режимах, так что никакой "гарантии" что ошибка будет съедена нет, быть не может, да и не нужна. А вот посчитать что практически любая случайно выбранная битовая ошибка не вызовет заметных отклонений в поведении - это можно.
Задачи ML часто просто съедают ошибки. Один сбойный бит в масштабе огромной нейросети решает очень мало.
"Эд Зидрон" - пустозвон, который понял что на желчное "ИИ страдать" есть большой спрос, и штампует теперь статью за статьей на эту тему.
Собственно, тут мы это и видим в очередной раз. "Давайте мы скрестим ужа сомнительных утечек с ежом далеко идущих выводов из нифига, и получим что Антропик в заднице". Прекрасное высасывание из пальца.
Для этой ниши KiCAD в целом более подходящее решение.
Он бесплатный, простой в освоении, фич для плат до 8 слоёв за глаза, библиотека компонентов-футпринтов из коробки достаточна, и он имеет вокруг себя экосистему с вещами вроде InteractiveHtmlBom. А это практически киллер-фича для хоббийных и мелкосерийных нужд. По ссылке можно потыкать и проникнуться.
Тут же из киллер-фич - только TopoR из коробки. И он конечно прикольный, с этой изогнутой автотрассировкой, но сам по себе он для малых применений веселье не окупает.
Нечего на зеркало пенять коли рожа крива.
В контексте нейросетей "ответственность" ещё более бессмысленна чем в контексте человеков.
К людям она применима в основном потому что она людей худо-бедно мотивирует. Нейросети можно мотивировать напрямую, промптами и файнтюном, так что "ответственность как мотивация" идёт в задницу.
Туда ей и дорога. Тех же человеков "ответственность" очень часто мотивирует на прикрытие жопы бумажками, а не на принятие хороших решений или высокую производительность труда.
Энергоэффективность? В разы энергоэффективнее мешка с мясом, который она заменяет.
Детерменизм? Только если все данные на входе прибиты гвоздями - то есть лучше чем у мешка с мясом, который она заменяет.
"Реальное обучение?" Define "реальное", болезный. Есть PEFT, есть in-context learning. Или это не "реальное", типа не считается, понарошку?
Спорю я с абсолютно дурацким убеждением о том, что "детерминизм" вообще возможен при решении сложных задач мерзкого и шумного реального мира. Не все задачи можно урезать до жёсткой стабильной логики. Шум на входе - шум на выходе.
И с тем, что мешки с мясом в этом плане фундаментально лучше современных систем ИИ. Мешки с мясом - это самообученные нейросети на фундаменте биохимического шума. Планку они ставят, но эта планка не такая уж и высокая. LLM современности уже могут уделывать докторов из мяса на многих медицинских задачах.
Алё, гараж. Мы в 21 веке. Все задачи, которые мог решать тупой как палка микроконтроллер в PLC уже решает тупой как палка микроконтроллер в PLC.
И что остаётся? Задачи, которые требуют мозгов и гибкости. Задачи, которые требуют интеллекта. Задачи, которые сейчас решает мешок с мясом на среднестатистической зарплате.
И вот эти задачи мы сейчас и решаем с помощью ИИ.
Детерменизм - мечта идиота.
Добро пожаловать в реальный мир. В мир, сделанный из броуновского движения. В мир где дерьмо случается. Где промышленными машинами в 20 тонн управляют мешки с мясом, поведение которых предсказуемо хорошо если на уровне "худо-бедно". Плохо если уровень алкоголя в крови начинает сдвигать эту предсказуемость ещё сильнее вниз.
"Детерменизм" он захотел. Ага, щас. Губу раскатал. Думаешь, доктор чего-то там "доказывает"? Он помнит 7 самых частых диагнозов и решает какой из них ставить на вайбах, прочитав перед этим медкарту хорошо если наискосок.
Так я буквально на пять сантиметров выше говорю про Vera Rubin. "Потолок" сегодняшних серверных стоек - это явление очень временное.
Ну и удачи найти архитектуру, которая будет давать реальный выигрыш в вычислительной эффективности на широком ряде задач. Сейчас лучшие из лучших - это "мы имеем на широких бенчмарках примерно такие же значения как у трансформеров на примерно том же компьюте", или "мы имеем на узких бенчмарках 20%, а трансформер имеет 80%, но мы в 10000 раз меньше компьюта тратим, это офигенно, только вверх наша штука не масштабируется".
Бред сивой кобылы.
"Масштабирование" было основным источником роста производительности в 2022 году. В 2024 году мы упёрлись в ёмкость GPU и TPU. На текущем поколении железа больше ~4T MoE эффективно запускать мы не можем.
А вот текущие размерности работают вполне хорошо - сейчас на inference уходит примерно в 10 раз больше вычислительной мощности чем на training.
Откуда тогда взялся весь рост производительности между 2024 и 2026?
Reasoning и иные варианты test time compute. Новые данные, новые методы обучения, более точное управление поведением. Размерность растёт медленнее чем способности - в старые трансформеры запихивают новый фарш и получают очередной + на бенчмарках.
Берём "статистическую модель последовательности", вскрываем её ножиком, засовываем внутрь руку. Что там у неё в кишках? Модель мира.
Не, ну я понимаю что механистическая интерпретируемость в заднице плотно и надолго. Но когда механисты что-то всё-таки находят, их надо слушать. И модели мира внутри трансформеров нашли уже очень и очень давно.
Не говоря уже о генеративных моделях видео на трансформерах. У них с физикой всё на удивление хорошо, можно прям глазками посмотреть. Хотя в основании архитектуры - тот же самый авторегрессивный трансформер с квадратным attention. Просто данные другие. Видео учит пространственному мышлению лучше чем текст, какой блин сюрприз, кто бы мог подумать.
"Фотонные компьютеры" - хайпожорская фигня, потому что масштабируемость у них на современных технологиях абсолютно никакая. Самые мощные фотонные машины современности на задачах ML сливаются вчистую смартфону за $100 и копеечному процессору внутри. Что уж говорить о ML-зубилах вроде Vera Rubin - которые как раз готовятся ставить в серверные стойки сейчас.
Ха ха. Проблема реальна - только она не у трансформеров, а у их "убийц". И проблема в том, что трансформеры - good enough. Мощные, гибкие, эффективные, расширяемые - их можно натравить на практически любую проблему и они её сожрут. Конкурирующие с ними архитектуры просто не дают над ними значительных преимуществ. Ты задолбался с настройкой кастомных блоков и твоя награда - это производительность хуже трансформеров на одних и тех же задачах, нестабильность в обучении, сомнительная масштабируемость, и острая боль в жопе когда приходит очередная бумажка про "как поднять производительность/эффективность трансформера на 5%" и ты не можешь эти 5% в свою хтонь впихнуть. Вот и весь "убийца".
Ценой обучения. Сейчас основной источник роста производительности - это не масштабирование архитектуры. Масштабы архитектуры упёрлись в то, что можно эффективно запускать на современных серверах и продавать клиентам с прибылью. Но учить старые трансформеры новым трюкам - это пожалуйста, это можно.
"Убийц трансформеров" за последние годы было уже очень много. До сих пор перед глазами как живые.
В то, что новая архитектура, которая не даёт над очередной модификацией авторегрессивного трансформера абсолютно никаких практических преимуществ (фотонные компьютеры? серьёзно?), внезапно вырвется вперёд и запинает титанов вроде современного GPT-5.4, веры у меня примерно как в сказочки для детей от 3 до 9 лет.
Ну и видеть очередную итерацию бреда про "это не настоящее понимание" (define "настоящее") и "LLM всё, роста дальше не будет" (производительность с каждым релизом всё ещё растёт) - гнило и тухло. Могли бы уже найти новую пластинку вместо хитов 2023 года.
То, что RAG эволюционный тупик - верно. То, что привет-из-80х "графы знаний" в этом плане намного лучше - офигеть как сомнительно.
Фундаментальная проблема RAG - это его тупизна. "Поиск по схожести на основе запроса" ограничен, и вещи вроде реранка - заплатки. Единственное, что похоже на адекватную замену - это варианты agentic RAG. Где LLM сама делает и запросы, и реранк, и удержание нужных фрагментов - итеративно, пока не найдёт нужное. Этот метод хорош тем, что масштабируется от способностей агентов LLM, а они растут.
Одно дело готовые вакцины для известных типов рака, и другое - собирать вакцину "на лету" под конкретный выдранный из организма тип рака.
Впрочем, если "собирать на лету" даёт преимущество, то и до людей доползёт. Потому на последних стадиях рака часто терять уже особо нечего.
Очередная фигня про "model collapse" - классический случай изнасилования учёных журналистами. В реальности он проблемой не является.