Мы не в 2022 году. Сейчас мультимодальный претрейн и глубокая интеграция энкодеров - основа высокой производительности при работе с изображениями.
Если этого не делать, то у модели будут проблемы со зрением - видеть она будет, но нечётко, без деталей, путаясь во всём.
Это и наблюдалось в ранних VLM вроде Flamingo, Opus 3 и тому подобных. Поэтому надо тренировать модель и энкодер вместе, с ранних этапов, в идеале с deep fusion в разные слои и с градиентами от края до края.
В экспериментальных землях и вовсе есть вещи вроде encoder-free Gemma 4 12B. В которых "энкодер" линейный, и LLM сама всё делает. Я не думаю, что у этого есть будущее, но будущее ближе к encoder-free чем к прикручиванию внешних энкодеров "на авось".
Ненамного. "Мы уберём лишние данные из модели и она от этого станет лучше" на практике практически не работает.
Всякие Claude говорят на русском не потому что Anthropic очень заботится о русскоязычных пользователях, а потому что поддержка +1 языка на сносном уровне для нейросеток практически халявная.
Одна из первых вещей, которые узнали о своих пользователях вендоры моделей - это то, что пользователи абсолютно неспособны объективно оценивать качество работы ИИ.
Это основной источник завязшего в зубах нытья про "модель стала хуже работать".
Одна и та же модель с одними и теми же весами, промптами и длинной контекста - но в день релиза пользователи говорят "ух ты как круто работает", а через месяц ноют про "почему она так отупела". Цифры на бенчмарках те же - но оценки пользователей просели на 20%. И так раз за разом. Как же так выходит?
А выходит так потому что пользователь - мешок с мокрым мясом, а не поверенный инструмент. Если модель объективно справляется с задачей в 50% случаев, то если пользователь хочет увидеть в этом "модель умная", то он это и увидит. А если хочет увидеть "модель тупая", то он увидит "модель тупая".
Более того - пользователь со временем адаптируется к модели. Он чаще начинает замечать типовые ошибки и косяки модели, которые на релизе были ему незаметны. Он начинает давать модели более сложные задачи, и находит пределы её компетентности. Он начинает халтурить с промптами и объяснять меньше, потому что новая модель умнее и даже с тупыми промптами иногда справляется с задачами - но "иногда" не "всегда", и упрощённый промпт легко может давать -20% к производительности.
Но пользователь не знает где проблема. Он промпты не бенчмаркал конечно. Он просто говорит "модель тупеет".
На что идею менять, друг мой? На звёзды с неба? На пыльцу фей? На рог единорога и волшебную палочку?
Пока парадигма нейросетей решает новые проблемы, а другие парадигмы пердят в лужу, парадигма нейросетей будет на коне.
Так что вопрос в лоб: где замена? Где новая парадигма, которая будет либо лучше нейросетей справляться с тем, с чем справляются нейросети, либо и вовсе уйдёт в новые недоступные нейросетям горизонты?
Многие задачи человек решает вообще без обучения.
Ха ха ха ха ха. Во-первых у нейросетей есть фишечка с in-context learning. Во-вторых мозг человека "предобучен" эволюцией. Естественный отбор крутился-вертелся сотни миллионов лет, и выплюнул железку, которая собирается из клеточного супа уже частично предобученной.
"Сознание", "интеллект" и прочие плохо определённые субстанции - зловонная отрыжка философии. В практических применениях важно одно: справляется оно с задачей или нет? И нейросети - скорее "да". И становятся в этом плане лучше от поколения к поколению. И кандидатов на замену нет.
Ха ха. Прикинь сначала, сколько у человека "ресурсов" уходит на условное "прочитать 20к строк кода, написать 1к строк кода". Или "накидать один черновик сайта". А потом прикинь, сколько на это уходит ресурсов у современной нейросети.
Цифры получаются очень и очень сравнимые. Даже до того как мы включаем в "ресурсы" человека всяческое побочное "пожрать", "поспать" и "балду попинать". Без которых человек работать не может.
То, что мозг человека дофига энергоэффективен - это миф. Современные ИИ уже сравнимы. Они жрут в разы больше ватт, но и работают при этом в разы быстрее.
Мозг человека к тому же эволюционирует медленно - а нейросети становятся от поколения к поколению эффективнее. Как и чипы, на которых они работают.
Нейросети решают проблемы, которые без нейросетей решаются либо с помощью мясного мешка, либо отвратительно плохо.
Машинный перевод можно делать без нейросетей, но получается очень "потрачено". Заставить автомобиль ездить без водителя можно без нейросетей, но автомобиль без нейросетей не уедет дальше первого перекрёстка, а с нейросетями может проехать по США от края до края.
И так во всём. Нет никакого "волшебного алгоритма, который делает всё то же что и нейросети, но просто и дёшево". И скорее всего и быть не может. Потому что парадокс Моравека - решаемые нейросетями задачи вычислительно сложные.
"Лучшее", на что можно надеяться - это найти класс алгоритмов, которые технически не нейросети, но обладают схожими свойствами. Ресурсы они жрать будут примерно так же.
Как раз AGI из всех вариантов "что стало с технологической цивилизацией" вопрос по парадоксу Ферми не закрывает.
Инопланетяне, смотрящие на звёзды, понятия не имеют, строит там на удалении в 400 световых лет сферу Дайсона биологическая цивилизация или их вышедший из-под контроля ИИ. Техносигнатура есть техносигнатура.
С современными ИИ проблема часто не в "ИИ не может", а в "как сделать так чтобы ИИ делал то, что он может". И вот агенты с разными ролями - это один из вариантов.
Разделение ответственности - вместо того, чтобы один и тот же агент спотыкался 10 раз по 10 очень схожим траекториям, мы имеем разброс с разными агентами на разных направлениях. Специализация уже, расстояние между траекториями больше, покрытие шире, каждая из тем покрыта глубже.
В теории всю эту вакханалию можно собрать в одного ИИ, который с полпинка будет и швец, и жнец, и на дуде игрец. На практике этот чудо-мерж можешь сделать не ты, а разработчик моделей. От версии к версии нужда в оркестрации падает, но к нулю она так и не сошла.
В том и дело, что квантование бьёт буквально по каждому уголку нейросетки сразу. И они это переживают очень спокойно - теряя единичные проценты производительности на бенчмарках.
Что уж тут говорить про редкие ошибки в одиночных битах.
Нейросеть в целом живёт в вероятностных режимах, так что никакой "гарантии" что ошибка будет съедена нет, быть не может, да и не нужна. А вот посчитать что практически любая случайно выбранная битовая ошибка не вызовет заметных отклонений в поведении - это можно.
"Эд Зидрон" - пустозвон, который понял что на желчное "ИИ страдать" есть большой спрос, и штампует теперь статью за статьей на эту тему.
Собственно, тут мы это и видим в очередной раз. "Давайте мы скрестим ужа сомнительных утечек с ежом далеко идущих выводов из нифига, и получим что Антропик в заднице". Прекрасное высасывание из пальца.
Для этой ниши KiCAD в целом более подходящее решение.
Он бесплатный, простой в освоении, фич для плат до 8 слоёв за глаза, библиотека компонентов-футпринтов из коробки достаточна, и он имеет вокруг себя экосистему с вещами вроде InteractiveHtmlBom. А это практически киллер-фича для хоббийных и мелкосерийных нужд. По ссылке можно потыкать и проникнуться.
Тут же из киллер-фич - только TopoR из коробки. И он конечно прикольный, с этой изогнутой автотрассировкой, но сам по себе он для малых применений веселье не окупает.
В контексте нейросетей "ответственность" ещё более бессмысленна чем в контексте человеков.
К людям она применима в основном потому что она людей худо-бедно мотивирует. Нейросети можно мотивировать напрямую, промптами и файнтюном, так что "ответственность как мотивация" идёт в задницу.
Туда ей и дорога. Тех же человеков "ответственность" очень часто мотивирует на прикрытие жопы бумажками, а не на принятие хороших решений или высокую производительность труда.
То, что RAG эволюционный тупик - верно. То, что привет-из-80х "графы знаний" в этом плане намного лучше - офигеть как сомнительно.
Фундаментальная проблема RAG - это его тупизна. "Поиск по схожести на основе запроса" ограничен, и вещи вроде реранка - заплатки. Единственное, что похоже на адекватную замену - это варианты agentic RAG. Где LLM сама делает и запросы, и реранк, и удержание нужных фрагментов - итеративно, пока не найдёт нужное. Этот метод хорош тем, что масштабируется от способностей агентов LLM, а они растут.
Пайплайн сам по себе интересный, но статья пляшет не столько вокруг пайплайна, сколько вокруг этого самого "TAPe". Который весь офигенный, но мы никому не покажем.
И это при том, что сейчас в датасатанизме столько новых игрушек и методов, что даже настоящие прорывные технологии, опубликованные с бумагами, кодом и готовыми моделями, могут год на полке лежать прежде чем в них кто-то потенциал увидит. Если у них нет громких имён, за которыми народ следит.
Что уж тут говорить про "у нас прорыв, но мы его никому не покажем".
Мы не в 2022 году. Сейчас мультимодальный претрейн и глубокая интеграция энкодеров - основа высокой производительности при работе с изображениями.
Если этого не делать, то у модели будут проблемы со зрением - видеть она будет, но нечётко, без деталей, путаясь во всём.
Это и наблюдалось в ранних VLM вроде Flamingo, Opus 3 и тому подобных. Поэтому надо тренировать модель и энкодер вместе, с ранних этапов, в идеале с deep fusion в разные слои и с градиентами от края до края.
В экспериментальных землях и вовсе есть вещи вроде encoder-free Gemma 4 12B. В которых "энкодер" линейный, и LLM сама всё делает. Я не думаю, что у этого есть будущее, но будущее ближе к encoder-free чем к прикручиванию внешних энкодеров "на авось".
Ненамного. "Мы уберём лишние данные из модели и она от этого станет лучше" на практике практически не работает.
Всякие Claude говорят на русском не потому что Anthropic очень заботится о русскоязычных пользователях, а потому что поддержка +1 языка на сносном уровне для нейросеток практически халявная.
Одна из первых вещей, которые узнали о своих пользователях вендоры моделей - это то, что пользователи абсолютно неспособны объективно оценивать качество работы ИИ.
Это основной источник завязшего в зубах нытья про "модель стала хуже работать".
Одна и та же модель с одними и теми же весами, промптами и длинной контекста - но в день релиза пользователи говорят "ух ты как круто работает", а через месяц ноют про "почему она так отупела". Цифры на бенчмарках те же - но оценки пользователей просели на 20%. И так раз за разом. Как же так выходит?
А выходит так потому что пользователь - мешок с мокрым мясом, а не поверенный инструмент. Если модель объективно справляется с задачей в 50% случаев, то если пользователь хочет увидеть в этом "модель умная", то он это и увидит. А если хочет увидеть "модель тупая", то он увидит "модель тупая".
Более того - пользователь со временем адаптируется к модели. Он чаще начинает замечать типовые ошибки и косяки модели, которые на релизе были ему незаметны. Он начинает давать модели более сложные задачи, и находит пределы её компетентности. Он начинает халтурить с промптами и объяснять меньше, потому что новая модель умнее и даже с тупыми промптами иногда справляется с задачами - но "иногда" не "всегда", и упрощённый промпт легко может давать -20% к производительности.
Но пользователь не знает где проблема. Он промпты не бенчмаркал конечно. Он просто говорит "модель тупеет".
На что идею менять, друг мой? На звёзды с неба? На пыльцу фей? На рог единорога и волшебную палочку?
Пока парадигма нейросетей решает новые проблемы, а другие парадигмы пердят в лужу, парадигма нейросетей будет на коне.
Так что вопрос в лоб: где замена? Где новая парадигма, которая будет либо лучше нейросетей справляться с тем, с чем справляются нейросети, либо и вовсе уйдёт в новые недоступные нейросетям горизонты?
Ха ха ха ха ха. Во-первых у нейросетей есть фишечка с in-context learning. Во-вторых мозг человека "предобучен" эволюцией. Естественный отбор крутился-вертелся сотни миллионов лет, и выплюнул железку, которая собирается из клеточного супа уже частично предобученной.
"Сознание", "интеллект" и прочие плохо определённые субстанции - зловонная отрыжка философии. В практических применениях важно одно: справляется оно с задачей или нет? И нейросети - скорее "да". И становятся в этом плане лучше от поколения к поколению. И кандидатов на замену нет.
Ха ха. Прикинь сначала, сколько у человека "ресурсов" уходит на условное "прочитать 20к строк кода, написать 1к строк кода". Или "накидать один черновик сайта". А потом прикинь, сколько на это уходит ресурсов у современной нейросети.
Цифры получаются очень и очень сравнимые. Даже до того как мы включаем в "ресурсы" человека всяческое побочное "пожрать", "поспать" и "балду попинать". Без которых человек работать не может.
То, что мозг человека дофига энергоэффективен - это миф. Современные ИИ уже сравнимы. Они жрут в разы больше ватт, но и работают при этом в разы быстрее.
Мозг человека к тому же эволюционирует медленно - а нейросети становятся от поколения к поколению эффективнее. Как и чипы, на которых они работают.
Статья пустая и бессмысленная.
Нейросети решают проблемы, которые без нейросетей решаются либо с помощью мясного мешка, либо отвратительно плохо.
Машинный перевод можно делать без нейросетей, но получается очень "потрачено". Заставить автомобиль ездить без водителя можно без нейросетей, но автомобиль без нейросетей не уедет дальше первого перекрёстка, а с нейросетями может проехать по США от края до края.
И так во всём. Нет никакого "волшебного алгоритма, который делает всё то же что и нейросети, но просто и дёшево". И скорее всего и быть не может. Потому что парадокс Моравека - решаемые нейросетями задачи вычислительно сложные.
"Лучшее", на что можно надеяться - это найти класс алгоритмов, которые технически не нейросети, но обладают схожими свойствами. Ресурсы они жрать будут примерно так же.
Как раз AGI из всех вариантов "что стало с технологической цивилизацией" вопрос по парадоксу Ферми не закрывает.
Инопланетяне, смотрящие на звёзды, понятия не имеют, строит там на удалении в 400 световых лет сферу Дайсона биологическая цивилизация или их вышедший из-под контроля ИИ. Техносигнатура есть техносигнатура.
С современными ИИ проблема часто не в "ИИ не может", а в "как сделать так чтобы ИИ делал то, что он может". И вот агенты с разными ролями - это один из вариантов.
Разделение ответственности - вместо того, чтобы один и тот же агент спотыкался 10 раз по 10 очень схожим траекториям, мы имеем разброс с разными агентами на разных направлениях. Специализация уже, расстояние между траекториями больше, покрытие шире, каждая из тем покрыта глубже.
В теории всю эту вакханалию можно собрать в одного ИИ, который с полпинка будет и швец, и жнец, и на дуде игрец. На практике этот чудо-мерж можешь сделать не ты, а разработчик моделей. От версии к версии нужда в оркестрации падает, но к нулю она так и не сошла.
Нет, но битов с моделью подавляющее большинство.
В остальном - подозреваю что ни у кого нет больше опыта чем у SpaceX в использовании не-hardened железа в космосе. Они эту тему любят.
В том и дело, что квантование бьёт буквально по каждому уголку нейросетки сразу. И они это переживают очень спокойно - теряя единичные проценты производительности на бенчмарках.
Что уж тут говорить про редкие ошибки в одиночных битах.
Нейросеть в целом живёт в вероятностных режимах, так что никакой "гарантии" что ошибка будет съедена нет, быть не может, да и не нужна. А вот посчитать что практически любая случайно выбранная битовая ошибка не вызовет заметных отклонений в поведении - это можно.
Задачи ML часто просто съедают ошибки. Один сбойный бит в масштабе огромной нейросети решает очень мало.
"Эд Зидрон" - пустозвон, который понял что на желчное "ИИ страдать" есть большой спрос, и штампует теперь статью за статьей на эту тему.
Собственно, тут мы это и видим в очередной раз. "Давайте мы скрестим ужа сомнительных утечек с ежом далеко идущих выводов из нифига, и получим что Антропик в заднице". Прекрасное высасывание из пальца.
Для этой ниши KiCAD в целом более подходящее решение.
Он бесплатный, простой в освоении, фич для плат до 8 слоёв за глаза, библиотека компонентов-футпринтов из коробки достаточна, и он имеет вокруг себя экосистему с вещами вроде InteractiveHtmlBom. А это практически киллер-фича для хоббийных и мелкосерийных нужд. По ссылке можно потыкать и проникнуться.
Тут же из киллер-фич - только TopoR из коробки. И он конечно прикольный, с этой изогнутой автотрассировкой, но сам по себе он для малых применений веселье не окупает.
Нечего на зеркало пенять коли рожа крива.
В контексте нейросетей "ответственность" ещё более бессмысленна чем в контексте человеков.
К людям она применима в основном потому что она людей худо-бедно мотивирует. Нейросети можно мотивировать напрямую, промптами и файнтюном, так что "ответственность как мотивация" идёт в задницу.
Туда ей и дорога. Тех же человеков "ответственность" очень часто мотивирует на прикрытие жопы бумажками, а не на принятие хороших решений или высокую производительность труда.
То, что RAG эволюционный тупик - верно. То, что привет-из-80х "графы знаний" в этом плане намного лучше - офигеть как сомнительно.
Фундаментальная проблема RAG - это его тупизна. "Поиск по схожести на основе запроса" ограничен, и вещи вроде реранка - заплатки. Единственное, что похоже на адекватную замену - это варианты agentic RAG. Где LLM сама делает и запросы, и реранк, и удержание нужных фрагментов - итеративно, пока не найдёт нужное. Этот метод хорош тем, что масштабируется от способностей агентов LLM, а они растут.
Одно дело готовые вакцины для известных типов рака, и другое - собирать вакцину "на лету" под конкретный выдранный из организма тип рака.
Впрочем, если "собирать на лету" даёт преимущество, то и до людей доползёт. Потому на последних стадиях рака часто терять уже особо нечего.
Очередная фигня про "model collapse" - классический случай изнасилования учёных журналистами. В реальности он проблемой не является.
Пайплайн сам по себе интересный, но статья пляшет не столько вокруг пайплайна, сколько вокруг этого самого "TAPe". Который весь офигенный, но мы никому не покажем.
И это при том, что сейчас в датасатанизме столько новых игрушек и методов, что даже настоящие прорывные технологии, опубликованные с бумагами, кодом и готовыми моделями, могут год на полке лежать прежде чем в них кто-то потенциал увидит. Если у них нет громких имён, за которыми народ следит.
Что уж тут говорить про "у нас прорыв, но мы его никому не покажем".
Если оптимизация I-фреймов даёт на 5% лучше сжатие при прочих равных, то ты на объёмах какого-нибудь YouTube на эти 5% сможешь себе самолёт купить.
Впрочем, эта статья даже не пытается показывать применимость к реальным задачам. Что уныло.