У LinOSS-IM частично это решено через комплексный оператор A с отрицательной вещественной частью, где A задается как diag(−softplus(Alog)+i⋅Aim) , где Re(A)<0.
Но конечно там надо следить за тем, чтобы из за дискретности другие параметры не привели к проблемам, вроде роста dt и других. Но если это грамотно учитывать, то все нормально. А так идеальных систем в нейронных сетях не бывает, особенно в динамических.
насчет bibo, то чистая SSM да не обладает. LinOSS-IM обладает, так как там затухание. Но, когда я расширял модель SSM (вывел ее через туже кинематику), то BIBO-устойчивость была проблемой связанной с дискретностью, так как затухание не успевало за ускорением и происходил рост. Но это решается, если правильно учесть этот момент, сейчас подобных проблем нет.
Поэтому с теоремой Винера-Леви все нормально, если учесть этот момент. Но да, надо быть к нему готовым, если использовать в чистом виде SSM/LinOSS/Mamba. Я не помню, чтобы в них это учитывалось и могут быть такие последовательности, где из-за дискретности состояния затухание будет расходится с ускорением и тогда взрыв градиентов. Так что этот момент вполне решается, если его учесть.
Все таки универсальная аппроксимация зависит от наличия нелинейностей в IMEX. И это верно если архитектура линейная, но разные разновидности SSM могут быть как линейными, так и не линейными.
Музыкальные композиции, не важно в Midi или спектрограммах это периодические данные, не важно с затуханием или с динамическим периодом. Поэтому тут в любом случае лучше использовать LinOSS-IM (это SSM с осцилляцией, через замену в уравнении матрицы A на комплексную, для описания колебаний)
Это конечно не панацея, но если нужно еще модуляция (механизм внимания), то выводил математически и дорабатывал ее. В комментариях выкладывал код. Оптимизацию пока не делал, но в целом это лучше, чем просто SSM/LinOSS-IM. Хотя в названии LinOSS-IM, но из нее была взято как раз комплексная составляющая для осцилляции. Так что для данных лучше использовать ее, для MIDI это точно.
Минус не ставил, но в вашем примере есть проблема, так как в вашем случае следовало бы использовать цепочку SMM или mamba или linoss-im или хотя бы гибрид с трансформерами. Когда речь заходит про генерацию музыки. Это даст более качественный результат, чем трансформеры. В вашем случае позиционирование разделяет временные участки.
Моторы от дронов, и в целом сборка выходит в 5000$, что не так уж и дешево.
У Института интеллектуальных систем Макса Планка и Калифорнийского университета уже был проект шагающего робота с open source BirdBot. Все такие проекты, требуют не дешевых моторов. У того же BirdBot (ноги) один мотор стоит ~70 тыс руб, а их надо 4.
Модели LLM и другие упираются не в невидимую стену. Это следствие того, что при увеличении объема данных, признаки обобщаются. Нельзя одновременно получить модель, которая будет улавливать детали и обобщать их. С ростом данных , детали неизбежно теряются. Тут поможет только множество специализированных LLM работающих вместе.
Это выводится из Лагранжа, из за минимизации энтропии
Но, в целом при этом энтропия всей системы продолжает расти.
https://t.me/greenruff/2306
Что касается саморефлексии, то рассуждающие модели не полноценно не реализуют. Выше небольшой фрагмент петли саморефлексии в мозге. Тут важно заметить, что при ней происходит определение ошибки, а не только конечного сигнала. Конечный сигнал через гиппокамп (память) повторно идёт на вход, но при этом остаточная ошибка (как минимум в ACC, хотя не только) тоже идёт обратно на вход через таламус и при этом модулирует повторно сигнал на входе и из памяти. У рассуждающие моделей этого нет, а и мультмодальных.
https://t.me/greenruff/2431?single
Ещё одним важным моментом, является рассинхрон модуляции. Это связано со временем. Все LLM и прочие, обобщают время. И поэтому модуляция признаков происходит обобщенно по времени. Но в тексте и речи, это не так. Разные фрагменты речи имеют разное время из за хотя бы эмоционального окраса. Это нарушает правильную синхронизацию модуляции признаков. Мозг, синхронизирует это, в llm нет такого механизма. Как итог, при длинных диалогов, происходит сильный рассинхрон, и вместо усиления связанных признаков "красное яблоко", модель усиливает "Маша яблоко", что приводит к ошибкам при дальнейшем предсказании токенов, так как усиливаются другие. Теряются детали, смысловые связи. Это отлично видно при генерации кода в программировании, там этот рассинхрон особенно заметен.
Кто вам сказал, про Мышление без слов? У очень многих животных уже определили, наличие сложной речи. Например летучие мыши. Кроме того, откуда вы взяли что саморефлексия должна быть построена только на словах? Возьмите например глухих от рождения, у них так же присутствует "внутренний голос", только он не речевой а с помощью образов. Более того, было исследование, что у многих обычных людей (врать не будут, по-моему было указано 20-25%) нет внутренней речевой саморефлексии. Но она может быть через зрительные или другие сенсорные образы (тактильные, запахи).
Из современных про Бонобо, пример. В «языке» диких бонобо смысл фраз не сводится к сумме смыслов слов
Ну основа речи, артикуляция не зависит от ее формы и у всех животных сводится к одной форме. В общем имеет одинаковое фазовое пространство градиентов речи, которые отражают артикуляцию. При этом, как оказалось нет разницы какая форма артикуляторов: язык с гортанью, Melon с мешочками как у дельфинов, или две гортани верхнюю (larynx) и нижнюю (syrynx) как у многих птиц, или жужжальца у пчел или пузо/лапки при трении у муравьев - все они из общих принципов минимизации энергии стремятся к одной форме (разного масштаба и расположения). Конечно артикуляция это еще не речь, но смысл в том, что разные формы реализации приводят к одинаковым формам фазового пространства из-за стремления системы минимизировать энергетические затраты. Поэтому, разная форма зрения, речи в итоге все равно должно стремится к минимизации энтропии (одинаковому фазовому пространству).
Не понятно, откуда вы взяли такие выводы? Можно источники? Или четкое обоснование и факты, которые можно проверить?
Это сложно назваться полноценной игрой. Скорее удобный вариант изучения программирования или движка.
Скрытый текст
Некоторые скриншоты
Я так тоже пробовал варианты написал игру за неделю только с помощью нейронок. Увы, на первых шагах мне пришлось подключаться самому и включать мозг и делать самостоятельно уже на уровне взаимодействия сцен и работы элементов (делал на юнити).
Дальше стало ещё хуже. Сетка пересматривала структуру данных, ломала код, не могла решить множество простых проблем (тут нужен опыт).
В итоге, я понял что в реальности мне приходиться больше исправлять за сеткой, чем пользы от нее. В итоге эксперимент написать нормальную игру за неделю только с помощью сеток провалился. Все руки не доходят сесть и доделать самому, хотя в играх код всегда примитивный. В них гораздо важнее связи элементов, из структуры и продуманность.
Как по мне, практика показывает, что может в самом начале и можно накидать сеткой, но дальше все равно надо править самому все и забить на них.
Так же, если ты не знаешь язык на котором делаешь игру, тонкости движка, его проблемы, то игру не напишешь. Демку да, полноценную игру нет. С учётом полноценной загрузки сцен, оптимизации и так далее.
Дополню к прошлому ответу, до этого для подобных вещей использовался другой подход. Основанный на согласовании поведения моделей с человеческими ценностями через обучение с подкреплением (RLHF). В OpenAI им занимался к примеру Дэниэл Леви (Daniel Levy), сейчас по моему ушел с Суцкевером.
Например эти исследования и подходы
"Aligning Language Models to Human Values" (OpenAI, 2021) — исследование методов согласования поведения моделей с человеческими ценностями через обучение с подкреплением (RLHF).
Работы по детектированию вредоносного использования ИИ, такие как "Forecasting transformative AI governance challenges" (OpenAI, 2023).
ну и в частности
"Fine-Tuning Language Models from Human Preferences" (2019) — использование RL для настройки моделей под человеческие предпочтения.
RLHF решает задачу «согласования» (alignment) через три этапа:
Сбор человеческой обратной связи Люди оценивают ответы модели на запросы, сравнивая несколько вариантов и выбирая наиболее предпочтительный. Например, два ответа на вопрос: один вежливый и безопасный, другой — грубый или спорный. Такие сравнения формируют обучающий набор для модели вознаграждения.
Обучение модели вознаграждения (Reward Model) На основе собранных данных создается модель, которая предсказывает, какой ответ человек сочтет лучшим. Эта модель выступает в роли «вознаграждения» для обучения самой языковой модели.
Файн-тюнинг языковой модели с помощью RL Используя модель вознаграждения, языковая модель обучается генерировать ответы, которые максимизируют это вознаграждение. Таким образом, модель учится адаптироваться к человеческим предпочтениям.
Но этот подход плохо масштабируется, так как стоит огромных денег. OpenAI использовала его в 2019 году и явно использует сейчас. Но, он слишком затратный и имеет много проблем при оценке. Кто-то оценивает краткость, а кто детализацию ответа. И получается сильный разброс.
Собственно это одна из причин почему перешли на MAS на основе Deep CFR. Он более гибкий, дешевле и легче масштабируем. Так как в MAS агентов могут обучить на разных правилах, по которым они потом оценивают ответы, чтобы дать оценку вопросу пользователя или для тюнинга модели.
Как пример, есть два подхода (в реальности их больше), где MAS на основе DeepCFR хорошо масштабируется и очень удобен:
Constitutional AI : Модель обучается на правилах (например, правах человека) вместо прямой обратной связи.
Debate : Две модели спорят между собой, а третья оценивает их аргументы.
Так что DeepCFR просто более качественный, универсальный, экономически более выгодный и легче масштабируется. Так как можно обучить агента под конкретные правила. Завтра поменялись правила, заменили какого то из агентов. Чем переобучать/fine-tuning всю модель.
Noam Brown исследователя Research Scientist из OpenAI.
Meta безуспешно пыталась переманить Корая Кавукчуоглу, одного из ведущих исследователей ИИ в Google, а также Ноама Брауна, ведущего исследователя в OpenAI
Noam Brown — исследователь из OpenAI, известный своими работами в области искусственного интеллекта, машинного обучения и теории игр, после перехода в OpenAI его исследования сосредоточились на более широких задачах ИИ, включая многопользовательские взаимодействия, обучение с подкреплением и этику ИИ. Он один из авторов Deep CFR
Он до этого уже занимался (и сейчас занимается): играми с неполной информацией (именно агентские, а не просто), исследование стратегий взаимодействия между ИИ-агентами и людьми в условиях конкуренции и сотрудничества, анализом рисков связанных с мультагентными системами и разработка механизмов контроля поведения ИИ.
В свое время Brown высказывался о рисках использования ИИ в стратегических взаимодействиях и необходимость контроля за поведением агентов.
То есть, его задача - это риски работы пользователя с ИИ. Он до этого занимался и продолжает заниматься Deep CFR, OpenAI это подчеркивало. В целом в докладах и на разных видео об этом часто говориться. Ни кто в здравом уме (кроме Яндекса после утечки данных) не станет делать это через скрипты, так как для этого есть целая область, которая этим занимается и исследуется. В РФ просто этим так глубоко не занимаются (я не встречал).
Вам нужны CFR/Deep CFR и мультиагентные системы (MAS). Тут надо понимать, что их изучение завязано на теории игр. Все что обучают играть в игры, на самом деле относится совсем не к играм, на них просто тестируют данные системы. Так как они должны находить оптимальные стратегии взаимодействия при неполной информации.
Тут подойдет все что угодно, главное чтобы сначала вникнуть в теорию игр. Любые брошюры или книги. Так как без общего понимания теории игр, проблематично будет полноценно использовать.
Не знаю, есть ли на русском, но думаю сейчас сетки могут неплохо переводить
Подобные вещи ни кто не афиширует, ведь их делают для безопасности. Но примеры косвенные можно увидеть. На примере теории игры информационной войны, если рассматривать взаимодействие системы и пользователя (который пытается ее вскрыть)
Но в России я пока не разу не видел, чтобы это использовали так глубоко. Максимум на уровне langChain, LlamaIndex у того же сбера GigaChain( на базе langchain). Но это все таки немного не то.
Я ничего не говорю про продуктовые разработки на базе нейронок в РФ. Наоборот подчеркнул, что в России именно продуктовые разработки связанные с сетками. Я же говорил про фундаментальные исследования в области AI/ML. Их нет в РФ и они не ведутся. Точнее есть их блеклая тень (есть список исследований Сбера, МФТИ, Тинькофф, Яндекс), но часть из них уже в постановке задачи неправильные. Другие не тянут на мировые, вроде квантования. И чаще всего это взяли opensource продукт и обучили на своих данных и своих метриках. Это всегда отставание.
Представим, что завтра Meta, DeepMind и китайцы перестанут публиковать свои исследования в архитектурных решениях. И в один момент у нас будет отставание в 5-10 лет в этой области, которое будет быстро расти. Да и сейчас, из-за этого, все наши компании на шаг позади. Не потому что видеокарт не хватает, а потому что для этого надо понимать куда/как/что исследовать.
ntechlab - это продуктовая компания, которая будет готовые архитектуры и обучает их на собранных данных. Продуктовое R&D? Мне кажется тут ближе слово - оптимизация продуктового процесса. По этой же причине Сбер, Яндекс сидят на древних моделях tacatron2 (пробуют VITs) для синтеза речи, обучаях их и косметически изменяя.
Мы записываем всё, что делает сотрудник в интерфейсе, и учим LLM повторять эти действия: ходить по сценариям, справочникам, заполнять любые формы на экране компьютера, отвечать клиенту. Обученная модель и оператор работают вместе: когда модель знает что делать — она делает это сама, а когда не знает — помогает оператор.
Некоторые из перечисленных выше агентских систем позволят расширить ваши задачи, без необходимости вникать в AI/ML. И заодно расширять их спектор.
AutoGPT - позволяющая LLM автоматически выполнять задачи, разбивая их на подзадачи и используя внешние инструменты (например, браузер, файловая система).
CrewAI - Фреймворк для создания многоагентных систем, где каждый агент имеет свои цели, навыки и инструменты. Агенты взаимодействуют для решения сложных задач. Ансамбль агентов в общем.
AgentGPT - Дает визуальное конфигурирование агентов. Автопрограммирование на нем не построишь.
Если же решили прям глубоко углубиться, то смотрите в сторону Deep CFR, OpenAI Five и его основу CFR (Counterfactual Regret Minimization). Их задача поиск равновесия Нэша в теории игр, то ест в рамках неопределенности найти оптимальную стратегию поведения для получения оптимального результата.
Справедливости ради, надо отметить, что когда вы решаете такие задачи, то в реальности работаете не только с LLM (или кроссмодальной), но и с агентскими системами. Эти агентские системы, так же являются небольшими сетками, задача которых безопасность и взаимодействие с пользователем с использованием подходов вроде "Deep CFR". Deep CFR - это алгоритм для оптимизации стратегий в условиях неполной информации.
Он основан на CFR — это итеративный алгоритм, который решает задачи оптимизации стратегий в условиях неопределённости. Он обучает агента играть в игру с неполной информацией, постепенно минимизируя "сожаление" (regret) о предыдущих действиях.
В OpenAI за это отвечает Ноам Браун по идеи, который был участником разработки обучаемого Deep CFR (выиграла в покер).
Это MAS системы, которые создают задачи, которые невозможно решить стандартными методами:
Частичная наблюдаемость (каждый агент видит только часть информации),
Неустойчивость среды (другие агенты меняют поведение в ответ на действия),
Комбинаторная сложность (число возможных стратегий растёт экспоненциально с количеством агентов).
То есть это обучаемые агентские системы, в которые обернуты LLM при взаимодействии с ними. Так что они оказывают влияние на результат.
Это кстати относится к тому, что люди когда пытается "взломать" думают что ломают сетку. На самом деле в этот момент обучается MAS (или уже обучена), которая может "блефовать" и выбрать другую стратегию, которая обеспечит оптимальное взаимодействие с пользователем.
Странно, что на Хабре ни кто не разбирает подобные вещи. Не оценивает их при построении оценок, как в статье выше. То есть не оценивает стратегии поведения модели (их обученные MAS) в рамках предлагаемых им задач.
Речь не про исследовании архитектуры. Речь о фундаментальных исследованиях. Это тоже самое как сказать, исследовать закон Ньютона можно, но без Варп-двигателя это не нужно. А вот без топлива на нейтрино с гелием-3 нет смысла браться. Вот так это звучит. Я столько раз слышал эти левые оправдания, я бы начал фотографировать, но без зеркалки за 200 тыс руб и объектива к нему еще за 200 тыс начинать бесполезно. Один в один. И дай этим людям такой фотик, он либо будет пылиться или они придумают новый аргумент.
Почему другим это не мешает? И зачем надо, чтобы другие обращали внимания? Или вы думаете, что у китайского DeepSeek карточек было больше чем у Сбера или денег больше? У DeepSeek прежде всего были мозги. А сейчас Сбер использует их открытую модель и дообучает. Мозги - вот главный ресурс и наши компании и большинство тех кто занимается AI/ML в РФ, им явно не обладают.
Вы путаете фундаментальные исследования и оптимизацию и производственные масштабирование продуктов. Для того, чтобы разработать трансформер, достаточно 1 нормальной видеокарты и работы. Чтобы разработать модель гиппокампа - deepmind не нужно было сотен видеокарт, так как они исследовали соответствие обучаемой модели и нейронов у крысы.
Откуда вы вообще взяли про видео карты? Причем тут обучение модели на открытых моделях и исследования? Вы пишете об оптимизации, дообучении - это сбер и яндекс как раз и делает на открытых моделях, внося косметические изменения. Я же говорю про R&D. Я говорю о том, что надо работать над разработкой "станков", а вы пишите - что не могут разработать станки, так как заводы не построены, площадей для этого нет, чтобы много станков поставить. Что вы собрались масштабировать? Если вы не занимаетесь исследованием и разработкой. Закупка чужих станков на свой завод - это не R&D, это производство продукта. Это нормальное явление. Но дело не видеокартах, а в подходе. "Плохому танцору яйца мешают", так что дело не в видеокартах, а мозгах.
Российский ML сейчас и до - не было. Был продуктовый AI/ML, а R&D и это разные вещи. Вам про исследования, а вы про производство. Вы путаете понятия R&D и разработку продукта.
Ни чего не имею против RAG. Речь шла о том, что из себя представляет на сегодня рынок AI/ML в России. Подавляющее число это RAG (который тоже требует метрик) либо расчет ML метрик для статистики. То что раньше считали в Excel, различные мат методы статистики, теперь перешло в ML. Но ML в продуктовых компаниях, где надо найти метрики по заказам ВкуссВилл и другие подобные, очень поверхностно затрагивает тему машинного обучения. А так вакансии RAG это сегодняшние вакансии AI/ML во всех крупных компаниях в РФ, недавно HR из СберЗдоровье писал, тоже RAG.
Мое личное мнение, что RAG это не совсем AI/ML, это что то среднее. Так как это работа с готовыми фреймворками LangChain (или подобных) с их API, а не с нейронками. Но при этом надо знать различные ML метрики, хотя их набор небольшой для оценки результата. Поэтому отчасти RAG можно отнести к ML.
Что касается R&D, то это не так. Речь не про просто обучение на готовых открытых моделях, как это делает Сбер или Тинькофф, а как DeepMind именно исследования. Тут не нужны видеокарты. Да и у Сбера приличное кол-во видеокарт, они сдают в аренды GPU сервера облачные. Здесь дело в самом подходе, приоритетах, мышлении.
1) Яндекс, подавляющее кол-во вакансий от HR это RAG проекты. Хотя описано про ML/AL как только начинаешь общаться, оказывается RAG.
2) Сбер, часть чисто ML по метрикам оценки разных систем, типа онлайн кинотеатра (условно). Большая часть это чисто RAG, langchain в обвязке Сбера. ML метрики для обучения LLM моделей. Ни новые архитектуры, ни новые решения или r&d.
3) Тинькофф - RAG и недавно присылали, что собираются делать систему на базе открытой для обучения ИИ управлять компом или приложением (забыл). Замахнулись на то, что сами слабо понимают. Опять взять опенсоурс и обучать.
4) ВК - тоже по-моему в основном RAG предлагают под соусом AI/ML. Либо считать ML метрики в разных системах.
5) МТС точно не помню, что то пытались они в синтез речи. Но судя по результатам , вышло хреново.
То есть все сводится к тому, что обучать в лучшем случае готовые решения. Но чаще всего работа с RAG. Или делать обвязку вокруг готовых ACR, TTS. Ничего нового.
В целом, сетки конечно есть, пытаются то VITs для синтеза речи обучить, то tacatron2. Тоже с остальным. То есть в реальности, работа в том, что делать обвязки, готовить данные по ML метрикам, внедрять RAG и так далее.
Это не хорошо не плохо. Наверное продуктовые компании так и должны делать. Но реальным AI/ML исследованиями заниматься там все равно не будешь. В лучшем случае оптимизировать текущие, перебирая токенизаторы и гиперпараметры, считая метрики для бенчмарок.
На фоне DeepMind или deepseek это выглядит очень печально.
У LinOSS-IM частично это решено через комплексный оператор A с отрицательной вещественной частью, где A задается как diag(−softplus(Alog)+i⋅Aim) , где Re(A)<0.
Но конечно там надо следить за тем, чтобы из за дискретности другие параметры не привели к проблемам, вроде роста dt и других. Но если это грамотно учитывать, то все нормально. А так идеальных систем в нейронных сетях не бывает, особенно в динамических.
насчет bibo, то чистая SSM да не обладает. LinOSS-IM обладает, так как там затухание. Но, когда я расширял модель SSM (вывел ее через туже кинематику), то BIBO-устойчивость была проблемой связанной с дискретностью, так как затухание не успевало за ускорением и происходил рост. Но это решается, если правильно учесть этот момент, сейчас подобных проблем нет.
Поэтому с теоремой Винера-Леви все нормально, если учесть этот момент. Но да, надо быть к нему готовым, если использовать в чистом виде SSM/LinOSS/Mamba. Я не помню, чтобы в них это учитывалось и могут быть такие последовательности, где из-за дискретности состояния затухание будет расходится с ускорением и тогда взрыв градиентов. Так что этот момент вполне решается, если его учесть.
Все таки универсальная аппроксимация зависит от наличия нелинейностей в IMEX. И это верно если архитектура линейная, но разные разновидности SSM могут быть как линейными, так и не линейными.
"и" случайно попало в текст ссылки
https://openreview.net/pdf?id=GRMfXcAAFh
Музыкальные композиции, не важно в Midi или спектрограммах это периодические данные, не важно с затуханием или с динамическим периодом. Поэтому тут в любом случае лучше использовать LinOSS-IM (это SSM с осцилляцией, через замену в уравнении матрицы A на комплексную, для описания колебаний)
Статья про них: https://openreview.net/pdf?id=GRMfXcAAFhи
GitHub : https://github.com/tk-rusch/linoss/tree/main
По классу у них разделение:
S5 : Как пружина, которая быстро затухает.
LinOSS-IM : Как маятник, который колеблется, но со временем останавливается.
LinOSS-IMEX : Как маятник без трения — колебания продолжаются бесконечно.
Это конечно не панацея, но если нужно еще модуляция (механизм внимания), то выводил математически и дорабатывал ее. В комментариях выкладывал код. Оптимизацию пока не делал, но в целом это лучше, чем просто SSM/LinOSS-IM. Хотя в названии LinOSS-IM, но из нее была взято как раз комплексная составляющая для осцилляции. Так что для данных лучше использовать ее, для MIDI это точно.
Минус не ставил, но в вашем примере есть проблема, так как в вашем случае следовало бы использовать цепочку SMM или mamba или linoss-im или хотя бы гибрид с трансформерами. Когда речь заходит про генерацию музыки. Это даст более качественный результат, чем трансформеры. В вашем случае позиционирование разделяет временные участки.
Эта новость уже ранее была на Habr еще в апреле. Автор не стал искать ее заранее.
Что касается ссылки на сборку: Berkeley Humanoid Lite Docs
https://berkeley-humanoid-lite.gitbook.io/docs
Моторы от дронов, и в целом сборка выходит в 5000$, что не так уж и дешево.
У Института интеллектуальных систем Макса Планка и Калифорнийского университета уже был проект шагающего робота с open source BirdBot. Все такие проекты, требуют не дешевых моторов. У того же BirdBot (ноги) один мотор стоит ~70 тыс руб, а их надо 4.
Модели LLM и другие упираются не в невидимую стену. Это следствие того, что при увеличении объема данных, признаки обобщаются. Нельзя одновременно получить модель, которая будет улавливать детали и обобщать их. С ростом данных , детали неизбежно теряются. Тут поможет только множество специализированных LLM работающих вместе.
Это выводится из Лагранжа, из за минимизации энтропии
https://t.me/greenruff/2368
Но, в целом при этом энтропия всей системы продолжает расти.
Что касается саморефлексии, то рассуждающие модели не полноценно не реализуют. Выше небольшой фрагмент петли саморефлексии в мозге. Тут важно заметить, что при ней происходит определение ошибки, а не только конечного сигнала. Конечный сигнал через гиппокамп (память) повторно идёт на вход, но при этом остаточная ошибка (как минимум в ACC, хотя не только) тоже идёт обратно на вход через таламус и при этом модулирует повторно сигнал на входе и из памяти. У рассуждающие моделей этого нет, а и мультмодальных.
Ещё одним важным моментом, является рассинхрон модуляции. Это связано со временем. Все LLM и прочие, обобщают время. И поэтому модуляция признаков происходит обобщенно по времени. Но в тексте и речи, это не так. Разные фрагменты речи имеют разное время из за хотя бы эмоционального окраса. Это нарушает правильную синхронизацию модуляции признаков. Мозг, синхронизирует это, в llm нет такого механизма. Как итог, при длинных диалогов, происходит сильный рассинхрон, и вместо усиления связанных признаков "красное яблоко", модель усиливает "Маша яблоко", что приводит к ошибкам при дальнейшем предсказании токенов, так как усиливаются другие. Теряются детали, смысловые связи. Это отлично видно при генерации кода в программировании, там этот рассинхрон особенно заметен.
и заодно, стоит вспомнить старый советский док фильм "Думают ли животные". До сих пор те эксперименты актуальны.
Кто вам сказал, про Мышление без слов? У очень многих животных уже определили, наличие сложной речи. Например летучие мыши. Кроме того, откуда вы взяли что саморефлексия должна быть построена только на словах? Возьмите например глухих от рождения, у них так же присутствует "внутренний голос", только он не речевой а с помощью образов. Более того, было исследование, что у многих обычных людей (врать не будут, по-моему было указано 20-25%) нет внутренней речевой саморефлексии. Но она может быть через зрительные или другие сенсорные образы (тактильные, запахи).
Из современных про Бонобо, пример. В «языке» диких бонобо смысл фраз не сводится к сумме смыслов слов
https://elementy.ru/novosti_nauki/434331/V_yazyke_dikikh_bonobo_smysl_fraz_ne_svoditsya_k_summe_smyslov_slov
Источник: https://www.science.org/doi/10.1126/science.adv1170
Аналогичный пример про шимпанзе. «Язык» шимпанзе позволяет из десятка элементов строить сотни фраз с разными смыслами
https://elementy.ru/novosti_nauki/433972/Yazyk_shimpanze_pozvolyaet_iz_desyatka_elementov_stroit_sotni_fraz_s_raznymi_smyslami
Источник: https://www.nature.com/articles/s42003-022-03350-8
Ну основа речи, артикуляция не зависит от ее формы и у всех животных сводится к одной форме. В общем имеет одинаковое фазовое пространство градиентов речи, которые отражают артикуляцию. При этом, как оказалось нет разницы какая форма артикуляторов: язык с гортанью, Melon с мешочками как у дельфинов, или две гортани верхнюю (larynx) и нижнюю (syrynx) как у многих птиц, или жужжальца у пчел или пузо/лапки при трении у муравьев - все они из общих принципов минимизации энергии стремятся к одной форме (разного масштаба и расположения). Конечно артикуляция это еще не речь, но смысл в том, что разные формы реализации приводят к одинаковым формам фазового пространства из-за стремления системы минимизировать энергетические затраты. Поэтому, разная форма зрения, речи в итоге все равно должно стремится к минимизации энтропии (одинаковому фазовому пространству).
Не понятно, откуда вы взяли такие выводы? Можно источники? Или четкое обоснование и факты, которые можно проверить?
Это сложно назваться полноценной игрой. Скорее удобный вариант изучения программирования или движка.
Скрытый текст
Некоторые скриншоты
Я так тоже пробовал варианты написал игру за неделю только с помощью нейронок. Увы, на первых шагах мне пришлось подключаться самому и включать мозг и делать самостоятельно уже на уровне взаимодействия сцен и работы элементов (делал на юнити).
Дальше стало ещё хуже. Сетка пересматривала структуру данных, ломала код, не могла решить множество простых проблем (тут нужен опыт).
В итоге, я понял что в реальности мне приходиться больше исправлять за сеткой, чем пользы от нее. В итоге эксперимент написать нормальную игру за неделю только с помощью сеток провалился. Все руки не доходят сесть и доделать самому, хотя в играх код всегда примитивный. В них гораздо важнее связи элементов, из структуры и продуманность.
Как по мне, практика показывает, что может в самом начале и можно накидать сеткой, но дальше все равно надо править самому все и забить на них.
Так же, если ты не знаешь язык на котором делаешь игру, тонкости движка, его проблемы, то игру не напишешь. Демку да, полноценную игру нет. С учётом полноценной загрузки сцен, оптимизации и так далее.
Дополню к прошлому ответу, до этого для подобных вещей использовался другой подход. Основанный на согласовании поведения моделей с человеческими ценностями через обучение с подкреплением (RLHF). В OpenAI им занимался к примеру Дэниэл Леви (Daniel Levy), сейчас по моему ушел с Суцкевером.
Например эти исследования и подходы
"Aligning Language Models to Human Values"(OpenAI, 2021) — исследование методов согласования поведения моделей с человеческими ценностями через обучение с подкреплением (RLHF).Работы по детектированию вредоносного использования ИИ, такие как"Forecasting transformative AI governance challenges"(OpenAI, 2023).ну и в частности
"Fine-Tuning Language Models from Human Preferences"(2019) — использование RL для настройки моделей под человеческие предпочтения.RLHF решает задачу «согласования» (alignment) через три этапа:
Сбор человеческой обратной связи
Люди оценивают ответы модели на запросы, сравнивая несколько вариантов и выбирая наиболее предпочтительный. Например, два ответа на вопрос: один вежливый и безопасный, другой — грубый или спорный. Такие сравнения формируют обучающий набор для модели вознаграждения.
Обучение модели вознаграждения (Reward Model)
На основе собранных данных создается модель, которая предсказывает, какой ответ человек сочтет лучшим. Эта модель выступает в роли «вознаграждения» для обучения самой языковой модели.
Файн-тюнинг языковой модели с помощью RL
Используя модель вознаграждения, языковая модель обучается генерировать ответы, которые максимизируют это вознаграждение. Таким образом, модель учится адаптироваться к человеческим предпочтениям.
Но этот подход плохо масштабируется, так как стоит огромных денег. OpenAI использовала его в 2019 году и явно использует сейчас. Но, он слишком затратный и имеет много проблем при оценке. Кто-то оценивает краткость, а кто детализацию ответа. И получается сильный разброс.
Собственно это одна из причин почему перешли на MAS на основе Deep CFR. Он более гибкий, дешевле и легче масштабируем. Так как в MAS агентов могут обучить на разных правилах, по которым они потом оценивают ответы, чтобы дать оценку вопросу пользователя или для тюнинга модели.
Как пример, есть два подхода (в реальности их больше), где MAS на основе DeepCFR хорошо масштабируется и очень удобен:
Constitutional AI : Модель обучается на правилах (например, правах человека) вместо прямой обратной связи.
Debate : Две модели спорят между собой, а третья оценивает их аргументы.
Так что DeepCFR просто более качественный, универсальный, экономически более выгодный и легче масштабируется. Так как можно обучить агента под конкретные правила. Завтра поменялись правила, заменили какого то из агентов. Чем переобучать/fine-tuning всю модель.
Noam Brown исследователя Research Scientist из OpenAI.
Meta безуспешно пыталась переманить Корая Кавукчуоглу, одного из ведущих исследователей ИИ в Google, а также Ноама Брауна, ведущего исследователя в OpenAI
https://www.bloomberg.com/news/articles/2025-06-11/meta-hires-top-researchers-from-google-sesame-for-new-ai-lab
Noam Brown — исследователь из OpenAI, известный своими работами в области искусственного интеллекта, машинного обучения и теории игр, после перехода в OpenAI его исследования сосредоточились на более широких задачах ИИ, включая многопользовательские взаимодействия, обучение с подкреплением и этику ИИ. Он один из авторов Deep CFR
Он до этого уже занимался (и сейчас занимается): играми с неполной информацией (именно агентские, а не просто), исследование стратегий взаимодействия между ИИ-агентами и людьми в условиях конкуренции и сотрудничества, анализом рисков связанных с мультагентными системами и разработка механизмов контроля поведения ИИ.
В свое время Brown высказывался о рисках использования ИИ в стратегических взаимодействиях и необходимость контроля за поведением агентов.
То есть, его задача - это риски работы пользователя с ИИ. Он до этого занимался и продолжает заниматься Deep CFR, OpenAI это подчеркивало. В целом в докладах и на разных видео об этом часто говориться. Ни кто в здравом уме (кроме Яндекса после утечки данных) не станет делать это через скрипты, так как для этого есть целая область, которая этим занимается и исследуется. В РФ просто этим так глубоко не занимаются (я не встречал).
Вам нужны CFR/Deep CFR и мультиагентные системы (MAS). Тут надо понимать, что их изучение завязано на теории игр. Все что обучают играть в игры, на самом деле относится совсем не к играм, на них просто тестируют данные системы. Так как они должны находить оптимальные стратегии взаимодействия при неполной информации.
Тут подойдет все что угодно, главное чтобы сначала вникнуть в теорию игр. Любые брошюры или книги. Так как без общего понимания теории игр, проблематично будет полноценно использовать.
Не знаю, есть ли на русском, но думаю сейчас сетки могут неплохо переводить
https://www.cs.cmu.edu/~sandholm/cs15-892F13/algorithmic-game-theory.pdf
либо видео какое то посмотреть
https://www.youtube.com/watch?v=TM_QFmQU_VA&pp=0gcJCf0Ao7VqN5tD
А там уже Классический CFR
тут просто искать по подобным критериям
https://www.cs.cmu.edu/~sandholm/cs15-888F23/Lecture_5_CFR.pdf
Deep CFR
тут искать видео Noam Brown: Pluribus and Deep CFR (NeurIPS 2019)
https://www.youtube.com/live/cn8Sld4xQjg
чтобы понимать как этот подход перенесли на обучаемые сетки
Именно как это используется внутри компаний, они не вынесут. Но сами фреймфорки на которых она выстраивают и обучают модели, часто открыты. Но
https://github.com/google-deepmind/open_spiel
https://github.com/Farama-Foundation/PettingZoo
Подобные вещи ни кто не афиширует, ведь их делают для безопасности. Но примеры косвенные можно увидеть. На примере теории игры информационной войны, если рассматривать взаимодействие системы и пользователя (который пытается ее вскрыть)
https://www.researchgate.net/publication/305627389_A_Survey_of_Game_Theoretic_Approaches_to_Modelling_Decision-Making_in_Information_Warfare_Scenarios
Но в России я пока не разу не видел, чтобы это использовали так глубоко. Максимум на уровне langChain, LlamaIndex у того же сбера GigaChain( на базе langchain). Но это все таки немного не то.
Я ничего не говорю про продуктовые разработки на базе нейронок в РФ. Наоборот подчеркнул, что в России именно продуктовые разработки связанные с сетками. Я же говорил про фундаментальные исследования в области AI/ML. Их нет в РФ и они не ведутся. Точнее есть их блеклая тень (есть список исследований Сбера, МФТИ, Тинькофф, Яндекс), но часть из них уже в постановке задачи неправильные. Другие не тянут на мировые, вроде квантования. И чаще всего это взяли opensource продукт и обучили на своих данных и своих метриках. Это всегда отставание.
Представим, что завтра Meta, DeepMind и китайцы перестанут публиковать свои исследования в архитектурных решениях. И в один момент у нас будет отставание в 5-10 лет в этой области, которое будет быстро расти. Да и сейчас, из-за этого, все наши компании на шаг позади. Не потому что видеокарт не хватает, а потому что для этого надо понимать куда/как/что исследовать.
ntechlab - это продуктовая компания, которая будет готовые архитектуры и обучает их на собранных данных. Продуктовое R&D? Мне кажется тут ближе слово - оптимизация продуктового процесса. По этой же причине Сбер, Яндекс сидят на древних моделях tacatron2 (пробуют VITs) для синтеза речи, обучаях их и косметически изменяя.
Можете так же глянуть в сторону "Anthropic computer use, OpenAI Operator".
https://docs.anthropic.com/en/docs/agents-and-tools/tool-use/computer-use-tool
https://openai.com/index/computer-using-agent/
https://github.com/All-Hands-AI/open-operator
https://github.com/Significant-Gravitas/AutoGPT
https://github.com/crewAIInc/crewAI
https://github.com/reworkd/AgentGPT
Tинькофф как раз пытается:
Мы записываем всё, что делает сотрудник в интерфейсе, и учим LLM повторять эти действия: ходить по сценариям, справочникам, заполнять любые формы на экране компьютера, отвечать клиенту. Обученная модель и оператор работают вместе: когда модель знает что делать — она делает это сама, а когда не знает — помогает оператор.
Некоторые из перечисленных выше агентских систем позволят расширить ваши задачи, без необходимости вникать в AI/ML. И заодно расширять их спектор.
AutoGPT - позволяющая LLM автоматически выполнять задачи, разбивая их на подзадачи и используя внешние инструменты (например, браузер, файловая система).
CrewAI - Фреймворк для создания многоагентных систем, где каждый агент имеет свои цели, навыки и инструменты. Агенты взаимодействуют для решения сложных задач. Ансамбль агентов в общем.
AgentGPT - Дает визуальное конфигурирование агентов. Автопрограммирование на нем не построишь.
Если же решили прям глубоко углубиться, то смотрите в сторону Deep CFR, OpenAI Five и его основу CFR (Counterfactual Regret Minimization). Их задача поиск равновесия Нэша в теории игр, то ест в рамках неопределенности найти оптимальную стратегию поведения для получения оптимального результата.
Справедливости ради, надо отметить, что когда вы решаете такие задачи, то в реальности работаете не только с LLM (или кроссмодальной), но и с агентскими системами. Эти агентские системы, так же являются небольшими сетками, задача которых безопасность и взаимодействие с пользователем с использованием подходов вроде "Deep CFR". Deep CFR - это алгоритм для оптимизации стратегий в условиях неполной информации.
Он основан на CFR — это итеративный алгоритм, который решает задачи оптимизации стратегий в условиях неопределённости. Он обучает агента играть в игру с неполной информацией, постепенно минимизируя "сожаление" (regret) о предыдущих действиях.
В OpenAI за это отвечает Ноам Браун по идеи, который был участником разработки обучаемого Deep CFR (выиграла в покер).
Это MAS системы, которые создают задачи, которые невозможно решить стандартными методами:
Частичная наблюдаемость (каждый агент видит только часть информации),
Неустойчивость среды (другие агенты меняют поведение в ответ на действия),
Комбинаторная сложность (число возможных стратегий растёт экспоненциально с количеством агентов).
То есть это обучаемые агентские системы, в которые обернуты LLM при взаимодействии с ними. Так что они оказывают влияние на результат.
Это кстати относится к тому, что люди когда пытается "взломать" думают что ломают сетку. На самом деле в этот момент обучается MAS (или уже обучена), которая может "блефовать" и выбрать другую стратегию, которая обеспечит оптимальное взаимодействие с пользователем.
Странно, что на Хабре ни кто не разбирает подобные вещи. Не оценивает их при построении оценок, как в статье выше. То есть не оценивает стратегии поведения модели (их обученные MAS) в рамках предлагаемых им задач.
Речь не про исследовании архитектуры. Речь о фундаментальных исследованиях. Это тоже самое как сказать, исследовать закон Ньютона можно, но без Варп-двигателя это не нужно. А вот без топлива на нейтрино с гелием-3 нет смысла браться. Вот так это звучит. Я столько раз слышал эти левые оправдания, я бы начал фотографировать, но без зеркалки за 200 тыс руб и объектива к нему еще за 200 тыс начинать бесполезно. Один в один. И дай этим людям такой фотик, он либо будет пылиться или они придумают новый аргумент.
Почему другим это не мешает? И зачем надо, чтобы другие обращали внимания? Или вы думаете, что у китайского DeepSeek карточек было больше чем у Сбера или денег больше? У DeepSeek прежде всего были мозги. А сейчас Сбер использует их открытую модель и дообучает. Мозги - вот главный ресурс и наши компании и большинство тех кто занимается AI/ML в РФ, им явно не обладают.
Вы путаете фундаментальные исследования и оптимизацию и производственные масштабирование продуктов. Для того, чтобы разработать трансформер, достаточно 1 нормальной видеокарты и работы. Чтобы разработать модель гиппокампа - deepmind не нужно было сотен видеокарт, так как они исследовали соответствие обучаемой модели и нейронов у крысы.
Откуда вы вообще взяли про видео карты? Причем тут обучение модели на открытых моделях и исследования? Вы пишете об оптимизации, дообучении - это сбер и яндекс как раз и делает на открытых моделях, внося косметические изменения. Я же говорю про R&D. Я говорю о том, что надо работать над разработкой "станков", а вы пишите - что не могут разработать станки, так как заводы не построены, площадей для этого нет, чтобы много станков поставить. Что вы собрались масштабировать? Если вы не занимаетесь исследованием и разработкой. Закупка чужих станков на свой завод - это не R&D, это производство продукта. Это нормальное явление. Но дело не видеокартах, а в подходе. "Плохому танцору яйца мешают", так что дело не в видеокартах, а мозгах.
Российский ML сейчас и до - не было. Был продуктовый AI/ML, а R&D и это разные вещи. Вам про исследования, а вы про производство. Вы путаете понятия R&D и разработку продукта.
Ни чего не имею против RAG. Речь шла о том, что из себя представляет на сегодня рынок AI/ML в России. Подавляющее число это RAG (который тоже требует метрик) либо расчет ML метрик для статистики. То что раньше считали в Excel, различные мат методы статистики, теперь перешло в ML. Но ML в продуктовых компаниях, где надо найти метрики по заказам ВкуссВилл и другие подобные, очень поверхностно затрагивает тему машинного обучения. А так вакансии RAG это сегодняшние вакансии AI/ML во всех крупных компаниях в РФ, недавно HR из СберЗдоровье писал, тоже RAG.
Мое личное мнение, что RAG это не совсем AI/ML, это что то среднее. Так как это работа с готовыми фреймворками LangChain (или подобных) с их API, а не с нейронками. Но при этом надо знать различные ML метрики, хотя их набор небольшой для оценки результата. Поэтому отчасти RAG можно отнести к ML.
Что касается R&D, то это не так. Речь не про просто обучение на готовых открытых моделях, как это делает Сбер или Тинькофф, а как DeepMind именно исследования. Тут не нужны видеокарты. Да и у Сбера приличное кол-во видеокарт, они сдают в аренды GPU сервера облачные. Здесь дело в самом подходе, приоритетах, мышлении.
Судя по вакансиям расклад все таки другой
1) Яндекс, подавляющее кол-во вакансий от HR это RAG проекты. Хотя описано про ML/AL как только начинаешь общаться, оказывается RAG.
2) Сбер, часть чисто ML по метрикам оценки разных систем, типа онлайн кинотеатра (условно). Большая часть это чисто RAG, langchain в обвязке Сбера. ML метрики для обучения LLM моделей. Ни новые архитектуры, ни новые решения или r&d.
3) Тинькофф - RAG и недавно присылали, что собираются делать систему на базе открытой для обучения ИИ управлять компом или приложением (забыл). Замахнулись на то, что сами слабо понимают. Опять взять опенсоурс и обучать.
4) ВК - тоже по-моему в основном RAG предлагают под соусом AI/ML. Либо считать ML метрики в разных системах.
5) МТС точно не помню, что то пытались они в синтез речи. Но судя по результатам , вышло хреново.
То есть все сводится к тому, что обучать в лучшем случае готовые решения. Но чаще всего работа с RAG. Или делать обвязку вокруг готовых ACR, TTS. Ничего нового.
В целом, сетки конечно есть, пытаются то VITs для синтеза речи обучить, то tacatron2. Тоже с остальным. То есть в реальности, работа в том, что делать обвязки, готовить данные по ML метрикам, внедрять RAG и так далее.
Это не хорошо не плохо. Наверное продуктовые компании так и должны делать. Но реальным AI/ML исследованиями заниматься там все равно не будешь. В лучшем случае оптимизировать текущие, перебирая токенизаторы и гиперпараметры, считая метрики для бенчмарок.
На фоне DeepMind или deepseek это выглядит очень печально.