Deepseek молодцы прежде всего в другом. До них так же использовали данные подходы. Их главная заслуга в изменении внутренней архитектуры, где они оптимизировали матрицы контекста, что позволило уменьшить затраты на вычисления и память, ускорить сходимость и так далее.
Это главное их достижение. Да рассуждение и грамотная комбинация с MoE тоже их заслуга, но тут они просто грамотно использовали имеющиеся достижения.
Я очень надеюсь что наши компании, тоже углубляться в разработку фундаментальных изменений.
Например, я сейчас исследую изменения классического метода обратного распространения ошибки. Суть заключается в том, что мы обучаем не всю цепочку методом, а каждый блок отдельно через глобальную ошибка.
Я тут не первый. Такие исследования были:
Blockwise Self-Supervised Learning at Scale
Авторы: Shoaib Ahmed Siddiqui, David Krueger, Yann LeCun, Stéphane Deny arXiv
В этом исследовании ResNet-50 разделяется на четыре основных блока, каждый из которых обучается независимо с использованием функции потерь Barlow Twins. Результаты показали, что такой блочный подход к обучению достигает точности, сравнимой с полным обратным распространением ошибки на ImageNet, отставая всего на 1,1%.
Таким образом, блочное обучение почти не уступало классическому.
Но так как авторы, просто попробовали новый подход не понимая до конца что делают, они не смогли сделать шаг вперёд.
Дело в том, что методом обратного распространения ошибки можно сравнить с базальными гаеглиями, которые вырабатывают дофамин для подкрепления. И этот дофамин влияет на все области мозга подобно обратному распространению ошибки. Но с одной оговоркой:
1) дофамин индивидуально влияет на каждую область мозга, а не от последней к первой.
2) он имеет разную чувствительность в разных областях через рецепторы
Так вот, авторы исследования выше были на один шаг от правильного подхода. Они не учли чувствительность области к глобальной ошибке
Как у авторов исследования
Я повторил данный подход и мы видим, что обучение каждой области отдельно, действительно проигрывает классическому методу где то на 1,1%.
Но если мы вводим обучаемый параметр чувствительности, подобие рецепторов к дофамина, то видим в этом случае, что данный метод даёт тот же результат (как только коэффициент чувствительности будет обучен).
Уже это небольшое изменение открывает совершенно новые возможности в обучении моделей.
1) сейчас у больших моделей есть проблема затухающих градиентов. При обучении же локальных блоков, такая проблема минимизируется. Так как каждый блок обучается отдельно
2) сложные иерархические модели. Сейчас метод классический обратного распространения ошибки не подходит для сложных иерархических моделей (например мультмодальных). Это приводит к тому, что приходиться отдельно обучать модели и замораживать веса. В случае блочного обучения такой проблемы нет, так как в этом случае блоки могут пересекаться и нас это не волнует.
Это первый шаг к изменениям. Дальше уже надо переписывать полностью метод обратного распространения ошибки, чтобы он мог учитывать матрицу рецепторов для каждого блока, а не скаляр как сейчас. А так же писать новый метод для локальной ошибки (predict coding), который должен наоборот править градиенты от первого слоя к последнему в блоке, на основе вычисления ошибки входного и выходного сигнала.
Но в любом случае, даже добавление обучаемый чувствительности у блоков уже показало, что мы можем использовать данный подход с отдельным обучением блоков а не как сейчас.
Да, этот подход с чувствительностью тоже требует переделок, так как в этом случае пришлось написать метод изменения loss внутри блока и грамотно разрывать граф при обучении (чтобы ошибка не распространялась по всем блокам).
Для таких исследований не нужны миллионы долларов. И я надеюсь , что разработчики нейронных сетей на Хабре первыми возьмут на вооружение результат данного исследования.
Может и мое имя когда нибудь будет вписано как вклад в улучшения нейронах сетей.
Вот, каких результатов хочется видеть. Как deepseek разработавший алгоритмы для сжатия матриц и метода позиционирования для них, или DeepMind разработавший новые архитектуры мультмодальных моделей. Та и такие подходы к изучению принцип обучения.
Шумиха вокруг Суцкевера забавна, если посмотреть на реальность, то он хороший инженер, который понимает как лучше оптимизировать архитектуру, что то внести и так далее. Но я не видел ни одной разработку от него ни в Google Brain, ни когда он ушел в OpenAI. Чего то нового создано не было. А вот DeepMind, которым ранее и был Google Brain, лично для меня заслуживает уважения. Именно определенный коллектив, который не просто создает новое, но и понимает что именно он создает и почему так делает. Именно в этой команде работают как нейробиологи, так и инженеры. Мне сложно поверить, что они изменяют архитектуру методом случайного перебора. Например, они осознано в двух прошлых архитектурах вынесли конкретные матрицы для создания мультизадачности.
Flamingo – мультимодальная модель DeepMind
Эти изменения явно были сделаны целенаправленно. И люди понимают, что они делают, пытаясь нащупать оптимальное решение.
Perceiver IO – мультимодальная модель DeepMind
А так же в другой их модели Perceiver IO. Я когда рассматривал и описывал вынос контекстного окна и описывал почему его надо выносить для мультимодальности https://t.me/greenruff/2146 то видно, что DeepMind работали над такой моделью не случайно. Поэтому не вижу какой то особой роли Суцкевера во всем этом, так как после ухода он ни чего не сделал, кроме оптимизации параметров для LLM в OpenAi и настройки их обучения. А ушел он из Google Brain (DeepMind), и после ухода DeepMind работает над фундаментальными изменениями. А OpenAi так и осталась на прежнем уровне, хотя так же добавляет мультимодальные модели, но более простые.
Как результат, DeepMind выпустила Gemini более полноценную мультимодальную модель (в архитектурном плане). Не берусь судить про ее возможности, но то момент, что они понимают над чем работают и что делают вызывает у меня уважение к ним.
Какая сасореплкация и развитие llm?)) они тут не могут нормально написать реализацию SSM модели (типа Mamba, и даже проще). Вчера бился бился, ни одна не справилась. Код тупо не работает, при отправке им на доработку ошибки меняет логику, выкидывает элементы, упрощает. Хотя там реализация небольшая.
В итоге написал сам. Но что хуже, показываешь ее модели и она ее переделывает и тут же ломает. Ломает уже рабочий код, она просто не может остановиться чтобы ничего в нем не изменить)
Так что если из нее и выйдет вирус, только такой, который поломает все исходники.
С postgres sql тоже самое. Сложные запросы не может сделать, ломает все, не может реализовать. Шаблон накидать да, а дальше ручками его правишь. Не дай бог потом нейронке его показать и сказать, надо было вот так. Ответит: отлично, но давайте тут изменим и ... снова ломает.
Да, игру Lines она напишет. Но таких полно на гитхабе. Но если мы скачаем с гитхабе, то не будет ощущения , что игру написали мы.
Мне это напомнило ситуацию с одним продуктом для домохозяек в Британии. По-моему в 50-70-ых к Берннейсу (племянник Фрейда) обратилась одна компания. Она продавала "пирог быстрого приготовления", точно не вспомню. Суть была, что просто надо вылить на сковороду и запечь. В фокус группах домохозяйки положительно отзывались, но сам продукт ни кто не покупал. Берннейс (вроде он) выяснил, что причина в том, что у домохозяек было чувство вины. Что они не участвуют в процессе, это не они приготовили пирог. Решение оказалось простым, в инструкцию добавили, что для приготовления нужно разбить и добавить яйцо. Чувство вины было снято, ведь теперь вроде они готовят пирог. Продажи взлетели.
С нейронками тут так же. Скачать игру Lines на гитхабе, как у домохозяек, нет ощущения что ее написали мы. А когда просишь сетку, то вроде бы как ты пишешь уже сам. А по факту, качаешь с гитхабе используешь то на чем сетка обучилась.
Вот сейчас и появились везде голоса домохозяек вайб-кодероа, которым llm дало ощущение, что они не скачали готовое, а сами написали. Будь то бот, или игра lines. А то, что такое при должном желании может написать школьник (в детстве писал себе подобные игры), ну это дело десятое.
Проблема только в том, что серьезные вещи она сделать не может.
Нейронки супер помощник, когда ты накидываешь основу и дальше сам, когда делаешь ревью и правишь на за ними. Но как дополнение. А сасореплкация, так они себя на Nой итерации сами и поломает, если весь код не сводиться к Format C:/
Не очень понял. RAG в основном используется, чтобы подтянуть данные пользователя. Например, у банка там информация о тарифах, описание режимов работы, действий сотрудников и так далее. Эти документы постоянно обновляются.
В бизнесе крупные компании используют RAG в связке с развернутыми llm внутри компании, так как не одна служба безопасности не даст добро на внешние LLM.
И это могут быть сотни файлов или больше. Там могут быть результаты ответов и выгрузки. Я так понимаю описанный подход работает в рамках небольших компаний, которые внутри своего продукта используют openai или другие подобные llm. И все равно не понял, как данный подход позволит динамически обеспечить доступ к такой информации? Стажёр заполняющий файлы тут отпадает, у банка может быть десятки подразделений с кучей информации , которая обновляется каждый день. А если таких ручных файлов будет тысячи? Филиал А сегодня изменил тарифы, филиал В выпустил новый регламент, филиал С выгрузил новые юридические документы и так далее. Пока кроме RAG тут ничего лучше не придумали.
Поправьте меня, если ошибаюсь и не правильно понял статью.
Например, для речи это работает точно так же. Так же это работает и для зрения, и для других оценок. То есть миллион вполне будет воспринят, только интервал будет будет восприниматься иначе.
Поэтому, надо понимать, что и миллион и миллиард будет восприниматься, но только огромным интервалом.
Только эти интервалы будут очень быстро расти в наше понимании. Выше пример частот речи и интервалы. Чем меньше частота, тем уже интервал. Чем больше частота, тем шире воспринимаемый интервал, где восприятие будет размазано по нему. То есть если условно на мелких мы можем воспринимать 1 Гц, то на больших частотах можем разве что отличать 5000 Гц от 20000 Гц.
Так что тема интересная, но сама статья тему не раскрывала ни как.
За все время, я могу сказать только об одном кейсе успешной конференции и мини встреч. В свое время была AVRA комьюнити по дополненной и виртуальной реальности. Мы там много общались все. В какой то момент одна из основательниц стартапы проиграла мне кальян. там был спор что Magic Leap ни чего не имеет и по сути являются мошенниками, поэтому загнуться (и доказательства с моей стороны). В общем по шумок предложили всем прийти и встретиться. Неожиданно пришло много народу, порядка 30 человек из разных компаний и разработчики. Это заложило основа общения комьюнити, когда люди знают друг друга в живую.
Затем спустя года два, один из участников решил сделать конференцию MIXAR (на много тысяч человек), где было множество компаний и по сути участники хорошо знали друг друга по комьюнити и общей сфере. Конечно были и те, кто попал туда случайно. Вот те кто пришел случайно, лично я мало вижу проку. Хотя после бокалов алкоголя, все уже перезнакомились с остальными. Кто-то знакомил друг друга через "рукопожатие" знакомых, кто то просто подходил подсесть послушать и представлялся. По сути это была конференция на базе комьюнити, где люди до этого уже читали кто-что пишет в чате и были хотя виртуально "знакомы".
Когда же я пришел на конфу в технополис Ломоносова (точно не помню как называется на базе МГУ), то по сути это были несколько человек у стендов и толпа студентов, которых согнали (или заманили халявной едой?), которые бегали то поесть, то между стендами смотря вакансии. А доклады были в большом зале, с огромными толпами сидящих в полумраке людей. В самих докладах не было абсолютно ни чего кроме воды (конференция была по робототехнике). Толкну от нее было ровно -1 по шкале от 0 до 10.
Если у вас есть комьюнити, где уже идут коммуникации по обмену опытом, которые зарождаются сначала виртуально (тем более у интровертов). Тогда конфа оправдана, иначе в чем ее эффективность? Так как доклад на 15-30 минут проще посмотреть онлайн или найти такую же лекцию или видео с описанием на Youtube.
У вашей конференции есть комьюнити? Есть что-то, где эти люди общаются друг с другом и можно писать и читать их?
Радует, что вы сразу правильно предполагаете сразу учитывать и текст и акустический анализ.
Не допускайте тут ошибок, которые делают многие. Включая Сбер со своей системой оценки "эмоций" основанной на речи. Это не будет работать. Я в свое время разбирал это у них в комьюните, все равно мимо ушей прошло (бизнес сказал надо, значит надо даже если это не работает).
Тут как раз я специально генерировал пример (особенно в комментариях там), что одни и те же акустические паттерны наложенные на разных текст, воспринимают мозгом как разные эмоции. Поэтому есть базовые паттерны, а уже они накладываются на текстовые (связанные с контекстом). И отдельно по тексту нельзя и отдельно по речи нельзя распознать правильно.
Там же выше показано, что эмоции могут иметь одинаковые акустические паттерны у совершенно противоположенных эмоций. А страх, так вообще понятие размытое и надо опираться на контекст, так как может быть выражен шепотом, взволновано громко, дрожащим голосом и так далее. А только по тексту тоже нельзя определить, яркие примеры слово "Нет", которое можно сказать множеством способом и оно будет нести разный оттенок.
Как еще одно последнее доказательство, это исследование пауз речи. Где выяснилось, что речь является последовательным графом. Где каждый его уровень является либо слогом, словом, эмоциональным выделением слов, синтагмой, набором синтагм. И без понимания смысла, мы не можем понять, к какой типу относиться данный уровень. И поэтому не можем определить это длинное слово со слогами или это быстрая эмоциональная речь уменьшившая микропаузы в эмоциональном выражении. Там простой пример, взять неизвестный вам иностранный язык и попробовать понять что за эмоция перед вами, где слова, где синтагмы заканчиваются.
Поэтому я рад, что вы уже на этап продумывания правильно предполагаете. Так как большинство используют только один подход. И на выходе получается мусорный результат.
Боли нет, скорее хочу, описать проблемы которые могут возникнуть, чтобы ваш читатель мог понимать, с чем может столкнуться. И лучше понять решение у вашего кейса.
Так же вопрос, "в начале звонка спокоен либо модель у нас на это не сильно триггериться", можете объяснить что вы имеете ввиду про триггеться. Вы указываете про определение эмоционального разговора, как понимаю как триггер или как одну из метрик. Как вы определяли эмоциональный разговор? Этот эмоциональный, этот не эмоциональный? Что было критерием этой оценки?
Про быструю речь , если я правильно понимаю вы опускали такие случаи? Так как тут надо определять скорость и ускорение или замедление речи сильно отличаются, так как простое сжатие скорости возможно лишь в маленьких пределах вроде х0.8-1.2. Но, когда кто то в звонке говорить на сильных эмоциях, то речь может сильно ускоряться. Тут простым растяжением не вытянуть. Wsola тоже не идеальна, отдельные сетки (?). Для звонков в службу поддержки (как и в сервисы такси) эмоциональная быстрая речь не редкость. Поэтому любопытно, определяли ли скорость речи, до распознавания (так как распознавание быстрой даёт сбои). Для меня просто очень странно, что у вас редкие такие случаи. Так как обычно человек в таких звонках очень волнуется или зол и может очень быстро говорить. Или для вас потери текста были допустимы, я же правильно понимаю? (В моем случае я готовил датасет эмоциональной речи, поэтому такие ситуации были критичны и наиболее важны).
Я привел книгу как удобный пример. Не умер opensource. В США rayserve это повсеместное использование, его автоматом можно развернуть на серверах Амазон.
Chstgpt вам не поможет с autoscaling в rayserve, пробовал . Доходил до этого сам, обучаясь. Все это важно, когда начинаешь считать затраты на gpu и нагрузку, тогда считаешь каждую копейку.
Просмотрите rayserve, там не только разворачивание , мониторинг, логированание, автоматическое распределение ресурсов, создание связки между разными машинами , внешний api и многое другое. Как развернуть обучение моделей, распределить автоматически нагрузку порт обучении и так далее.
Какой смысл изобретать колесо, которое будет изначально хуже? И про книгу вы зря, она очень полезная. Я использую и доки и книгу, когда не за компом.
Укажите , как вы подготавливали данные при передаче его в Whisper. Как боролись с краткими фразами. Когда пользователь сказал только одно слово. В этом случае Whisper может тупить. Например, слово стоп, может распознать неправильно.
Как решили проблему с быстрой речью в whisper.
Как решали проблему со спикерами, когда допустим говорит мама и дочка (по очереди или в фоне). Анализ таких аудио у меня показывал, что их тональность схожая. Разделяли ли вы такую речь? Или считали как ошибка.
Как решали проблему ложных срабатываний, когда VAD решит, что данный отрезок речь. Как вы сначала подготавливали такие аудио, перед их распознаванием. Так как если вы выйдите на улицу, где рядом ездят машины, то просто VAD и Whisper не смогут справиться, и будет не мало ложных срабатываний.
Судя по вашему кейсу, вы анализировали звонки. Я когда анализировал звонки в такси, то все описанные выше проблемы были. Интересно как вы их решали.
Вода без конкретики. Например, аудио данные для обучения. Написание фреймворка для работы с аудио, который позволит мне правильно подготовить данные заняло полгода-год. Чтобы он мог выделять только голоса, откидывать шумные, определять громкость речи (крик, шёпот, тихая, громкая речь), определять уровень дикции (равномерно ли распределяет воздух в лёгких говорящий, чтобы не оказалось что в конце он уже заряжается и говорит тише), определение нет ли на записи посторонних голосов, функции правильного выравнивания речи по громкости (простая нормализация не учитывает, что кто то говорит немного громче или тише, микрофон по разному стоит), разбиение по эмоциональным признакам (чтобы оне мешать все в кучу) и так далее. Написание функций и этапов подготовки всех этих данных.
Вот согласно вашему описанию, вы написали , возьмите карандаш и нарисуйте сову. Вот без конкретных деталей, на конкретном примере данных для ллм к примеру, это просто набор текста.
Опишите конкретный пример. Дообучаем ллм, возьмём данные из Википедии или из документов компании и как вы решали эту задачу. Польза статьи сразу значительно вырастет.
Если коротко, то суть сводиться к следующему. Лобная доля запоминает сценарии поведения и сохраняет их. В одних случаях активируются длинные глобальные маршруты - когда сигнал проходит через несколько зон. При стрессе локальные маршруты, когда сигнал проходит через одну зону.
Управляет этим поведением лобная доля (это видно на фото выше, где показана ее активация во время разных сценариев). Мозг обучается этим сценариям, лобная доля модулирует сигнал, и перенаправляет маршрут по разным сценариям поведения: будете вы бросаться с кулаками на собеседника, или прочитаете ему нотацию на его поведение.
Эти сценарии зависят от среды обитания, воспитания, культурных особенностей и так далее. Под действием картизола, лобная доля ослабляет модуляцию и сигнал локальный для быстрой реакции. Но эта реакция построена на выученных сценариях. В случае дофамина, наоборот лобная усиливается и сигнал идёт по глобальными маршрутам и за счёт этого усиливает множество связей. Норадрналин, наоборот усиливает самый яркий сигнал, подавляя соседние, что приводит к самому сильному сценарию на ситуацию, откидывая все остальные (думать некогда)
У кортизола есть ещё одна особенность, по длительном его воздействии связи в лобной доли разрушаются. Это связано с тем, что длительный стресс означает, что данная модель поведения (сценария ) не работает, значит неэффективная и ее надо забыть и записать какую то более полезную.
Например, если раньше разрушить лобную долю (дименция), то человек не может контролировать сценарии. В штатах был такой пример, когда в доме престарелых старик изнасиловал бабушку. У него из за Альцгеймера или дименции (не помню точно) возникли нарушения в лобной доли, и та перестала работать. Человек перестал себя контролировать. Сценарий выбирался мозги на основе базовых инстинктивных, без модуляции поведения выбирающего оптимальный сценарий. Тоже самое наблюдается у многих заключённых, которые совершили не поддающиеся логике преступления (при этом понимая что это плохо, но не в состоянии управлять выбором поведения). Подобное можно наблюдать в преступлениях в состоянии аффекта, когда сильный выброс кортизола и норадреналина парализует лобную долю.
Так что либо исследование слишком старое, либо не понятно, что конкретно оно выявило. В 2020 это точно было уже известно.
Используйте rayserve. Это opensource. Он как раз для этого и создан, чтобы балансировать нагрузку на gpu между машинами . Он сам берет на себя роль балансировщика, где вы можете настроить как распределение ресурсов на вашу модель (если запущены ещё другие), мониторить нагрузку, автоматически расширять нагрузку через создание дополнительных машин (autoscaling).
На эту тему рекомендую книгу по ray serve. Ничего сложного там нет
Использовали комбинацию fMRI и EEG, чтобы восстановить акустические характеристики услышанных звуков.
Анализировали мел-спектрограммы (представление звука, близкое к человеческому восприятию), чтобы сравнить оригинальные и восстановленные аудиосигналы. То есть это исследование об анализе слуха и связи зрительных зон и тех что связаны с восприятием речи.
Что в итоге выявили: что добавление данных из зрительных областей мозга (по fMRI) улучшает качество аудиореконструкции, что подтверждает взаимосвязь между слуховой и зрительной обработкой.
Хотя так же анализировали видео данные для реконструкции.
Но вот точные подробности, не совсем понятные. В плане обучения. Исследование реально интересное, но в нем не хватает деталей. Какие конкретно участки анализировали, как сопоставляли сигналы. Их архитектура раскрыта не полностью, так же мало сведений о том как происходило обучение, какие методы были при восстановлении данных. С их сайта я так понял, что они используют архитектура nerf (название по памяти не помню точно), так которая позволяет по фото восстановить данные об объекте (чтобы потом вращать его к примеру). В репозитории, который они привели только картинки из их исследования.
С одной стороны, работа проделана большая и результаты впечатляют. С другой, слишком мало подробностей. Пока из нее можно только сделать вывод, что учитываете зрительного сигнала, позволяет улучшить качество распознавание слышимой речи. Что логично (зрение модулирует слуховые сигналы), но подтвердили это экспериментом. Видимо зрение, позволяет усилить важные сигналы. ЭЭГ тут выступает в качестве ритмов, которые как раз позволяют синхронизировать данные аудио и видео (ритмы выделяют наиболее важные признаки, через усиление важных сигналов, как например механизм внимания в трансформерах). Это похоже на мультмодальные модели, где через cross -attention происходит интеграция одного типа данных в других.
Меня тут очень смущает, как минимум экстрагирование результата 6 испытуемых на обобщенные результаты. В ЭЭГ исследованиях, за которыми я провел годы разбирая их и пробуя, были проблемы. Там часто встречалось такое, как "провели исследование на 8 иранских женщинах" и результат экстраполировали на всех. Проблем в таких результатах множество: малая выборка, слишком специфичная выборка, культурные особенности, постановка эксперимента исследования и так далее. Например, когда проверяешь, то легко может оказаться , что это реакция не на котиков, а на мерцание определенного цвета на изображении или лампы в помещении и так далее. Должно быть хотя бы 50 испытуемых разного возраста, пола, разных культур, в разных помещениях, с точным описанием протокола самого исследования. Иначе может они научились определять по видео их религиозное отношение и это влияет на предсказание.
Надо будет внимательно прочитать, что именно они сделали и как проверили. Так как раньше, данные по визуализации получали не совсем из всего мозга, а скорее из ее части, которая кодировала сенсорные сигналы в подобие токенов. Зрительные области, где происходило кодирование сигнала. Это аналогично, как подключиться ко входу между штекером USB с камеры и входом USB. Поэтому надо смотреть, что именно китайцы сделали, а что журналисты преувеличили.
неокортекс
Что касается ЭЭГ, то он в лучшем идеальном случае сможем получить информацию из самого верхнего слоя 1, через который проходит модуляция нижних слоев другими участками мозга.
Но ЭЭГ улавливаем по сути ритмы, а не сигналы единичные нейронов. Поэтому может лишь указать, что сейчас внимание на деталях, на объекте и так далее.
Другая проблема, что во время стресса норадреналин к примеру, просто будет снижать уровень воздействия сигнала. А слой 1 играет большую роль через модуляцию сигнала нероймедиаторами. Во время просмотра яркого фильма (который выбрали), явно стресс будет скакать.
Поэтому хорошо бы детально проверить исследование и результаты. Чтобы не вышло так, что его результаты притянуты за уши, вольно интерпретировались, подсогнались или вообще журналисты не правильно поняли.
Тоже самое что и у человека. Но вообще predict coding вроде давно уже используется как в робототехнике , так и в нейробиологии. Или тут что то другое?
https://t.me/greenruff/2163
Недавно как раз разбирал это, чтобы показать тот же механизм как в робототехнике, так и в биологии.
Как я понимаю, основная проблема, почему это раньше не использовали - это ограничение расчетов при использовании обучения нейронах сетей и скорости при их использования. Сейчас мощные GPU небольшого размера, по адекватным ценам.
А сейчас разучилась видимо) Посмотрите теорию хаоса, и почему погоду нельзя предсказать больше определенного промежутка. Прогноз погоды на длительные сроки (более 10–14 дней) ограничен из-за чувствительности атмосферы к начальным условиям — это один из ключевых принципов теории хаоса. Это 10-14 дней это при идеальных предсказанных условиях!
Более того, Wolfram Alpha не является нейросетью в современном понимании, это система символьных вычислений, которая агрегирует данные из проверенных источников (например, метеорологических служб). Wolfram Alpha показывала текущую погоду и краткосрочные прогнозы, но не генерировала их самостоятельно. Она использовала данные из внешних источников (National Weather Service).
DeepMind к примеру предсказывает сейчас погоду на 10 дней с точностью, сопоставимой с традиционными методами, но в 1000 раз быстрее. То есть вы не можете преодолеть этот предел.
Deepseek молодцы прежде всего в другом. До них так же использовали данные подходы. Их главная заслуга в изменении внутренней архитектуры, где они оптимизировали матрицы контекста, что позволило уменьшить затраты на вычисления и память, ускорить сходимость и так далее.
Это главное их достижение. Да рассуждение и грамотная комбинация с MoE тоже их заслуга, но тут они просто грамотно использовали имеющиеся достижения.
Я очень надеюсь что наши компании, тоже углубляться в разработку фундаментальных изменений.
Например, я сейчас исследую изменения классического метода обратного распространения ошибки. Суть заключается в том, что мы обучаем не всю цепочку методом, а каждый блок отдельно через глобальную ошибка.
Я тут не первый. Такие исследования были:
Blockwise Self-Supervised Learning at Scale
Авторы: Shoaib Ahmed Siddiqui, David Krueger, Yann LeCun, Stéphane Deny
arXiv
В этом исследовании ResNet-50 разделяется на четыре основных блока, каждый из которых обучается независимо с использованием функции потерь Barlow Twins. Результаты показали, что такой блочный подход к обучению достигает точности, сравнимой с полным обратным распространением ошибки на ImageNet, отставая всего на 1,1%.
Таким образом, блочное обучение почти не уступало классическому.
Но так как авторы, просто попробовали новый подход не понимая до конца что делают, они не смогли сделать шаг вперёд.
Дело в том, что методом обратного распространения ошибки можно сравнить с базальными гаеглиями, которые вырабатывают дофамин для подкрепления. И этот дофамин влияет на все области мозга подобно обратному распространению ошибки. Но с одной оговоркой:
1) дофамин индивидуально влияет на каждую область мозга, а не от последней к первой.
2) он имеет разную чувствительность в разных областях через рецепторы
Так вот, авторы исследования выше были на один шаг от правильного подхода. Они не учли чувствительность области к глобальной ошибке
Я повторил данный подход и мы видим, что обучение каждой области отдельно, действительно проигрывает классическому методу где то на 1,1%.
Но если мы вводим обучаемый параметр чувствительности, подобие рецепторов к дофамина, то видим в этом случае, что данный метод даёт тот же результат (как только коэффициент чувствительности будет обучен).
Уже это небольшое изменение открывает совершенно новые возможности в обучении моделей.
1) сейчас у больших моделей есть проблема затухающих градиентов. При обучении же локальных блоков, такая проблема минимизируется. Так как каждый блок обучается отдельно
2) сложные иерархические модели. Сейчас метод классический обратного распространения ошибки не подходит для сложных иерархических моделей (например мультмодальных). Это приводит к тому, что приходиться отдельно обучать модели и замораживать веса. В случае блочного обучения такой проблемы нет, так как в этом случае блоки могут пересекаться и нас это не волнует.
Это первый шаг к изменениям. Дальше уже надо переписывать полностью метод обратного распространения ошибки, чтобы он мог учитывать матрицу рецепторов для каждого блока, а не скаляр как сейчас. А так же писать новый метод для локальной ошибки (predict coding), который должен наоборот править градиенты от первого слоя к последнему в блоке, на основе вычисления ошибки входного и выходного сигнала.
Но в любом случае, даже добавление обучаемый чувствительности у блоков уже показало, что мы можем использовать данный подход с отдельным обучением блоков а не как сейчас.
Да, этот подход с чувствительностью тоже требует переделок, так как в этом случае пришлось написать метод изменения loss внутри блока и грамотно разрывать граф при обучении (чтобы ошибка не распространялась по всем блокам).
Для таких исследований не нужны миллионы долларов. И я надеюсь , что разработчики нейронных сетей на Хабре первыми возьмут на вооружение результат данного исследования.
Может и мое имя когда нибудь будет вписано как вклад в улучшения нейронах сетей.
Вот, каких результатов хочется видеть. Как deepseek разработавший алгоритмы для сжатия матриц и метода позиционирования для них, или DeepMind разработавший новые архитектуры мультмодальных моделей. Та и такие подходы к изучению принцип обучения.
Шумиха вокруг Суцкевера забавна, если посмотреть на реальность, то он хороший инженер, который понимает как лучше оптимизировать архитектуру, что то внести и так далее. Но я не видел ни одной разработку от него ни в Google Brain, ни когда он ушел в OpenAI. Чего то нового создано не было.
А вот DeepMind, которым ранее и был Google Brain, лично для меня заслуживает уважения. Именно определенный коллектив, который не просто создает новое, но и понимает что именно он создает и почему так делает. Именно в этой команде работают как нейробиологи, так и инженеры. Мне сложно поверить, что они изменяют архитектуру методом случайного перебора. Например, они осознано в двух прошлых архитектурах вынесли конкретные матрицы для создания мультизадачности.
Эти изменения явно были сделаны целенаправленно. И люди понимают, что они делают, пытаясь нащупать оптимальное решение.
А так же в другой их модели Perceiver IO. Я когда рассматривал и описывал вынос контекстного окна и описывал почему его надо выносить для мультимодальности https://t.me/greenruff/2146 то видно, что DeepMind работали над такой моделью не случайно. Поэтому не вижу какой то особой роли Суцкевера во всем этом, так как после ухода он ни чего не сделал, кроме оптимизации параметров для LLM в OpenAi и настройки их обучения. А ушел он из Google Brain (DeepMind), и после ухода DeepMind работает над фундаментальными изменениями. А OpenAi так и осталась на прежнем уровне, хотя так же добавляет мультимодальные модели, но более простые.
Как результат, DeepMind выпустила Gemini более полноценную мультимодальную модель (в архитектурном плане). Не берусь судить про ее возможности, но то момент, что они понимают над чем работают и что делают вызывает у меня уважение к ним.
Какая сасореплкация и развитие llm?)) они тут не могут нормально написать реализацию SSM модели (типа Mamba, и даже проще). Вчера бился бился, ни одна не справилась. Код тупо не работает, при отправке им на доработку ошибки меняет логику, выкидывает элементы, упрощает. Хотя там реализация небольшая.
В итоге написал сам. Но что хуже, показываешь ее модели и она ее переделывает и тут же ломает. Ломает уже рабочий код, она просто не может остановиться чтобы ничего в нем не изменить)
Так что если из нее и выйдет вирус, только такой, который поломает все исходники.
С postgres sql тоже самое. Сложные запросы не может сделать, ломает все, не может реализовать. Шаблон накидать да, а дальше ручками его правишь. Не дай бог потом нейронке его показать и сказать, надо было вот так. Ответит: отлично, но давайте тут изменим и ... снова ломает.
Да, игру Lines она напишет. Но таких полно на гитхабе. Но если мы скачаем с гитхабе, то не будет ощущения , что игру написали мы.
Мне это напомнило ситуацию с одним продуктом для домохозяек в Британии. По-моему в 50-70-ых к Берннейсу (племянник Фрейда) обратилась одна компания. Она продавала "пирог быстрого приготовления", точно не вспомню. Суть была, что просто надо вылить на сковороду и запечь. В фокус группах домохозяйки положительно отзывались, но сам продукт ни кто не покупал. Берннейс (вроде он) выяснил, что причина в том, что у домохозяек было чувство вины. Что они не участвуют в процессе, это не они приготовили пирог. Решение оказалось простым, в инструкцию добавили, что для приготовления нужно разбить и добавить яйцо. Чувство вины было снято, ведь теперь вроде они готовят пирог. Продажи взлетели.
С нейронками тут так же. Скачать игру Lines на гитхабе, как у домохозяек, нет ощущения что ее написали мы. А когда просишь сетку, то вроде бы как ты пишешь уже сам. А по факту,
качаешь с гитхабеиспользуешь то на чем сетка обучилась.Вот сейчас и появились везде голоса
домохозяеквайб-кодероа, которым llm дало ощущение, что они не скачали готовое, а сами написали. Будь то бот, или игра lines. А то, что такое при должном желании может написать школьник (в детстве писал себе подобные игры), ну это дело десятое.Проблема только в том, что серьезные вещи она сделать не может.
Нейронки супер помощник, когда ты накидываешь основу и дальше сам, когда делаешь ревью и правишь на за ними. Но как дополнение. А сасореплкация, так они себя на Nой итерации сами и поломает, если весь код не сводиться к Format C:/
Не очень понял. RAG в основном используется, чтобы подтянуть данные пользователя. Например, у банка там информация о тарифах, описание режимов работы, действий сотрудников и так далее. Эти документы постоянно обновляются.
В бизнесе крупные компании используют RAG в связке с развернутыми llm внутри компании, так как не одна служба безопасности не даст добро на внешние LLM.
И это могут быть сотни файлов или больше. Там могут быть результаты ответов и выгрузки. Я так понимаю описанный подход работает в рамках небольших компаний, которые внутри своего продукта используют openai или другие подобные llm. И все равно не понял, как данный подход позволит динамически обеспечить доступ к такой информации? Стажёр заполняющий файлы тут отпадает, у банка может быть десятки подразделений с кучей информации , которая обновляется каждый день. А если таких ручных файлов будет тысячи? Филиал А сегодня изменил тарифы, филиал В выпустил новый регламент, филиал С выгрузил новые юридические документы и так далее. Пока кроме RAG тут ничего лучше не придумали.
Поправьте меня, если ошибаюсь и не правильно понял статью.
Столько слов, а самого главного по существу вопроса и нет. Не вижу в текст даже упоминания закона Вебера-Фехнера.
Например, для речи это работает точно так же. Так же это работает и для зрения, и для других оценок. То есть миллион вполне будет воспринят, только интервал будет будет восприниматься иначе.
Поэтому, надо понимать, что и миллион и миллиард будет восприниматься, но только огромным интервалом.
Только эти интервалы будут очень быстро расти в наше понимании. Выше пример частот речи и интервалы. Чем меньше частота, тем уже интервал. Чем больше частота, тем шире воспринимаемый интервал, где восприятие будет размазано по нему. То есть если условно на мелких мы можем воспринимать 1 Гц, то на больших частотах можем разве что отличать 5000 Гц от 20000 Гц.
Так что тема интересная, но сама статья тему не раскрывала ни как.
За все время, я могу сказать только об одном кейсе успешной конференции и мини встреч. В свое время была AVRA комьюнити по дополненной и виртуальной реальности. Мы там много общались все. В какой то момент одна из основательниц стартапы проиграла мне кальян. там был спор что Magic Leap ни чего не имеет и по сути являются мошенниками, поэтому загнуться (и доказательства с моей стороны). В общем по шумок предложили всем прийти и встретиться. Неожиданно пришло много народу, порядка 30 человек из разных компаний и разработчики. Это заложило основа общения комьюнити, когда люди знают друг друга в живую.
Затем спустя года два, один из участников решил сделать конференцию MIXAR (на много тысяч человек), где было множество компаний и по сути участники хорошо знали друг друга по комьюнити и общей сфере. Конечно были и те, кто попал туда случайно. Вот те кто пришел случайно, лично я мало вижу проку. Хотя после бокалов алкоголя, все уже перезнакомились с остальными. Кто-то знакомил друг друга через "рукопожатие" знакомых, кто то просто подходил подсесть послушать и представлялся. По сути это была конференция на базе комьюнити, где люди до этого уже читали кто-что пишет в чате и были хотя виртуально "знакомы".
Когда же я пришел на конфу в технополис Ломоносова (точно не помню как называется на базе МГУ), то по сути это были несколько человек у стендов и толпа студентов, которых согнали (или заманили халявной едой?), которые бегали то поесть, то между стендами смотря вакансии. А доклады были в большом зале, с огромными толпами сидящих в полумраке людей. В самих докладах не было абсолютно ни чего кроме воды (конференция была по робототехнике). Толкну от нее было ровно -1 по шкале от 0 до 10.
Если у вас есть комьюнити, где уже идут коммуникации по обмену опытом, которые зарождаются сначала виртуально (тем более у интровертов). Тогда конфа оправдана, иначе в чем ее эффективность? Так как доклад на 15-30 минут проще посмотреть онлайн или найти такую же лекцию или видео с описанием на Youtube.
У вашей конференции есть комьюнити? Есть что-то, где эти люди общаются друг с другом и можно писать и читать их?
Радует, что вы сразу правильно предполагаете сразу учитывать и текст и акустический анализ.
Не допускайте тут ошибок, которые делают многие. Включая Сбер со своей системой оценки "эмоций" основанной на речи. Это не будет работать. Я в свое время разбирал это у них в комьюните, все равно мимо ушей прошло (бизнес сказал надо, значит надо даже если это не работает).
https://t.me/greenruff/1855
Тут как раз я специально генерировал пример (особенно в комментариях там), что одни и те же акустические паттерны наложенные на разных текст, воспринимают мозгом как разные эмоции. Поэтому есть базовые паттерны, а уже они накладываются на текстовые (связанные с контекстом). И отдельно по тексту нельзя и отдельно по речи нельзя распознать правильно.
https://t.me/greenruff/1847
Там же выше показано, что эмоции могут иметь одинаковые акустические паттерны у совершенно противоположенных эмоций. А страх, так вообще понятие размытое и надо опираться на контекст, так как может быть выражен шепотом, взволновано громко, дрожащим голосом и так далее. А только по тексту тоже нельзя определить, яркие примеры слово "Нет", которое можно сказать множеством способом и оно будет нести разный оттенок.
https://t.me/greenruff/2059
Как еще одно последнее доказательство, это исследование пауз речи. Где выяснилось, что речь является последовательным графом. Где каждый его уровень является либо слогом, словом, эмоциональным выделением слов, синтагмой, набором синтагм. И без понимания смысла, мы не можем понять, к какой типу относиться данный уровень. И поэтому не можем определить это длинное слово со слогами или это быстрая эмоциональная речь уменьшившая микропаузы в эмоциональном выражении. Там простой пример, взять неизвестный вам иностранный язык и попробовать понять что за эмоция перед вами, где слова, где синтагмы заканчиваются.
Поэтому я рад, что вы уже на этап продумывания правильно предполагаете. Так как большинство используют только один подход. И на выходе получается мусорный результат.
Боли нет, скорее хочу, описать проблемы которые могут возникнуть, чтобы ваш читатель мог понимать, с чем может столкнуться. И лучше понять решение у вашего кейса.
Так же вопрос, "в начале звонка спокоен либо модель у нас на это не сильно триггериться", можете объяснить что вы имеете ввиду про триггеться. Вы указываете про определение эмоционального разговора, как понимаю как триггер или как одну из метрик. Как вы определяли эмоциональный разговор? Этот эмоциональный, этот не эмоциональный? Что было критерием этой оценки?
Про быструю речь , если я правильно понимаю вы опускали такие случаи? Так как тут надо определять скорость и ускорение или замедление речи сильно отличаются, так как простое сжатие скорости возможно лишь в маленьких пределах вроде х0.8-1.2. Но, когда кто то в звонке говорить на сильных эмоциях, то речь может сильно ускоряться. Тут простым растяжением не вытянуть. Wsola тоже не идеальна, отдельные сетки (?). Для звонков в службу поддержки (как и в сервисы такси) эмоциональная быстрая речь не редкость. Поэтому любопытно, определяли ли скорость речи, до распознавания (так как распознавание быстрой даёт сбои). Для меня просто очень странно, что у вас редкие такие случаи. Так как обычно человек в таких звонках очень волнуется или зол и может очень быстро говорить. Или для вас потери текста были допустимы, я же правильно понимаю? (В моем случае я готовил датасет эмоциональной речи, поэтому такие ситуации были критичны и наиболее важны).
Ещё чуть чуть и вы возможно "додумаетесь" до более сложной системы арбитров в роли LLM.
https://habr.com/ru/articles/893634/comments/#comment_28098838
Я привел книгу как удобный пример. Не умер opensource. В США rayserve это повсеместное использование, его автоматом можно развернуть на серверах Амазон.
Chstgpt вам не поможет с autoscaling в rayserve, пробовал . Доходил до этого сам, обучаясь. Все это важно, когда начинаешь считать затраты на gpu и нагрузку, тогда считаешь каждую копейку.
Просмотрите rayserve, там не только разворачивание , мониторинг, логированание, автоматическое распределение ресурсов, создание связки между разными машинами , внешний api и многое другое. Как развернуть обучение моделей, распределить автоматически нагрузку порт обучении и так далее.
Какой смысл изобретать колесо, которое будет изначально хуже? И про книгу вы зря, она очень полезная. Я использую и доки и книгу, когда не за компом.
Укажите , как вы подготавливали данные при передаче его в Whisper. Как боролись с краткими фразами. Когда пользователь сказал только одно слово. В этом случае Whisper может тупить. Например, слово стоп, может распознать неправильно.
Как решили проблему с быстрой речью в whisper.
Как решали проблему со спикерами, когда допустим говорит мама и дочка (по очереди или в фоне). Анализ таких аудио у меня показывал, что их тональность схожая. Разделяли ли вы такую речь? Или считали как ошибка.
Как решали проблему ложных срабатываний, когда VAD решит, что данный отрезок речь. Как вы сначала подготавливали такие аудио, перед их распознаванием. Так как если вы выйдите на улицу, где рядом ездят машины, то просто VAD и Whisper не смогут справиться, и будет не мало ложных срабатываний.
Судя по вашему кейсу, вы анализировали звонки. Я когда анализировал звонки в такси, то все описанные выше проблемы были. Интересно как вы их решали.
Вода без конкретики. Например, аудио данные для обучения. Написание фреймворка для работы с аудио, который позволит мне правильно подготовить данные заняло полгода-год. Чтобы он мог выделять только голоса, откидывать шумные, определять громкость речи (крик, шёпот, тихая, громкая речь), определять уровень дикции (равномерно ли распределяет воздух в лёгких говорящий, чтобы не оказалось что в конце он уже заряжается и говорит тише), определение нет ли на записи посторонних голосов, функции правильного выравнивания речи по громкости (простая нормализация не учитывает, что кто то говорит немного громче или тише, микрофон по разному стоит), разбиение по эмоциональным признакам (чтобы оне мешать все в кучу) и так далее. Написание функций и этапов подготовки всех этих данных.
Вот согласно вашему описанию, вы написали , возьмите карандаш и нарисуйте сову. Вот без конкретных деталей, на конкретном примере данных для ллм к примеру, это просто набор текста.
Опишите конкретный пример. Дообучаем ллм, возьмём данные из Википедии или из документов компании и как вы решали эту задачу. Польза статьи сразу значительно вырастет.
Если коротко, то суть сводиться к следующему. Лобная доля запоминает сценарии поведения и сохраняет их. В одних случаях активируются длинные глобальные маршруты - когда сигнал проходит через несколько зон. При стрессе локальные маршруты, когда сигнал проходит через одну зону.
Управляет этим поведением лобная доля (это видно на фото выше, где показана ее активация во время разных сценариев). Мозг обучается этим сценариям, лобная доля модулирует сигнал, и перенаправляет маршрут по разным сценариям поведения: будете вы бросаться с кулаками на собеседника, или прочитаете ему нотацию на его поведение.
Эти сценарии зависят от среды обитания, воспитания, культурных особенностей и так далее. Под действием картизола, лобная доля ослабляет модуляцию и сигнал локальный для быстрой реакции. Но эта реакция построена на выученных сценариях. В случае дофамина, наоборот лобная усиливается и сигнал идёт по глобальными маршрутам и за счёт этого усиливает множество связей. Норадрналин, наоборот усиливает самый яркий сигнал, подавляя соседние, что приводит к самому сильному сценарию на ситуацию, откидывая все остальные (думать некогда)
У кортизола есть ещё одна особенность, по длительном его воздействии связи в лобной доли разрушаются. Это связано с тем, что длительный стресс означает, что данная модель поведения (сценария ) не работает, значит неэффективная и ее надо забыть и записать какую то более полезную.
Например, если раньше разрушить лобную долю (дименция), то человек не может контролировать сценарии. В штатах был такой пример, когда в доме престарелых старик изнасиловал бабушку. У него из за Альцгеймера или дименции (не помню точно) возникли нарушения в лобной доли, и та перестала работать. Человек перестал себя контролировать. Сценарий выбирался мозги на основе базовых инстинктивных, без модуляции поведения выбирающего оптимальный сценарий. Тоже самое наблюдается у многих заключённых, которые совершили не поддающиеся логике преступления (при этом понимая что это плохо, но не в состоянии управлять выбором поведения). Подобное можно наблюдать в преступлениях в состоянии аффекта, когда сильный выброс кортизола и норадреналина парализует лобную долю.
Так что либо исследование слишком старое, либо не понятно, что конкретно оно выявило. В 2020 это точно было уже известно.
Используйте rayserve. Это opensource. Он как раз для этого и создан, чтобы балансировать нагрузку на gpu между машинами . Он сам берет на себя роль балансировщика, где вы можете настроить как распределение ресурсов на вашу модель (если запущены ещё другие), мониторить нагрузку, автоматически расширять нагрузку через создание дополнительных машин (autoscaling).
На эту тему рекомендую книгу по ray serve. Ничего сложного там нет
https://ozon.ru/t/HOq1ZlK
Что они сделали на самом деле.
Использовали комбинацию fMRI и EEG, чтобы восстановить акустические характеристики услышанных звуков.
Анализировали мел-спектрограммы (представление звука, близкое к человеческому восприятию), чтобы сравнить оригинальные и восстановленные аудиосигналы. То есть это исследование об анализе слуха и связи зрительных зон и тех что связаны с восприятием речи.
Что в итоге выявили: что добавление данных из зрительных областей мозга (по fMRI) улучшает качество аудиореконструкции, что подтверждает взаимосвязь между слуховой и зрительной обработкой.
Хотя так же анализировали видео данные для реконструкции.
Но вот точные подробности, не совсем понятные. В плане обучения. Исследование реально интересное, но в нем не хватает деталей. Какие конкретно участки анализировали, как сопоставляли сигналы. Их архитектура раскрыта не полностью, так же мало сведений о том как происходило обучение, какие методы были при восстановлении данных. С их сайта я так понял, что они используют архитектура nerf (название по памяти не помню точно), так которая позволяет по фото восстановить данные об объекте (чтобы потом вращать его к примеру). В репозитории, который они привели только картинки из их исследования.
С одной стороны, работа проделана большая и результаты впечатляют. С другой, слишком мало подробностей. Пока из нее можно только сделать вывод, что учитываете зрительного сигнала, позволяет улучшить качество распознавание слышимой речи. Что логично (зрение модулирует слуховые сигналы), но подтвердили это экспериментом. Видимо зрение, позволяет усилить важные сигналы. ЭЭГ тут выступает в качестве ритмов, которые как раз позволяют синхронизировать данные аудио и видео (ритмы выделяют наиболее важные признаки, через усиление важных сигналов, как например механизм внимания в трансформерах). Это похоже на мультмодальные модели, где через cross -attention происходит интеграция одного типа данных в других.
Меня тут очень смущает, как минимум экстрагирование результата 6 испытуемых на обобщенные результаты. В ЭЭГ исследованиях, за которыми я провел годы разбирая их и пробуя, были проблемы. Там часто встречалось такое, как "провели исследование на 8 иранских женщинах" и результат экстраполировали на всех. Проблем в таких результатах множество: малая выборка, слишком специфичная выборка, культурные особенности, постановка эксперимента исследования и так далее. Например, когда проверяешь, то легко может оказаться , что это реакция не на котиков, а на мерцание определенного цвета на изображении или лампы в помещении и так далее. Должно быть хотя бы 50 испытуемых разного возраста, пола, разных культур, в разных помещениях, с точным описанием протокола самого исследования. Иначе может они научились определять по видео их религиозное отношение и это влияет на предсказание.
Надо будет внимательно прочитать, что именно они сделали и как проверили. Так как раньше, данные по визуализации получали не совсем из всего мозга, а скорее из ее части, которая кодировала сенсорные сигналы в подобие токенов. Зрительные области, где происходило кодирование сигнала. Это аналогично, как подключиться ко входу между штекером USB с камеры и входом USB. Поэтому надо смотреть, что именно китайцы сделали, а что журналисты преувеличили.
Что касается ЭЭГ, то он в лучшем идеальном случае сможем получить информацию из самого верхнего слоя 1, через который проходит модуляция нижних слоев другими участками мозга.
Но ЭЭГ улавливаем по сути ритмы, а не сигналы единичные нейронов. Поэтому может лишь указать, что сейчас внимание на деталях, на объекте и так далее.
Другая проблема, что во время стресса норадреналин к примеру, просто будет снижать уровень воздействия сигнала. А слой 1 играет большую роль через модуляцию сигнала нероймедиаторами. Во время просмотра яркого фильма (который выбрали), явно стресс будет скакать.
Поэтому хорошо бы детально проверить исследование и результаты. Чтобы не вышло так, что его результаты притянуты за уши, вольно интерпретировались, подсогнались или вообще журналисты не правильно поняли.
Тоже самое что и у человека. Но вообще predict coding вроде давно уже используется как в робототехнике , так и в нейробиологии. Или тут что то другое?
Недавно как раз разбирал это, чтобы показать тот же механизм как в робототехнике, так и в биологии.
Как я понимаю, основная проблема, почему это раньше не использовали - это ограничение расчетов при использовании обучения нейронах сетей и скорости при их использования. Сейчас мощные GPU небольшого размера, по адекватным ценам.
А сейчас разучилась видимо) Посмотрите теорию хаоса, и почему погоду нельзя предсказать больше определенного промежутка. Прогноз погоды на длительные сроки (более 10–14 дней) ограничен из-за чувствительности атмосферы к начальным условиям — это один из ключевых принципов теории хаоса. Это 10-14 дней это при идеальных предсказанных условиях!
Более того, Wolfram Alpha не является нейросетью в современном понимании, это система символьных вычислений, которая агрегирует данные из проверенных источников (например, метеорологических служб). Wolfram Alpha показывала текущую погоду и краткосрочные прогнозы, но не генерировала их самостоятельно. Она использовала данные из внешних источников (National Weather Service).
DeepMind к примеру предсказывает сейчас погоду на 10 дней с точностью, сопоставимой с традиционными методами, но в 1000 раз быстрее. То есть вы не можете преодолеть этот предел.