Тоже так думал, пока не увидел как речь одинаково развивается у разных живых видов не зависимо от среду обитания, артикулятора и способа передачи сигнала. Начальные условия разные выглядят по разному, но фазовое пространство артикулятора (язык, мелон, жжужальца и тд) одинаковое.
Ниже фазовое пространство речи артикулятора, совпало для всех живых видов. Отличие лишь в степени развития, но не в форме.
Так что вполне вероятно, что с возникновением жизни тоже самое. Будет какая нибудь плазменная форма на базе чего то там, которая пока не придумала как выбраться наружу, где сразу помрет.
Либо адаптировались и живут на глубине планеты, куда не проходит радиация и поэтому развиваются медленно.
В LLM моделях и так присутствует эмоциональное поведение. Данные которые ей скармливают не распределены между поведением когда преобладает лимбическая система (эмоции) и префронтальная зона лобная кора (условно информация). Лобная доля под действием кортизола ослабляет связи длинных путей и включаются более простые.
Как итог, при сильных эмоциях (стрессе) один набор текста, когда лобная доминирует сильно, то другой набор. В одном будет, "Афоня урод, рубль должен", а в другом "у Афанасия долг, в размере 3 рублей, который 5 апреля 2025 года он взял под беспроцентный займ на 1 месяц". В первом случае цель сигнальная информация, во втором структурная.
В обучающей выборке такую информацию ни кто не разделяет.
Я тут частично описывал как на текущих LLM разделить ити данные при ответе и вытянуть их
Я сейчас проводу исследование, и сравнивал "вокализацию" разных живых особей по развитости артикуляции (необходимо для создания многообразия слов) и оптимизации затрат энергии на артикуляцию (указывает на степень развития "речи).
Так вот у тех же пчел, "речь" развита очень сильно, явно лучше чем у шимпанзе. Я не знаю как они это делают.
Все что делает в данном случае сетка, это усредняет модель поведения из обученных данных. Хотите убрать эти модели поведения, уберите их из обучающей выборки.
LLM просто усредняет объединенные сигналы лобной доли как модулятора сигнала для поведения и стратегий, лимбической системы и полушарий. Если мы возьмём данные психопата и обучим модель на них, то будет llm модель со стратегиями поведения психопата.
Когда мы скармливаем все подряд, то получаем усредненную модель со средним по больнице у стратегий поведения.
У человека эти стратегии могут изменятся, так как лобная зона является модулятором сигнала а не статикой как у LLM. Поэтому в текущем виде, единственным решением является подготовка правильного набора данных, исключающего плохие стратегии (по мнению его создателей). Например, это отсев эмоциональной речи, которая неминуемо будет отражать стратегию инстинкта самосохранения на уровне лимбической системы.
А можно без философских мыслей, а доказывать гипотезы?
Вы выдвигаете гипотезу. Собираете доказательную базу на своих или чужих исследованиях. Она должна быть повторяемая. Иначе, это все на уровне "личное мнение".
Сам аттрактор уже многое дает для нейросети. Странный аттрактор - это фрактальный аттрактор, где как раз механизм внимания и является по сути фракталом. Построение фазового пространства в данном случае, как раз позволяет понять эффективные механизмы обучения и улучшить сходимость. Об этом как раз была недавно статья, тут выкладывал ее перевод https://t.me/c/1714947028/13149 Проблема не придумать с хаосом или без. Проблема понять, как правильно. И пока просто придумывают - это так и остается проблемой. Потому что именно понимание - является ключом к эффективности. Не нужно каждый нейрон связан с каждым. У нас это не так - есть пирамидальные клетки, звездчатые и т.д. И они прекрасно справляются. Там роль играет совсем другое. И все это отлично переноситься, как раз при правильном описании фазового пространства и реализации странного аттрактора. Все верно - это свойства качества сети, которыми трансформеры обладают лишь частично. Нет здесь развития - тупик тут. Надо менять подход. Я сейчас разбираю как раз аудио речи, разбив ее на паттерны как у людей так и у животных - там явно прослеживаются фракталы на уровне градиентов частот, и явно есть фазовое пространство (с точки зрения биологии человека ограниченное движением языка). И более высокий уровень иерархии - тоже должен быть странным аттрактором, что мы и наблюдаем у текстов. И архитектуры реализующие их. тоже должны соответствовать требованиям странных аттракторов. https://t.me/c/1714947028/13176 Тут пример того, о чем я говорю в речи. Постепенно пытаюсь построить странный аттрактор русского языка и затем сначала сравнить его с другими языками людей и затем с животными (пробовал сместить у тех же ворон и дельфинов форманты и тон, чтобы он соответствовал человеку - совсем иначе звучит сразу на слух) https://t.me/greenruff/1927 Поэтому я готов утверждать. что трансформеры сработали, потому что реализуют большинство важных свойств странных аттракторов при обучении. Суцкевер не является автором трансформеров. он использовал их явно без понимания почему именно эти свойства важны. Вы можете хоть в миллион раз масштабировать систему - это не даст толку. Потому что на верхнем уровне иерархии не будет паттерна самоподобия (внимания), которая в нашем случае реализуется через лобные доли (как модулятор нейронных путей - переключатель активностей связей на другие внимание и участки в неокортексе).
Если бы нейронками занимались не только программисты, то не зацикливались бы на трансформерах. Как по мне, OpenAI просто повезло. Так как в реальности ни Илья Суцкевер, ни видимо создатели трасформеров не понимают, что они сделали. Я пытался найти, на что же они опирались. В статье "Внимание, все что нам нужно", видно что один из разработчиков Google просто решил, что достаточно оставить механизм самовнимания. При этом даже не понимая, почему оказался прав.
Если рассматривать сетки, то каждый живой нейрон является странным аттрактором. Исходя из этого, абстракции его иерархии, тоже являются странными атракторами. Трансмформеры - очень близко реализуют ряд свойств странного аттрактора.
самоподобие (это как раз и есть механизм самовнимания), хотя и на локальном уровне
сильная зависимость от начальных условий (при том же обучении)
фазовое пространство, так как модель при непрерывном обучении колеблется вокруг весом к которым сходиться.
влияние временных характеристик, были заменены на окна (что ограничило длину цепочки токенов).
Чего нет.
полноценных временных харатеристик. В этом плане к этому ближе SSM модели, которые показали недавно отличные результаты. Хотя и они лишь частично реализуют это.
хаотичных систем, так как флуктуация является важным элементом. Рандомная температура тут не подходит - так как это выбивает сходимость весов за пределы фазового пространства модели. А так же его отсутствие - является причиной того, что модель может оказаться в яме ломального миминимума.
нет иерархии самоподобия, через другие модели. Например, на более высоком уровне два полушария имеют схожий паттерн самовнимания. При этом лобная доля, играет важную роль в усилении или ослаблении связей (модулятор), чтобы маршрут нейронов нешл по более короткому или длинному пути. В этом плане трасформеры - это статика. Особоенно после заморозки модели, после ее обучения.
Это малая часть. Если разбирать больше, то там еще много всего. Надеюсь, что квантовые компьютеры не забросят. Так как, именно они являются важной частью создания полноценны нейронных сеток, где в основе лежит не просто статический вес, а странный аттрактор. Где сами можно по как раз делать хаотичные системы с микро флуктуациями на уровне весов, что является важной частью фрактальных аттракторов.
Сейчас есть попытки сделать сетки на базе странных аттракторов, но это первые попытки обучить несколько нейронов для демо. И они явно очень прожорливые, так как симулирует работу странного аттрактора у нейрона, заменяя его на целую архитектуру.
Да нет в ЛЛМ никакого ИИ. Там даже нет пространственного мышления и абстрагирования, потому что просто ему некуда там взяться. Я уже молчу про работу лобных долей, где у людей выбирается по какому пути мышления идти простому или сложному. Да блин, тут даже слуховую кору пока никто не смог нормально повторить, которая проще и умеет автоматически подстригаться под шум.
ЛЛМ это совсем про другое. Это маленький кирпичик, являющийся возможно частью будущего ИИ.
Всё это напоминает мне 50-60ые года и уран, когда его использовали в конструкторах детских, косметике, пише, врачебное облучение, в аксессуарах и тд. И стоял такой же хайп..
И уран и ЛЛМ важные шаги, меняющие отрасль. Но называть это ИИ, как обещать уже завтра сделать термоядерный синтез который обеспечит бесплатной энергией.
Хрен с этим маркетингом. Он всегда был. Одно не пойму, люди реально верят что там ИИ или будет ИИ на этом. Или же просто считают, что это тренд на котором надо заработать и поэтому готовы сказать, что там уже сверх ИИ.
Очень не хватает эксперимента, рассматривающего речь с другой стороны. Обучение чтению. Визуально, животные достаточно хорошо разделяют то что видят. Чтение, позволяет накопить больше информации, развить мышление, освоить грамматику и многое другое.
Я не встречал экспериментов, где были попытки обучить чтению горит и шимпанзе.
Давайте честно, данный подход просто обнажил множество проблем этих научных работ.
Приведу два примера из своей практики.
1) исследования связанные с ЭЭГ. Передо мной лежит файл на 35 тыс исследований с использованием ЭЭГ. Там столько мусорных исследований, когда провели на 8 испытуемых и сделали вывод. Это мало данных, выводы притянуты за уши, отбирают нужные данные отсеивая не то мешают результату.
2) исследования речи на уровне формант и влияния на эмоции. Куча исследований, а по факту мусорные. Потому что, когда начинаешь на практике проверять то оказывается что данные по своему усмотрению исследователи отсеяли, и результат как гадалка (видим что часто встречается).
И я могу приводить множество областей. Давайте честно, многие научные работы делаются ради публикации и часто не не сут смысла или могут нести ерунду.
Со временем начинаешь отличать такие работы, сомневаясь в их результате.
А насчёт chatGPT и других, помню как потратил 2 недели пытаясь использовать в опытах. Лютый бред. Не умение абстрагировать, например, нужно было сделать растворимый слой. Мне пришло в голову в итоге аналог изморози, потому что вспомнил как покрывается ею окно и железные вещи. Это абстрагирование и перенос опыта в другую область. У LLM этого нет.
то что я описывал, относилось к 4о, посмотрим конечно что даст о1. Но принципиальной разницы я не вижу от такого обучения. Так считаю, что подход обучения должен быть кардинально другим. Я сейчас делаю сетку слуховой коры. и там подход обучения подготавливаю с разбиением на 3и этапа: - база частотная: частоты тона и формант и других звуков, интенсивность - базовые временные паттерны: паузы, наклоны, темп и т.д. - разветвление, когда все это до обучается сразу под спектр задач от выделения спикера, до определение аудио паттернов рефлексов. то есть сначала обучаем базе и затем расширяем обучение.
Как по мне подобного подхода не хватает chatGPT и другим LLM. Когда обучение идет периодически чередуя базу и правила. Сейчас же обучение LLM это обучением базе, и там уже на авось что среди этой базы встретились правила. Мы проводили тесты. где было выявлено, что обучение зависит от порядка данных. Поэтому оно должно быть 1) обучение базе.. время - это... пространство это - 2) обучение правилам. после завтра - это время, где... то, как обучается человек. Иначе, многие важные связи могут оказаться слабыми. А так же отуncтвие четких зависимостей, где вместо этого будут просто мусорные связи.
Это не решит проблему. Я знаю про подход "chain of thoughts" и постоянно использую его добавляя https://www.promptingguide.ai/
1) рассуждай шаг за шагом 2) проверь свой ответ на соответствие биологическим значениям (если речь про биологию процесса) 3) в чем я не прав? 4) если не знаешь. напиши не знаю и не придумывай
Первый пункт - как раз про "chain of thoughts". Второй пункт - про то. чтобы модель придерживалась контекста и проверяла то что пишет. Третий пункт - чтобы модель меньше фантазировала, и сначала подвергала сомнению. то что я написал Четвертый - чтобы меньше врала.
Поэтому - "chain of thoughts" ни как не исправит ситуацию, так как я учитываю это в запросах в ручную. Без этих пунктов, ChatGPT просто превращается в рулетку. Так что введение "chain of thoughts" ситуацию не исправит. Я предлагал подобный подход в чате сбера. Только он был немного шире. Там по аналое с MOE, сами нейронки выступали в качестве орбитора. Это существенно улучило качество ответа в рамках знаний LLM модели (выше головы они не прыгнут), но при этом время одного ответа составляло от 5 до 15 минут. https://t.me/greenruff/1756 там же в комментариях я прикладывал код, чтобы каждый мог попробовать на разных LLM. Так что ChatGPT есть куда там еще расти. Но кардинально это не решает проблемы. Так как за пространственное мышление, отвечающее за причинно-следственные связи должна отвечать другая модель, как это сделано у нас в двух полушария. Один из примеров является, такого проявления является Гроккинг, описанный в данном статье https://habr.com/ru/articles/840136/
Боюсь, что это говорит не о качестве сетки. А об уровне и знаниях данного инженера.
Я стараюсь по максимуму использовать chatGPT при написании кодаи получении какой то информации быстро. Это дикий ужас. Надо тщательно перепроверять. Ошибка на ошибке.
Но ошибки ладно. Проблема гораздо хуже. Отсутствие понимания причино-следственных вещей.
1) быстро теряет контекст, и легко выкидывает важные вещи всего пару сообщений назад
2) абсолютно не понимает многие связи. Например, объясняю ему что человек не считает сколько ему нужно времени на речи и не рассчитывает кол-во вдыхаемого воздуха. Да, соглашается и тут же в одном из пунктов снова перечисляет что в зависимости от длины речи человек решает сколько вдохнуть воздуха. И так по кругу.
Всё эти LLM на сегодня это продвинутый поисковик, с возможностью обобщения и поиска связанных данных.
Но ни к ИИ, ни к замени кого то это не ведёт. Это инструмент облегчающий какие-то вещи. Либо этот инженер искал бы и писал свой код просмотрев кучу форумов либо обобщил через LLM.
Автоматизирует рутину - да, так как проверить проще, чем порой писать монотонный код. Но чтобы проверить, надо уметь самому это написать.
Не понимаю, чем хвалятся эти инженеры, когда говорят что chatGPT написал за них этот код, который бы они писали месяц. Это говорит лишь об их уровне компетенции, а не об уровне chatGPT. Значит это плохой инженер, раз эта работа заняла бы у него столько времени.
Как раз для знакомства с AR нет. Так как нужно сразу понимать всё нюансы AR. А это например отсутствие черного цвета, физику не обманешь. В то время квест это всё таки VR с переходом в MR. Я бы брал и окулюс тоже, но не для AR а для VR/MR
1) нет собственных мозгов у них нет. Они подключаются по HDMI к компу или одноплатникам. Есть usb выход, который выступает в качестве хаба (к плате подключается камера, микрофон, наушники, батарея, дисплей.
2) это именно обучающий конструктор, где если кому то хочется сделать что то не стандартное, то он может это спроектировать.
Для касок у нас другие модели в разработке, т скоро выйдут, но там и цена от 100 до 500 тыс руб.
Пока не ясно какой. Но мелкая партия. Я пробую просто разные подходы, чтобы посмотреть на результат.
В данном случае трафарет не такой как в полиграфии. Я хотел заказать трафарет в Китае и потом накладывать как в полиграфии, но в итоге решил что и так затянул с запуском. Поэтому трафарет тут проще: лазером на бумаге вырезали трафарет, прикрепили его к коробкам и напялили сверху краску.
Для крупной партии это конечно не вариант, но для мелкой отлично подходит.
Через step можно сконвертировать в AutoCAD, хотя да, часть может потеряться. Но сейчас в вузах переходят на обучение Компас из за ограничений доступа к AutoCAD или импортозамещение (точно не помню). Это же прежде всего проект для российского образования под их требования. Поэтому изменение корпуса, это как часть программы обучения Компас. Поэтому и сам корпус делался максимально простой, чтобы и школьник и студент мог освоить.
Но, да мне тоже спокойнее мысленно считать это хобби, чем думать сколько я потратил на всё это. Вот, пробую вывести как продукт для образования, чтобы через пару лет мы не оказались отстающими на 30 лет.
Я бы сказал так, конструктор типа лего для очков. Но в собранном виде, чтобы можно было сразу включить и пробовать. Либо разобрать и пилить своё, изменяя корпус (мы сделали его исходники открытыми) и какие-то модули (например кто-то хочет заменить микрофон, камеру на стерео или 3д и тд). Через неделю можно будет уже купить.
Тоже так думал, пока не увидел как речь одинаково развивается у разных живых видов не зависимо от среду обитания, артикулятора и способа передачи сигнала. Начальные условия разные выглядят по разному, но фазовое пространство артикулятора (язык, мелон, жжужальца и тд) одинаковое.
Ниже фазовое пространство речи артикулятора, совпало для всех живых видов. Отличие лишь в степени развития, но не в форме.
Так что вполне вероятно, что с возникновением жизни тоже самое. Будет какая нибудь плазменная форма на базе чего то там, которая пока не придумала как выбраться наружу, где сразу помрет.
Либо адаптировались и живут на глубине планеты, куда не проходит радиация и поэтому развиваются медленно.
В LLM моделях и так присутствует эмоциональное поведение. Данные которые ей скармливают не распределены между поведением когда преобладает лимбическая система (эмоции) и префронтальная зона лобная кора (условно информация). Лобная доля под действием кортизола ослабляет связи длинных путей и включаются более простые.
Как итог, при сильных эмоциях (стрессе) один набор текста, когда лобная доминирует сильно, то другой набор. В одном будет, "Афоня урод, рубль должен", а в другом "у Афанасия долг, в размере 3 рублей, который 5 апреля 2025 года он взял под беспроцентный займ на 1 месяц". В первом случае цель сигнальная информация, во втором структурная.
В обучающей выборке такую информацию ни кто не разделяет.
Я тут частично описывал как на текущих LLM разделить ити данные при ответе и вытянуть их
https://t.me/greenruff/1963?single
Но в целом надо менять сам подход и вводить модулятор в архитектуру LLM по аналогии с лобными долями.
Я сейчас проводу исследование, и сравнивал "вокализацию" разных живых особей по развитости артикуляции (необходимо для создания многообразия слов) и оптимизации затрат энергии на артикуляцию (указывает на степень развития "речи).
Так вот у тех же пчел, "речь" развита очень сильно, явно лучше чем у шимпанзе. Я не знаю как они это делают.
https://t.me/greenruff/2009?single
Интересно сравнить со шмелями и муравьями
Все что делает в данном случае сетка, это усредняет модель поведения из обученных данных. Хотите убрать эти модели поведения, уберите их из обучающей выборки.
LLM просто усредняет объединенные сигналы лобной доли как модулятора сигнала для поведения и стратегий, лимбической системы и полушарий. Если мы возьмём данные психопата и обучим модель на них, то будет llm модель со стратегиями поведения психопата.
Когда мы скармливаем все подряд, то получаем усредненную модель со средним по больнице у стратегий поведения.
У человека эти стратегии могут изменятся, так как лобная зона является модулятором сигнала а не статикой как у LLM. Поэтому в текущем виде, единственным решением является подготовка правильного набора данных, исключающего плохие стратегии (по мнению его создателей). Например, это отсев эмоциональной речи, которая неминуемо будет отражать стратегию инстинкта самосохранения на уровне лимбической системы.
А можно без философских мыслей, а доказывать гипотезы?
Вы выдвигаете гипотезу. Собираете доказательную базу на своих или чужих исследованиях. Она должна быть повторяемая. Иначе, это все на уровне "личное мнение".
Сам аттрактор уже многое дает для нейросети. Странный аттрактор - это фрактальный аттрактор, где как раз механизм внимания и является по сути фракталом.
Построение фазового пространства в данном случае, как раз позволяет понять эффективные механизмы обучения и улучшить сходимость. Об этом как раз была недавно статья, тут выкладывал ее перевод
https://t.me/c/1714947028/13149
Проблема не придумать с хаосом или без. Проблема понять, как правильно. И пока просто придумывают - это так и остается проблемой. Потому что именно понимание - является ключом к эффективности.
Не нужно каждый нейрон связан с каждым. У нас это не так - есть пирамидальные клетки, звездчатые и т.д. И они прекрасно справляются. Там роль играет совсем другое. И все это отлично переноситься, как раз при правильном описании фазового пространства и реализации странного аттрактора. Все верно - это свойства качества сети, которыми трансформеры обладают лишь частично.
Нет здесь развития - тупик тут. Надо менять подход. Я сейчас разбираю как раз аудио речи, разбив ее на паттерны как у людей так и у животных - там явно прослеживаются фракталы на уровне градиентов частот, и явно есть фазовое пространство (с точки зрения биологии человека ограниченное движением языка). И более высокий уровень иерархии - тоже должен быть странным аттрактором, что мы и наблюдаем у текстов. И архитектуры реализующие их. тоже должны соответствовать требованиям странных аттракторов.
https://t.me/c/1714947028/13176
Тут пример того, о чем я говорю в речи. Постепенно пытаюсь построить странный аттрактор русского языка и затем сначала сравнить его с другими языками людей и затем с животными (пробовал сместить у тех же ворон и дельфинов форманты и тон, чтобы он соответствовал человеку - совсем иначе звучит сразу на слух)
https://t.me/greenruff/1927
Поэтому я готов утверждать. что трансформеры сработали, потому что реализуют большинство важных свойств странных аттракторов при обучении.
Суцкевер не является автором трансформеров. он использовал их явно без понимания почему именно эти свойства важны.
Вы можете хоть в миллион раз масштабировать систему - это не даст толку. Потому что на верхнем уровне иерархии не будет паттерна самоподобия (внимания), которая в нашем случае реализуется через лобные доли (как модулятор нейронных путей - переключатель активностей связей на другие внимание и участки в неокортексе).
Если бы нейронками занимались не только программисты, то не зацикливались бы на трансформерах.
Как по мне, OpenAI просто повезло. Так как в реальности ни Илья Суцкевер, ни видимо создатели трасформеров не понимают, что они сделали.
Я пытался найти, на что же они опирались. В статье "Внимание, все что нам нужно", видно что один из разработчиков Google просто решил, что достаточно оставить механизм самовнимания.
При этом даже не понимая, почему оказался прав.
Если рассматривать сетки, то каждый живой нейрон является странным аттрактором. Исходя из этого, абстракции его иерархии, тоже являются странными атракторами.
Трансмформеры - очень близко реализуют ряд свойств странного аттрактора.
самоподобие (это как раз и есть механизм самовнимания), хотя и на локальном уровне
сильная зависимость от начальных условий (при том же обучении)
фазовое пространство, так как модель при непрерывном обучении колеблется вокруг весом к которым сходиться.
влияние временных характеристик, были заменены на окна (что ограничило длину цепочки токенов).
Чего нет.
полноценных временных харатеристик. В этом плане к этому ближе SSM модели, которые показали недавно отличные результаты. Хотя и они лишь частично реализуют это.
хаотичных систем, так как флуктуация является важным элементом. Рандомная температура тут не подходит - так как это выбивает сходимость весов за пределы фазового пространства модели. А так же его отсутствие - является причиной того, что модель может оказаться в яме ломального миминимума.
нет иерархии самоподобия, через другие модели. Например, на более высоком уровне два полушария имеют схожий паттерн самовнимания. При этом лобная доля, играет важную роль в усилении или ослаблении связей (модулятор), чтобы маршрут нейронов нешл по более короткому или длинному пути. В этом плане трасформеры - это статика. Особоенно после заморозки модели, после ее обучения.
Это малая часть. Если разбирать больше, то там еще много всего.
Надеюсь, что квантовые компьютеры не забросят. Так как, именно они являются важной частью создания полноценны нейронных сеток, где в основе лежит не просто статический вес, а странный аттрактор. Где сами можно по как раз делать хаотичные системы с микро флуктуациями на уровне весов, что является важной частью фрактальных аттракторов.
Сейчас есть попытки сделать сетки на базе странных аттракторов, но это первые попытки обучить несколько нейронов для демо. И они явно очень прожорливые, так как симулирует работу странного аттрактора у нейрона, заменяя его на целую архитектуру.
Да нет в ЛЛМ никакого ИИ. Там даже нет пространственного мышления и абстрагирования, потому что просто ему некуда там взяться. Я уже молчу про работу лобных долей, где у людей выбирается по какому пути мышления идти простому или сложному. Да блин, тут даже слуховую кору пока никто не смог нормально повторить, которая проще и умеет автоматически подстригаться под шум.
ЛЛМ это совсем про другое. Это маленький кирпичик, являющийся возможно частью будущего ИИ.
Всё это напоминает мне 50-60ые года и уран, когда его использовали в конструкторах детских, косметике, пише, врачебное облучение, в аксессуарах и тд. И стоял такой же хайп..
И уран и ЛЛМ важные шаги, меняющие отрасль. Но называть это ИИ, как обещать уже завтра сделать термоядерный синтез который обеспечит бесплатной энергией.
Хрен с этим маркетингом. Он всегда был. Одно не пойму, люди реально верят что там ИИ или будет ИИ на этом. Или же просто считают, что это тренд на котором надо заработать и поэтому готовы сказать, что там уже сверх ИИ.
Очень не хватает эксперимента, рассматривающего речь с другой стороны. Обучение чтению. Визуально, животные достаточно хорошо разделяют то что видят. Чтение, позволяет накопить больше информации, развить мышление, освоить грамматику и многое другое.
Я не встречал экспериментов, где были попытки обучить чтению горит и шимпанзе.
Давайте честно, данный подход просто обнажил множество проблем этих научных работ.
Приведу два примера из своей практики.
1) исследования связанные с ЭЭГ. Передо мной лежит файл на 35 тыс исследований с использованием ЭЭГ. Там столько мусорных исследований, когда провели на 8 испытуемых и сделали вывод. Это мало данных, выводы притянуты за уши, отбирают нужные данные отсеивая не то мешают результату.
2) исследования речи на уровне формант и влияния на эмоции. Куча исследований, а по факту мусорные. Потому что, когда начинаешь на практике проверять то оказывается что данные по своему усмотрению исследователи отсеяли, и результат как гадалка (видим что часто встречается).
И я могу приводить множество областей. Давайте честно, многие научные работы делаются ради публикации и часто не не сут смысла или могут нести ерунду.
Со временем начинаешь отличать такие работы, сомневаясь в их результате.
А насчёт chatGPT и других, помню как потратил 2 недели пытаясь использовать в опытах. Лютый бред. Не умение абстрагировать, например, нужно было сделать растворимый слой. Мне пришло в голову в итоге аналог изморози, потому что вспомнил как покрывается ею окно и железные вещи. Это абстрагирование и перенос опыта в другую область. У LLM этого нет.
то что я описывал, относилось к 4о, посмотрим конечно что даст о1.
Но принципиальной разницы я не вижу от такого обучения. Так считаю, что подход обучения должен быть кардинально другим. Я сейчас делаю сетку слуховой коры. и там подход обучения подготавливаю с разбиением на 3и этапа:
- база частотная: частоты тона и формант и других звуков, интенсивность
- базовые временные паттерны: паузы, наклоны, темп и т.д.
- разветвление, когда все это до обучается сразу под спектр задач от выделения спикера, до определение аудио паттернов рефлексов.
то есть сначала обучаем базе и затем расширяем обучение.
Как по мне подобного подхода не хватает chatGPT и другим LLM. Когда обучение идет периодически чередуя базу и правила.
Сейчас же обучение LLM это обучением базе, и там уже на авось что среди этой базы встретились правила.
Мы проводили тесты. где было выявлено, что обучение зависит от порядка данных.
Поэтому оно должно быть
1) обучение базе.. время - это... пространство это -
2) обучение правилам. после завтра - это время, где...
то, как обучается человек.
Иначе, многие важные связи могут оказаться слабыми.
А так же отуncтвие четких зависимостей, где вместо этого будут просто мусорные связи.
Это не решит проблему. Я знаю про подход "chain of thoughts" и постоянно использую его добавляя
https://www.promptingguide.ai/
1) рассуждай шаг за шагом
2) проверь свой ответ на соответствие биологическим значениям (если речь про биологию процесса)
3) в чем я не прав?
4) если не знаешь. напиши не знаю и не придумывай
Первый пункт - как раз про "chain of thoughts".
Второй пункт - про то. чтобы модель придерживалась контекста и проверяла то что пишет.
Третий пункт - чтобы модель меньше фантазировала, и сначала подвергала сомнению. то что я написал
Четвертый - чтобы меньше врала.
Поэтому - "chain of thoughts" ни как не исправит ситуацию, так как я учитываю это в запросах в ручную. Без этих пунктов, ChatGPT просто превращается в рулетку. Так что введение "chain of thoughts" ситуацию не исправит.
Я предлагал подобный подход в чате сбера. Только он был немного шире. Там по аналое с MOE, сами нейронки выступали в качестве орбитора. Это существенно улучило качество ответа в рамках знаний LLM модели (выше головы они не прыгнут), но при этом время одного ответа составляло от 5 до 15 минут.
https://t.me/greenruff/1756
там же в комментариях я прикладывал код, чтобы каждый мог попробовать на разных LLM. Так что ChatGPT есть куда там еще расти.
Но кардинально это не решает проблемы. Так как за пространственное мышление, отвечающее за причинно-следственные связи должна отвечать другая модель, как это сделано у нас в двух полушария. Один из примеров является, такого проявления является Гроккинг, описанный в данном статье
https://habr.com/ru/articles/840136/
Боюсь, что это говорит не о качестве сетки. А об уровне и знаниях данного инженера.
Я стараюсь по максимуму использовать chatGPT при написании кодаи получении какой то информации быстро. Это дикий ужас. Надо тщательно перепроверять. Ошибка на ошибке.
Но ошибки ладно. Проблема гораздо хуже. Отсутствие понимания причино-следственных вещей.
1) быстро теряет контекст, и легко выкидывает важные вещи всего пару сообщений назад
2) абсолютно не понимает многие связи. Например, объясняю ему что человек не считает сколько ему нужно времени на речи и не рассчитывает кол-во вдыхаемого воздуха. Да, соглашается и тут же в одном из пунктов снова перечисляет что в зависимости от длины речи человек решает сколько вдохнуть воздуха. И так по кругу.
Всё эти LLM на сегодня это продвинутый поисковик, с возможностью обобщения и поиска связанных данных.
Но ни к ИИ, ни к замени кого то это не ведёт. Это инструмент облегчающий какие-то вещи. Либо этот инженер искал бы и писал свой код просмотрев кучу форумов либо обобщил через LLM.
Автоматизирует рутину - да, так как проверить проще, чем порой писать монотонный код. Но чтобы проверить, надо уметь самому это написать.
Не понимаю, чем хвалятся эти инженеры, когда говорят что chatGPT написал за них этот код, который бы они писали месяц. Это говорит лишь об их уровне компетенции, а не об уровне chatGPT. Значит это плохой инженер, раз эта работа заняла бы у него столько времени.
Как раз для знакомства с AR нет. Так как нужно сразу понимать всё нюансы AR. А это например отсутствие черного цвета, физику не обманешь. В то время квест это всё таки VR с переходом в MR. Я бы брал и окулюс тоже, но не для AR а для VR/MR
1) нет собственных мозгов у них нет. Они подключаются по HDMI к компу или одноплатникам. Есть usb выход, который выступает в качестве хаба (к плате подключается камера, микрофон, наушники, батарея, дисплей.
2) это именно обучающий конструктор, где если кому то хочется сделать что то не стандартное, то он может это спроектировать.
Для касок у нас другие модели в разработке, т скоро выйдут, но там и цена от 100 до 500 тыс руб.
https://t.me/greenruff/1521?single
https://t.me/greenruff/1422?single
И тут с заменой оптики на другую
https://t.me/greenruff/773?single
Поэтому конструктор это компромисс.
Примеры и исходники корпуса доступны в открытом доступе. Специальный sdk он не требует. Если будет востребован, то будет писаться sdk в виде серверов.
Пока не ясно какой. Но мелкая партия. Я пробую просто разные подходы, чтобы посмотреть на результат.
В данном случае трафарет не такой как в полиграфии. Я хотел заказать трафарет в Китае и потом накладывать как в полиграфии, но в итоге решил что и так затянул с запуском. Поэтому трафарет тут проще: лазером на бумаге вырезали трафарет, прикрепили его к коробкам и напялили сверху краску.
Для крупной партии это конечно не вариант, но для мелкой отлично подходит.
Через step можно сконвертировать в AutoCAD, хотя да, часть может потеряться. Но сейчас в вузах переходят на обучение Компас из за ограничений доступа к AutoCAD или импортозамещение (точно не помню). Это же прежде всего проект для российского образования под их требования. Поэтому изменение корпуса, это как часть программы обучения Компас. Поэтому и сам корпус делался максимально простой, чтобы и школьник и студент мог освоить.
Этому "хобби" больше 10 лет.. Жирное хобби
https://vc.ru/tech/457854-kak-v-rossii-potratit-10-let-na-svoi-ar-ochki-i-tak-nichego-ne-vypustit
Но, да мне тоже спокойнее мысленно считать это хобби, чем думать сколько я потратил на всё это. Вот, пробую вывести как продукт для образования, чтобы через пару лет мы не оказались отстающими на 30 лет.
Я бы сказал так, конструктор типа лего для очков. Но в собранном виде, чтобы можно было сразу включить и пробовать. Либо разобрать и пилить своё, изменяя корпус (мы сделали его исходники открытыми) и какие-то модули (например кто-то хочет заменить микрофон, камеру на стерео или 3д и тд). Через неделю можно будет уже купить.
Конструктор называется AR-кит.
Аналогов конструктора ar очков я не припомню. Если речь про оптическую схему, то nReal, ODG и им подобные. С оптической схемой птичья ванна.