Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Поток AI и ML доступен 24/7 благодаря поддержке друзей Хабра
Комментарии 13
"""Дальнейшие разделы статьи могут разворачивать эту рамку уже на конкретных примерах""" так с этого и надо начинать, иначе текст воспринимается неподготовленном читателем как очередное генеративное словоблудие. И слово "могут" заменить на "будут".
дорогой ЭНик, начинать надо с того, с чего хочется нам, а не вам или неподготовленным читателям. А вы или неподготовленный читатель в случае заинтересованности можете перейти по одной из ссылок в статье, или по мою профилю найти с десяток тех самых конкретных примеров здесь, на Хабре
Глубокоуважаемый Генератор Идей! Не сочтите за труд привести ссылки на Ваши работы в профильных рецензируемых журналах или конференциях. Пока представленный выше текст статьи выглядит как набор лозунгов, перемешанный в случайном порядке техническими терминами. Позволю себе поинтересоваться, а книга Л.С. Выготского "Мышление и речь" Вам известна?
хорошо, для вас это выглядит так. не факт, что это говорит о статье, а не о вас, между прочим.
и потом, вы, простите, кто? мне зачем тратить свое время на ваши вопросы, поставленные в таком тоне? мы отвечаем людям заинтересованным, в крайнем случае - с интересными вопросами. мы заняты делом. у нас есть проект. которым мы занимаемся много лет. мы о нем написали здесь. я зашел в ваш профиль - ничего не увидел. он пустой. поэтому ничего про вас не знаю. могу судить по вам только по вашим вопросам. а они пока такие же, как ваш профиль. извините уж. а мы занимаемся делом, на свои кровные, создали реальные технологии, реальные проекты, реальные исследования, реальные научно-интеллектуальные работы, пишем здесь для тех, кому интересно. а на таких персонажей, каким вы по крайней мере через свои вопросы здесь явились - ни время, ни усилий тратить не хочется. И здесь, и в реале таких и так достаточно. Нам ценен взрослый диалог, а не детский сад.
п.с. про Выготского не, не слышали. А кто это? Рэпер?
Простите великодушно, что отнимаю Ваше время. Мы вряд ли поймём друг друга. Я привык обсуждать конкретные идеи, факты и/или цифры, а Вы пишите про свой процесс познания мира. Мне интересен результат, а уже потом как он достигнут.
А про работу Л.С. Выготского "Мышление и речь" хотя бы у DeepSeek спросите: """
Психолингвистика и семантика. Идея о том, что значение слова есть обобщение, а развитие понятий идёт от синкретов к истинным понятиям, стимулировала исследования категоризации у детей и взрослых, а также работы по концептуальной метафоре и семантическим сетям."""
https://habr.com/ru/articles/1023426/
https://habr.com/ru/articles/1004788/
https://habr.com/ru/articles/1007128/
начните с этого, если вам и правда интересен результат
про Выготского была шутка.
Тема представляется тупиковым путём, по которому уже прошли цивилизации, с письменностью на основе иероглифов и идеограмм (др.-египет, производные от китайских иероглифов). А также философы, вкладывавшие множество смыслов в символы рун (рунология) и иврита (кабалла), ну и современные эмодзи. Тупиково потому, что в 20 символов алфавита можно вложить только общие абстракции, и они будут слишком общими, сакральными и спорными. А дай волю, то накаллиграфируют столько десятков тысяч символов, что за деревьями не видно леса. В итоге, жители стран с иероглифами вполне не против вместо них использовать алфавиты близкие к устному произношению (латиницу, кириллицу) и слогам. На этих же алфавитах и слогах/токенах мыслят и нейросетки.
Новые понятия определяются терминами и символами. На этом оснавана вся история лингвистики, сами слова языка. Зачем изобретать Язык Мышления, если язык - это и есть язык мышления, на нём мы думаем.
Полностью соглашусь с @ENick . Я вообще за изобреталелей, фантазёров, гениев, и сумасшедших, и статью заплюсовал. Без них человечество скатились бы в пожирание бургеров.
Главный пюс статьи: пафос. Главный минус - многословие, местами переходящее в словоблудие. Читаешь в надежде дойтия до предмета статьи (ибн Языка), а его всё нет, да нет, только восторги и простыни некоего “исторического материала”.
Дали бы хоть синопсис в начале: так и так, изобрёл новый революционный Язык Мышления на ТАРе. И в нескольких абзацах что из себя представляет и как работает эта связка.
Остановился на описании уровней в "Давайте сразу договоримся, что ИИ никакой не интеллект и никогда им не стане". Так как далее понятие ИИ во всех трех уровнях "разрывов" сужено, в основном, до текущей реализации на LLM.
Так что, нет, не договоримся. Есть много других возможных путей развития. Например, резервуарные вычисления, которым упоминаемая ТАР близка.
спасибо.
По поводу замечания про «сведение» обсуждения ИИ к текущей реализации LLM: на самом деле мы к LLM пока даже не подходили. В тексте и в наших работах речь не о языковых моделях и не о текстовой области вообще. Мы сознательно занимаемся другим классом задач – тем, что традиционно относят к Computer Vision, то есть обработкой и использованием визуальной информации в самом широком виде.
Все результаты, которых мы сейчас достигли и которые описаны в статьях, относятся именно к этому полю – к визуальным данным, а не к языку и не к LLM. Поэтому утверждение, что мы «сузили» понятие ИИ до LLM, просто не попадает в фокус того, чем мы реально занимаемся: LLM у нас пока отсутствуют не только как реализация, но даже как объект эксперимента. Это первое.
Второе. Если вы вдруг согласны с потенциальной концепцией Языка Мышления как эффективной, следующей тому, что умеет мозг, и считаете, что резервуарные вычисления как-то характеризуют Язык Мышления – хорошо; возможно, у вас получится это реализовать. Мы идем своим путем и нам удается реализовать вполне конкретные вещи с помощью TAPe (как части Языка Мышления).
А если под альтернативой понимается просто замена одного класса вычислительных схем другим (скажем, одних нелинейных динамик на другие) в рамках общей парадигмы машинного обучения, то это остается именно вариацией внутри той же инженерной рамки. Это можно и нужно обсуждать, пробовать на практике, демонстрировать реальные применения, но на уровне принципов это не выводит нас за пределы существующей ML‑концепции.
Если сюда же добавляется еще и переход к квантовым вычислениям, квантовым реализациям и так далее, то на текущем уровне развития идея Языка Мышления с этим связана довольно слабо. В такой постановке не очень понятно, чему именно все это является альтернативой: текущим LLM, современным ML‑подходам в целом или исходной постановке вопроса об отличии инженерных систем от интеллекта как феномена.
Наконец, по поводу близости резервуарных вычислений к TAPe. На том уровне, на котором резервуарные подходы сейчас проработаны теоретически и практически, мы бы не называли их близкими к TAPe. Это разные линии развития, и путать/сравнивать их только потому, что обе оперируют динамическими системами или сложными состояниями, мы бы не стали.
Планируете ли вы в TAPe выходить за рамки компьютерного зрения в область моделирования контекстуальных смыслов?
Ваш анализ брутфорса и энергозатрат современных LLM — это очень точный диагноз. Но мне кажется, в логике TAPe есть скрытый баг, из-за которого вы рискуете наступить на те же грабли комбинаторного взрыва, только с геометрической стороны.
Вы ищете экономию ресурсов в геометрии связей и линиях. А ведь главная биологическая экономия мозга кроется в другом: он феноменально эффективен, потому что вообще не пытается передавать или обрабатывать информацию "объективно" и целиком.
То, что в когнитивных науках называют "феноменологическим разрывом" — это не баг биологии, а главный алгоритм сжатия данных. Мозг передает не описание мира, а сверхкомпактный код — "формулу перехода", которая мгновенно распаковывается на базе уникального личного импринтинга и контекста.
Если ваша система TAPe будет описывать мир только через геометрию объектов, то как только вы захотите, чтобы ваш ИИ понимал смысл этих объектов, вам придется раздувать базу геометрических правил до бесконечности. И вы вернетесь к тому же брутфорсу параметров, с которым боретесь.
Есть идеи как перевести эту "формулу перехода" в понятную схему, которая решает проблему контекста без раздувания параметров ИИ. Было бы интересно обсудить этот узел, если вы готовы заглянуть за рамки чистого зрения
Спасибо за ваш комментарий и за попытку действительно вникнуть в то, что мы пытались сказать в статье, а не просто наложить на нее свои предварительные представления. Попробуем ответить по пунктам, опираясь на нашу исходную логику.
1. Выход за рамки CV и контекстуальные смыслы
Мы говорим не только и не столько о LLM, сколько об ИИ в целом. В этом смысле Computer Vision для нас — лишь первая, наиболее удобная область применения TAPe, где проще всего проверить подход инженерно.
TAPe изначально задумывался не как узкий «визуальный трюк». Он вообще не задумывался – он просто есть, как электричество.
Внутри подхода мы уже различаем адаптированный под ML вариант (который подогнан под существующие принципы CV/ML) и то, что мы для себя называем «чистый» TAPe — набор фундаментальных элементов и связей между ними, не привязанный к пикселям и конкретной модальности. Наша долгосрочная цель — использовать чистый TAPe как связку и «переводчик» между тем, что называется описательной (языковой) частью мышления, и тем, что называется зрительной или сенсорной частью, а не останавливаться на компьютерном зрении.
2. LLM, брутфорс и область «за пределами текста»
Ваш анализ брутфорса и энергозатрат LLM нам близок — мы с ним согласны. При этом мы подчеркиваем, что LLM находятся в относительно «выгодном» положении: даже не понимая, как устроен язык, они могут использовать результат того, как язык уже работает.
Естественный язык и текст как его продолжение позволяют языковым моделям вынимать оттуда смыслы через большие энергозатраты и брутфорс. Но все, что находится за пределами текста, оказывается в этом плане гораздо более энергозатратным, просто потому, что там нет готового языка изображений. Именно с этой областью «за пределами текста» мы и пытаемся работать, и здесь классический брутфорс очень быстро упирается в ограничения.
3. Не геометрия как цель и «скрытый баг»
Ваше замечание про риск комбинаторного взрыва «с геометрической стороны» важно, но здесь есть недоразумение. Мы не ищем экономию ресурсов в геометрии связей и линиях. Мы не пытаемся описывать мир через перечисление всех возможных геометрических правил.
Наша позиция состоит в том, что из TAPe естественным образом вытекают линии и другие элементы, которые характеризуют графическую часть языка/восприятия. Эти линии не являются самостоятельными объектами, а с самого начала образуют взаимосвязанные структуры: линии не отдельны, а связаны друг с другом. Экономия ресурсов, о которой мы говорим, выходит именно из TAPe как структуры элементов и связей и может проявляться в том числе в том, что мы описываем через линии. Но экономия не является результатом ручного перебора и оптимизации геометрии, и предполагаемый «комбинаторный взрыв геометрических правил» — как раз то, от чего мы уходим, а не то, к чему идем.
4. Мозг, эффективность и «формула перехода»
Мы согласны с тем, что мозг феноменально эффективен. Более того, именно эту мысль мы и усиливаем: мозг настолько эффективен, что даже небольшой шанс подсмотреть за ним дает возможность создавать новые технологические решения, как когда одна только идея «нейрона» привела к тому, что сегодня называют искусственным интеллектом.
Гипотеза о том, что мозг работает на основе алгоритмов сжатия и не передает полный объективный мир, а выделяет сверхкомпактный код — «формулу перехода», — выглядит логичной. Вопрос в том, как это сделать практически. Мы не видим пока, чтобы существующие теории (например, теория интегрированной информации и другие подходы в нейробиологии и науках о сознании) давали в практическом смысле путь к инженерным решениям. TAPe, на наш взгляд, такой путь начинает задавать.
На уровне TAPe у нас есть фундаментальные элементы и связи между ними, а также внутреннее состояния для элемента или группы элементов. Через эти состояния и переходы между конфигурациями элементов мы пытаемся строить ту самую «формулу перехода» между различными образами и состояниями без необходимости описывать мир полностью в координатах явной геометрии или в виде полного сенсорного описания.
5. Геометрия как производная, а не основание
Ваш риск-сценарий: если система описывает мир только через геометрию объектов, то для выхода к смыслу база правил раздувается до бесконечности, и все возвращается к брутфорсу параметров. С этим сценарным рассуждением трудно спорить — при чисто геометрическом подходе так и будет.
В нашем случае геометрия объектов — лишь один из возможных поверхностных результатов работы TAPe. Сам TAPe не требует дальнейших геометрических преобразований как обязательной части любой операции. Некая геометрия объектов «получается из тейпа», но не задается отдельно.
В задачах Computer Vision мы действительно вынуждены переходить к геометрическим представлениям — это обратное преобразование, необходимое уже для ИИ и ML, а не требование тейпа как такового. Смысл объектов мы, напротив, пробуем закреплять в структуре тейпа — в конфигурациях элементов и в связях между ними, чтобы не приходилось создавать бесконечный каталог геометрических правил.
6. «Формула перехода» и контекст без раздувания параметров
По сути, вы спрашиваете, есть ли у нас представление о схеме, которая реализует «формулу перехода» и решает проблему контекста без взрыва параметров. Окончательного ответа у нас нет, но есть зачаток конструкции.
В TAPe единицей представления является не объект и не пиксель, а элемент TAPe, который уже включает в себя часть структуры переходов — в том числе состояние «не сработало». Переходы между конфигурациями таких элементов и есть то место, где, как нам кажется, может «жить» контекст, без явного перечисления всех возможных объектов и ситуаций.
Сейчас мы умеем работать с этим на стороне зрения — объекты, сцены, изменения во времени — и частично адаптировали это к ML. Для выхода к полноценному моделированию контекстуальных смыслов и личного опыта как раз и важны такие диалоги: они помогают уточнить, где должна проходить граница той самой минимальной схемы «формулы перехода».
7. Готовность выйти за рамки «чистого зрения» и ограничения раскрытия
Мы действительно готовы и уже стараемся выходить за рамки чисто зрительных задач. При этом есть важное ограничение, связанное не с идеями, а с форматом их раскрытия.
Опыт работы с научной средой привел нас к тому, что классический сценарий «полное раскрытие → публикации → кто-то строит на этом диссертацию и карьеру, не создавая работающих систем» для нас малопривлекателен. Поэтому текущая стратегия такова: использовать принцип TAPe для создания конечных решений и продуктов и аккуратно раскрывать детали подхода там, где это дает взаимный эффект, а не только академический.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Более 50 лет назад выдвинули гипотезу о Языке Мышления. Мы досконально разобрались с ней – и вам советуем. Это лучше ИИ