Comments 36
Такие системы, как GPT-3, BERT, и недавно представленный ChatGPT
Современные LLM, такие как GPT-3 или BERT, способны:
ну вот, спалили LLM generated content
Не вижу признаков машинной генерации. Просто текст частично устарел на 19–23 месяца.
Кстати, ChatGPT открылся не на GPT-3, а с зафайнтюненной моделью из серии GPT-3.5 под капотом.
Попросил гпт убрать явную воду. Из 30т символов осталось 3т. Явно кожаный писал, слишком много воды налил.
Нет, не "кожаный" (или это сарказм?) Это работа chatgpt с обработкой человеком - слишком много воды. "Кожанные" ленивые животные, столько воды писать не будут. Плюс подзаголовки и "идеи и ограничения", " захватывающие перспективы" - там много нюансов. Люди конечно тоже так могут, но. + Заметил, что текст написанный LLM читать не интересно, хотя тема изначально интересная
В этой стране людей специально учат в школе лить воду. Сажают за парту и говорят вот тебе 4 строчки ниочем, перепиши их в 2 страницы, время пошло, и так 10 лет подряд, а для особо одаренных все 20.
Это беда повсеместная. Научная статья, курсовая, диплом, диссертация - должен быть "объем". Раздел "Обсуждение" в статьях конечно иногда интересно читать, но чаще всего это просто "вода". Надеюсь эпоха Chatgpt заставит как то пересматривать концепцию образования и науки. В статьях и диссертациях будут приводить только сухие научные достижения, четкое, короткое и сжатое обсуждение и выводы. Обзорные статьи с таким развитием LLM тоже как жанр может исчезнуть. В школе - Домашние работы например уже сейчас просто потеряли смысл, в том виде, как они есть.
Это не вода - это смазка ;)
У вас 2 года для технологии это не недавно? Об этом, кстати, в статье написано. Для моего квалиа ллм появились недавно. Биткоин появился относительно недавно, или сравнительно недавно. Мобильные телефоны относительно давно.
https://techxplore.com/news/2024-10-apple-artificial-intelligence-illusion.html
Способность компилировать согласованные ответы из тонн написанных человеком текстов - не признак интеллекта.
Там статья про вычисления и добавленную в задачу нерелеванутную информацию. Человек бы точно также может и вычел где не надо было.
Мало того, что оно всё ещё ошибается иногда в вычислениях, так и ещё решили добавить подвох.
ChatGPT 4 способна решать междунарожные математичесие олимпиады, а они тут с арифметикой балуются.
В статье достаточно мало конкретной информации. Возможно, причина того, что ИИ дает «не релевантный» ответ, если в вопросе присутствует «не значимая информация», не в том, что ИИ не способен к простым логическим выводам, а в том, что эта информация «сбивает контекст» рассуждений. В приведенном в статье примером с яблоками и ребенком, вопрос задается не вакууме, а в конкретной ситуации, которая четко определяет контекст. В статье не указано, задавался ли контекст и был ли он сопоставим по обьему с контекстом, который есть у ребенка в примере.
Что касается «признаков интеллекта», то это сам по себе дискуссионный и субьективный (природно) вопрос.
Признак, ты делаешь так же.
Заголовок из серии "голоса в моей голове"
Отличная статья! Всё, что нужно LLM, чтобы стать "настоящим интеллектом" - 1СС. Вторая сигнальная у неё уже есть. Казалось бы, можно раскидать различные датчики по всей планете и за её пределами, лить с них данные в "железяку", и, вуаля - профит!! Но есть нюанс... а как эмбеддить всё это богатство во вторую сигнальную? Ну, если датчики не перегружать информацией, и делать это в лабораториях под присмотром учёных, то, в общем-то, можно дать LLM "пробовать настоящий чай улун", чтобы у неё было своё собственное, ни на что не похожее "квале". Но можно ли будет доверять её выводам после этого? Общность опыта человеков определяется общностью их "детекторов" (органов чувств), а тут даже одна LLM другую не поймёт, если к ним разные наборы детекторов прикрутить. Зато, наверное, такие машины со своим собственным квалиа можно будет применять для каких-либо научных открытий с последующей адаптацией результатов к обще-человеческо-машинным через вторую сигнальную.
Чертовски интересное будущее!! Даже инопланетян не нужно!
Вы очень точно подметили проблему, о которой я умолчал в статье. 2СС должна базироваться (формироваться в процессе взаимодействия с миром) на 1СС. Это проблема намекает на то, что LLM это тупиковый вариант на пути к AGI. А вторым аспектом может являться невозможность (колоссальная математическая сложность) «прочитать» мысли человека или манипулировать воспоминаниями, т.е. взаимодействовать напрямую с информацией в мозге, а не через 1СС и 2СС.
Я всегда опасался, что в попытках доказать что LLM не обладают интеллектом — докажут, что люди не обладают интеллектом.
Мне очень понравилась ваша статья, хотя здесь очень много аспектов, но в целом я с вами согласен. Мне кажется разум является вообще свойством материи, таким же как температура или плотность, просто действительно различные формы разума могут различаться по своим параметрам и возможностям коммуникации.
К примеру как рисуют некоторые фантасты - разум может иметь природу сингулярности в черной дыре, которая так же может флуктуировать и облекаться в формы фрактальных голограмм, отражающих те или иные аспекты реальности, которые вы называете квалиа...
В этом смысле обращаясь к компьютерной технике - мы имеем дело с микроскопическими формами разума - атомарными структурами, которые выполняют коллективную работу, при этом не учитываются их квантовые свойства неопределенности состояний атомов, которые как раз таки могут в большей степени подходить на роль разумных систем, способных оперировать фотонным полем.
У человека мне кажется происходит нечто подобное, то есть мы видим числа как они есть - как фотонные голографические сгустки энергии, или флуктуации, которые обладают физической реальностью сингулярной формы материи, информация о которой пока слабо развита в нашей науке.
Таким образом мы можем обнаружить, что для создания действительно человекоподобных форм разума нам требуется перейти к более совершенным формам квантовых компьютеров, которые будут позволять использовать свойства неопределенности для создания физического эквивалента квалиа, который как раз и позволит приблизить разум машин к разуму человека, хотя это будет достаточно сложно и возможно на это потребуются тысячелетия, потому как для того чтобы проникнуть в эти тайны нам нужно повысить уровень своей этики связанной с уровнем нашего интеллекта.
К сожалению из-за низкой этики у нас не будет возможности в скором времени построить уникальные разумные квантовые компьютеры, потому как мы не достаточно понимаем полевые формы материи, понимание которых связано с другим аспектом восприятия, которые ближе к пониманию "фэа" эльфов.
Если вам интересно, вы можете прочитать послания космических цивилизаций, которые касаются этих аспектов:
https://proza.ru/avtor/egorfedorovpetr
Уважаемый Автор! Пожалуйста, в одной - пяти фразах, напишите, что нового Вы хотели донести до читателей? Помогите осилить Ваш труд. Кроме общих фраз в ЗАКЛЮЧЕНИЕ я ничего не увидел.
Профессор летит на научную конференцию. Его сосед по креслу, узнав, что рядом сидит ученый, интересуется:
- И чем же вы занимаетесь?
- Я изучаю теорию относительности, - отвечает профессор.
- О, как интересно! А можете объяснить ее просто, чтобы и я понял?
Профессор задумывается на минуту, потом говорит:
- Хорошо, попробую. Вот смотрите: если у вас на голове три волосины - это мало, верно?
Сосед кивает.
- А если вы найдете три волосины в своей тарелке супа - это уже много, так?
Сосед снова соглашается.
- Вот это и есть теория относительности в простом изложении.
Сосед удивленно смотрит на профессора и восклицает:
- И вот с такой фигней вы летите на конференцию!?
Вполне приемлемое название для доклада на конференции: "Субъективное восприятие и оценка количественной меры объектов в зависимости от ситуации и контента, на примере человеческих волос"...
Браво! Впервые услышал этот анекдот на даче, когда мне было лет 7, и что интересно, от философа, профессора МГУ. А сейчас, когда освоил и сверточные сети и llm и RAG, общие фразы и анекдотная аргументация совсем не интересна, уже хочется конкретики
Казалось бы забавно, но у специальной теории относительности есть и вопрос, на который она отвечает.
Почему скорость света вдоль движения Земли в космосе и поперек одинаковые? Разве не должна скорость Земли и света складываться, как мы знаем из школы?
Ответ, конечно, поймёт не каждый, но вопрос-то поймёт.
Какой вопрос рассмотрели вы в статье? Смогли решить или налили воды? По вашему мнению.
В статье я пытаюсь разрешить фундаментальное противоречие: как LLM, оперируя лишь статистическими закономерностями в текстах и не имея реального опыта или сознания, могут демонстрировать поразительные способности, напоминающие человеческое мышление. Это парадокс заставляет нас переосмыслить саму природу интеллекта и понимания, ставя под вопрос наши представления о том, что значит "мыслить" и "понимать".
Когда вводилось понятие второй сигнальной системы как раз этот вопрос и был решен: человек явления внешнего мира "прогоняет" через вторую сигнальную систему, которая есть только у человека. Всему должно быть дано название и определение через слово. Поэтому сознание появилось только после появления способности к абстрагированию и словесному описанию (помните знаменитое: "в начале было слово'?). Если уж так подходить, то Chatgpt и другие - это модель 2СС. Отсюда и демонстрация поразительных пособностей. Ну и по поводу частых комментарием, что LLM это Т9 на максималка, это просто генератор "тупых" текстов, статистика и предсказание следующего слова и прочее - господа вы ошибаетесь, как бы вы всю эту кухню изнутри и знали бы, несмотря на всю кажущуюся простоту лежащую в основе этих моделей - это уже значительно большее чем просто статистика (количество переходит в качество), не надо самообманываться. Наш биологический мозг, если на него посмотреть тоже просто кусок жира, где там быть сознанию?
Рассмотрение эмбеддинга как своеобразного перевода коллективного нейронного графа человечества в многомерное пространство помогает нам лучше понять природу "знаний" LLM. Это объясняет как их впечатляющие способности, так и их ограничения, и ставит интересные вопросы о природе знания, понимания и возможностях искусственного интеллекта.
Да, это интересный взгляд на отличие LLM от человеческого мышления.
Но если коллективные знания сформировались "снизу вверх", т.е. индивидуального опыта к индивидуальному обращению, а потом обмену обобщениями через речь, символы, математику, то интересно представить и возможный процесс "сверху вниз" у LLM - обмен их друг с другом, человеком и средой (датчики) сообщениями и формирование внутри такой LLM индивидуального "взгляда" и даже "переживания" мира.
Чем переживать-то? Переживалку прикрутят, тогда и переживать будет, а пока вы можете просто это представлять.
И индивидуальный взгляд из той же серии. Индивидуальный взгляд - это по факту и есть квалиа, а статья о том, что для программы в компутере квалиа не прописаны. Хотя на мой взгляд, если квалиа индивидуальны, то и прописать их можно случайным числом. Чем не индивидуальность?))
А вот обмен и так есть. У всего есть обмен со средой. То, что не обменивается с вами - для вас не существует.
Много интересного, но различие инженеров и ученых автор описал принципиально неверно. Отличие в стремлении ученых все объяснить "всегда хочу дойти до самой сути, в делах и в пройденном пути, в любовной смути" Б.Пастернак . Тогда как инженеру достаточно быть уверенным, что вода закипит, если ее нагревать достаточно энергично. Сможет ли ИИ стремиться к сути. Вот главный вопрос!
в стандартных моделях LLM на трансформерах ни о каком реальном понимании смысла текста и речи быть не может. Это только повторялки всего запомненного . Для полноценного понимания нужен движок логического вывода и четкие, понятные правила игры. Пусть это будет вероятностная, нечеткая логика, это не страшно. Можно рассмотреть все варианты и выбрать нужный, но обязательно с объяснениями что, почему и как. На самом деле логический движок можно реализовать в виде сети или графа вывода, но это будет модификация стандартной нейронной сети.
Павлов гений своего времени, но его подразделение мышления на два вида несколько подустарело. Сейчас типов (здесь подробнее) мышления выделяется намного больше, и с каждым его уровнем могут быть связаны свои отделы мозга, типы памяти, динамика протекания, степень осознаваемости, и тд. В тексте путаница с терминологией. Мышление не происходит с помощью квалиа, это качественная характеристика ощущений (в психофизиологии модальности ощущений). То что выдается за него больше похоже на образное мышление - мышление образами, в частности, визуальными, мышление которое преобладает в детстве. С возрастом, со становлением абстрактно-логического уровня мышления и управления поведением, образное отходит на второй план, проявляясь в основном в виде интуиции и воображения. Последние очень важны в творческом мышлении, об этом много писал, например, Эйнштейн.
Что касается ЯМ, то из всего спектра форм мышления человека они пока моделируют в основном ассоциативный уровень мышления и ассоциативную память. Это объясняет их ограниченность и многочисленные недостатки. Возможно со временем, с совершенствованием их архитектуры, они приблизятся к творческим возможностям человека.
1. Сигнальные системы в контексте статьи рассматриваются не как типы мышления, а как способы взаимодействия с внешним миром. Разделение на сенсорный и символьный способы представляется достаточным для целей данного анализа.
2. Действительно, существует множество классификаций типов мышления. Однако цель статьи - не всесторонний анализ этих типов, а построение целостной концепции, которая могла бы помочь в моделировании мышления в контексте ИИ. Т.е. хотелось бы сначала прийти к консенсусу по ключевым, принципиальным вопросам.
3. В статье дано чёткое определение квалиа, и оно не отождествляется с мышлением. Квалиа рассматриваются как важный компонент субъективного опыта, влияющий на процессы мышления.
4. Утверждение о трансформации типов мышления с возрастом интересно, но, как вы отметили, без чёткого определения базовых понятий такие заявления остаются спекулятивными.
Начал свой путь в ml, задавшись вопросом, как смоделировать человеческий разум. В тот момент я еще ничего не знал о искусственных нейросетях, но уже тогда решил, что самодельный разум - это не просто набор для генерации слов, а смоделированный принцип взаимодействия с окружающей средой. А по сути простейший цикл:
Получение сенсорной информации от окружающего мира
Обработка информации с целью предсказания последующих изменений мира
Сопоставление предсказанных изменений со своими инстинктами, желаниями, потребностями
Планирование и выбор действия, которое отдалит от нежелательного или приблизит к желаемому
Само действие и следующий шаг цикла
Выглядит как RL, но по сути любое живое существо укладывается в этот цикл - от бактерии и дождевого червя до человека.
Если еще проще: сенсор-обработка-прогноз-действие
Разница только в возможностях организма на каждом шаге цикла. Какое поличество сенсорной информации мы можем получить и как ее обработать. Как глубоко и далеко можем прогнозировать изменение мира и наше положениеи в нем. Какие раздражители, инстинкты, потребности и желания имеем. Насколько способны влиять на окружайший мир или хотя бы свое положение и свое состояние в нем своими действиями.
Убери любой из пунктов и человеческий уровень квалиа для условного ИИ будет недостижим, потому что только в полном цикле мы получаем тот опыт и уровень понимания реальности, который имеем.
И вот уже и крутая генерация изображений есть, и чатгпт, но достаточно один раз обучить своими руками простенькую языковую модель на базе подборки каких-то киноотзывов в обьеме 200.000 предложений, добавить немного рандома в генерации, как ты уже получаешь подборку философских высказываний о смысле жизни. Отлично, в чатгпт в 10000 раз больше параметров, чем у меня, но сделано в нем ровно то же самое. Где здесь интеллект?
В общем то в приведенном цикле и язык не обязателен, но для нас он уже сам стал частью мира и самостоятельным сенсорным сигналом на уровне абстракции. Но без остальных этапов базового цикла эту абстракцию никак не соотнести с миром. Нет у llm ни потребностей, ни сенсоров, ни возможности влиять на чтото своими действиями.
Был такой фильм "200летний человек". Вот там наиболее реалистично показан процесс зарождения искусственного разума, на мой взгляд. Робот, способный полноценно взаимодействовать с окружающим миром, получивший свободу действий (ну т.е. его просто выбросили), который в итоге себя начинает осознавать. В прошивке изначально заложена необходимость подзаряжаться и помогать людям.
Другой вопрос - наш человеческий вариант компоновки цикла, уверен, не единственный. Даже в живой природе у животных существуют сенсоры, нам недоступные - эхолокация, сенсоры электромагнитного поля и тд. Может добавить в человеческую компоновку пару новых сенсоров, взять производительность ненышних llm - и вот уже можно получить сверхразум с совершенно иной более широкой картиной мира.
А даже и так. С чего мы начинаем изучение мира? С удовлетворения базовых потребностей через систему боль/удовольствие. Другой мотивации изначально в нас нет.
Надо ли нам моделировать боль и удовольствие в искуственном разуме? И сможет ли он стать Разумом в полном смысле без этого?
Если рассматривать разум идеально (бестелесно), то боль и удовольствие не совсем (совсем не) подходящие стимулы. Большинство моделей, которые мы создаем (LLM и прочие) являются идеальными, а стимулом является "угадывание" следующего токена или другой фактор, но это всё внешние стимулы. И эти стимулы определены задачей, что противоречит идее универсальности разума. С другой стороны в природе нам не известны реализации идеального разума, а человек или другое животное имеет тело, а тело имеет потребности. Тогда общими стимулами будут выжить и размножиться, а конкретизаци этих стимулов уйдет в второну вопросов биологии и физики. Такой разум тоже не является универсальным, так как определен средой (бытием). Причем не просто определен характер этого разума, а именно возможность существование разума определяется наличием среды (материального мира). Я оптимистично полагаю, что идеальный разум возможен и для этого идеального разума я предполагаю идеальные стимулы, а именно позитивным стимулом является увеличение степени свободы выбора в дальнейшем, а негативным её сокращение.
А что такое идеальный разум? Мы же говорим о таком, который способен видеть и понимать мир, как мы. А после того, как этого достигнет - лучше, чем мы.
Невозможно создать то, не знаю что. А знаем мы только собственный разум, который и пытаемся воссоздать. Но тогда как мы это сделаем, игнорируя собственную природу и среду обитания... И эта статья про то же самое.
Я верю в эволюционную природу разума, а значит сперва искуственному разуму предстоит понять сугубо человеческие понятия, чтобы стать действительно разумным. Как обьяснить ему, что такое боль, человечность, сострадание, если он в приниципе не понимает, что значит боль?
Инстинкт самосохранения - это избегание боли. Больно - значит опасно для жизни. Инстинкт размножения - реализован через удовольствие. Все остальное - это производные. И вся наша мотивация - это сложный комплекс, разобрав который мы все равно придем к чисто биологическим основам.
Кроме того, универсальный разум, не понимающий что такое со-страдание - это просто логическая машина, которая в каком то из сценариев легко решит, что половина всех людей, например, не нужна для планеты и легко ей пожертвует.
От Павлова до ChatGPT: как LLM перевернули наше понимание мышления