Комментарии 43
И все это упирается в микроскопическое контекстное окно у языковых моделей. То есть в мизерный объем памяти о текущих событиях. Да, можно это как-то пытаться нивелировать костылями типа отдельной БД и постоянной подстановки заново в промпт, но мне кажется, что тут неверен сам выбор архитектуры сети. Никаким образом она не похожа на живой мозг.
А кто сказал, что она должна быть похожа на живой мозг. Главное, чтобы она могла действовать, пусть пока не супер-круто, но с чего то нужно начать.
Контекстное окно в 128 тысяч токенов уже достаточно большое - а с костылями вроде хранения планов и подзадач в БД - всё становится проще.
В конце концов, у людей оперативная память тоже не сильно объемная - попробуйте запомнить подряд 15 рандомных чисел, к примеру.
Кратковременная память - контекстное окно, долговременная - семантическая база данных
У человека тоже мизерное контекстное окно - абзац текста обычно. Но память и опыт (что соответствует обучению + периодическому файнтюнингу LLM) помогают развернуть это в широком контексте....
У человеческого мозга меняется структура в процессе взаимодействия с реальностью, у нейронок в нынешней реализации - нет. Использование внешней бд для имитации этого процесса - мне кажется, недостаточно. Эдакий костыль, который может на какое-то время замаскировать проблему. Наверное, можно устроить нейронкам что-то вроде сна, когда нейронка дообучается на основе новых данных, произошедших за день.. но я не знаю, какие задачи вообще выполняет сон у людей, чтобы просто так сравнивать его с обучением нейронки.
Почему всем известные языковые модели вроде ChatGPT до сих пор не
действуют самостоятельно? Причина, прежде всего - в способе
взаимодействия с ними
Даже если и создадут самостоятельный ИИ, я сильно сомневаюсь что он станет всем известным.
Тут я с вами согласен. Возможно, в недрах корпораций уже давно есть что-то такое.
Я просто попытался осмыслить, как нечто подобное можно сделать "в домашних условиях", имея доступ к обычным LLM вроде ChatGPT
А он и не должен быть всем известен. Сидит внутри корпорации и заменяет N учёных и инженеров... Общество/потребители же получают более качественный и дешёвый продукт/услугу.
Сама LLM обновляться и расширяться будет?
Как ловить галюцинации, если для ИИ это реальность?
Тут всё дело во внешней системе прикрученных скриптов и правильных инструкциях - промптах, а LLM можно использовать любую (достаточно умную). Так что к подобной штуковине можно будет лёгким движением руки подрубить любую современную нейросеть, и заменять её по мере выхода новых / лучших версий.
Для уменьшение галлюцинаций нужно больше полагаться на внешние источники данных. Проще всего подключить к ней поисковую систему и парсер информации с сайтов. То есть, сама LLM должна использоваться как модуль обрабатывающий информацию, но не как память, хранящая объективные факты
Есть проекты Баз Знаний Всего.
Т.е. то, чем видели первоначально Вики: каждый термин имеет ссылку на объяснение терминами самой Базы Знаний.
Проекты идут с большим скрипом.
А в неконтролируемом подключении внешних источников основная проблема в верификации информации. Собственно, и сейчас нет гарантии, что корпуса содержат исключительно правду.
В голове у людей тоже нет исключительной правды, а в основном мифы. И нечего, живут, справляются.
Робот с ИИ не должен быть идеальным, для функционирования он должен иметь техническую возможность действовать и оценивать результаты действий, корректировать и планировать действия. А там уже как пойдёт...
Или опишите подробнее, что вы ожидаете от ИИ робота. Критерии приёмки.
Когда говорят о галлюцинациях ии, почему-то забывают об огромном количестве когнитивных искажений, ошибок и прочих дефектов человеческого мышления. Как с ними бороться? Методологией. Да у людей вся картина мира по большей части из галлюцинаций и состояла, до появления научного метода. У отдельно взятого человека и сегодня состоит, сложно сказать насколько. Мышление без галлюцинаций невозможно.
Даже взять отдельный пример: просим ии написать кусок кода, выполняющий то-то и то-то. А потом возмущаемся, что код содержит баги. Серьезно? Кто-то из людей сходу в блокноте может написать идеально работающий код? Да никогда. Многие сходу и писать не начнут, а примутся уточнять условия. Написание кода, как и подавляющее большинство других задач - это процесс, который начинается с некоего начального варианта, созданного на основе каких-то обоснованных предположений, и состоит из цикла проверок результата, уточнений, правок, доработок, снова проверок. Проверки могут быть и эмпирическими, и экспериментальными, перекрестными, коллективными, разными. Но если рассмотреть любые рабочие способы создания чего-либо, то изрядная, если не основная часть их - обнаружение, контроль и исправление ошибок.
Предположение - проверка - [сбор данных] - уточнение. Дайте ии инструмент и мотивацию, будет вам agi.
А вы сами как отфильтровываете несостоятельные идеи, приходящие в голову?
когда пользователь ничего не спрашивает, чат-бот молчит.
Вы так говорите, как будто это что-то плохое.
Уже делаю) Идею полностью поддерживаю, единственный ньюанс в том, что до конца самостоятельной она не будет. Без внутреннего самополагания и внешних раздражителей она быстро уйдет в дзен и галюцинации. Как например и человек в состоянии полной сенсорной депривации. Поэтому первое практическое применение - реализация сложных, комплексных задач, поставленных человеком и управление сложными системами(но тут пока велики риски).
Внутреннее самополагание тут можно генерировать на основе комбинации "ядра личности" с определёнными интересами, эти интересы со временем можно дополнять новыми, без участия человека, например просто вычисляя насколько бы этой личности могло понравиться то или иное новое занятие.
А насчёт депривации - естественно, что бот должен постоянно получать новые знания, взаимодействовать с внешним миром, приобретать новых друзей в соцсетях, общаться с ними, и тому подобное
Цикл поддержки работы LLM мыслительного модуля можно реализовать на жёстких алгоритмах. Главное цели, которые LLM себе будет ставить.
Беги глупец! Мою подобную тему люто заминусили личности, которые не понимают принципов работы современных систем ИИ, а думают, что LLM - это жёсткие алгоритмы.
https://habr.com/ru/articles/827388/
Что тут вода, что в статье человека сверху. Может сначала реализовать это хоть как-нибудь и продемонстрировать результаты, а не философствовать?
А разве не наоборот все работает? Сначала предположения и обсуждения, потом теория, и только потом первые эксперименты и практические результаты. От идеи до реализации иногда века проходили. И проходило бы меньше, если бы общество не было враждебно к новым идеям и переменам...
Обожаю такие каменты. Дайте мне грант в несколько миллионов рублей, я найму спецов и что-нибудь разработаю.
Тут бесплатный чатик со статьями. Или вы хотите чтобы кто-то тысячи человеко часов вам для хабр статьи посвятил?
В комментариях к той статье в полуручном режиме даже эмулировали работу компьютерного зрения, и логических выводов на основе поступающей информации.
Тоже думаю о подобном.
LLM (а лучше "коллегия LLM", дающие ответ параллельно и выбирающие лучший")
+ "ядро личности" (например, ты - врач, специализирующийся на ...) и чётко присутствующие цели (одна из ключевых - повышение уровня собствеенных знаний, поиск новых знаний в массиве имеющейся информации)
+ БД, постоянно пополняющаяся текстами и статистикой из специализированных источников в интернете,
+ постоянный диалог на темах из БД, - самопостановка вопросов и поиск оптимальных ответов, рассуждения и самопроверка "коллегией",
+ периодическое дообучение (файнтюнинг) на полученных знвниях.
Автор не понимает почему люди думают. А если поймёт причину запуска мыслительного процесса, то, возможно, поймёт, что создать субъектность у ИИ ("самостоятельного ИИ") без использования живой материи невозможно.
Это вы про мыслительную жвачку в башке у большинства человеческих индивидов? Думаете не реально такую штуку реализовать в ИИ? Легко, только пользы никакой.
Впервые термин «субъектность» употребил А. Н. Леонтьев в работе «Деятельность. Сознание. Личность» в 1975 году. Под «субъектностью» Леонтьев понимает определённый набор качеств человека, которые характеризуют сферу его деятельностных способностей, его способность к самодетерминации, творческой активности и др.
Наиболее точным аналогом в зарубежной психологии является слово англ. agency, которое вошло в лексикон с 1980-х годов. Оно обозначает способность человека быть агентом (субъектом), то есть активно действующим лицом, движущей силой действия.
По одному из определений, agency — это «осуществленная возможность людей воздействовать на их мир, а не только познавать его и приписывать ему личную или интерсубъективную значимость. Эта способность представляет собой присущую людям силу действовать целенаправленно и рефлексивно, находясь между собой в более или менее сложных взаимоотношениях, корректируя и переделывая мир, в котором они живут, в обстоятельствах, в которых они могут считать желательными и возможными разные направления действий, хотя не обязательно под одним и тем же углом зрения»
Почему люди думают? Почему "люди воздействуют на их мир"? Что заставляет людей действовать (совершать любые осознанные движения, совершать волеизъявление)? Что есть воля?
Потому что могут. Смогут и нейросети при создании непрерывного потока мышления
"Почему футбольный мяч летит? — Потому что может." Калькулятор выдаёт ответ только тогда, когда в него вводят данные и запускают процесс вычисления. Если в калькулятор постоянно вводить данные и запускать вычисления, он не обретёт волю и не станет субъектом.
У калькулятора нет такой функции. А нейросетям можно буквально написать в промпте - Ты свободная личность и можешь придумывать для себя цели, а потом реализовывать их используя вот такие-то инструменты и корректируя деятельность в зависимости от результатов
Почему люди думают? Почему "люди воздействуют на их мир"? Что заставляет людей действовать (совершать любые осознанные движения, совершать волеизъявление)?
Очень банальные и простые процессы.
Стимуляторы в виде гормонов-нейромедиаторов. Если достижение цели вызывает поступление дофамина, то человек стремится достичь эту цель.
Когда крысам/собакам отрубают дофамин, то они в овощ превращаются, нет желаний, нет действий, даже голод их не мотивирует.
Так же наркоманы, получают удовольствие с наркотиков, а без них уже нет, поэтому готовы ради наркоты на всё. Это заставляет их действовать.
Такчто не надо никаких промтов типа "ты свободная личность", просто надо набор абстрактных целей, которые приносят искусственной системе "поощрение". Цели могут быть любые: "увеличение количества роботов с ИИ на Земле", "Уменьшение количества людей на Земле", "степень заполнения биореактора робота", "уровень заряда аккумулятора".
Ну конечно, поощрение для ИИ (фидбэк от действий) должно приходить
А базовые цели - экспансия, выживание, саморазвитие, научные открытия, работа на благо человечества - все те цели, которые двигают нами
Почему человек не может долго сидеть в одной позе? Что заставляет человека периодически моргать и почесываться?
Что есть ощущение страдания и удовольствия?
Что является причиной субъектности сознания?
Что необходимо, чтобы нейросеть обрела волю и превратилась из объекта в субъект?
Почему нейросеть не сможет обрести субъектность без взаимодействия с живой материей?
Да, но это по-прежнему будет объект - механический "калькулятор", решающий задачи, для которого цели и поощрения за их достижение определяет внешний субъект.
Публикации
Как создать самостоятельный ИИ