Обновить

Галлюцинация — это единственный режим функционирования нейронной сети, а не аномалия. Просто иногда она совпадает с реальностью, а иногда нет. Но лучше бы, конечно, совпадала.

В книге «Беседы с ГигаЧатом: о нейросетях и вообще» мы сравниваем человеческое мышление с машинным. И если человек не осознает альтернатив — он тоже галлюцинирует. Например, мы уверены в реальности сновидения, пока не проснемся. Или другой известный пример: уверенность очевидцев происшествия в своих показаниях, даже если у всех они разные.

С галюцинациями борется сомнение. Но трудно сказать, что первично: то ли наличие альтернатив порождает сомнение, то ли сомнение заставляет рассматривать альтернативы.

В любом случае, для борьбы с галлюцинациями нейросетей, необходимо закладывать в них функцию сомнения. И это тоже осуществляется двумя способами. Первый — сначала нейросеть генерирует альтернативы, а затем сравнивает их между собой. И для некоторых задач это оптимальное решение, вот только очень затратное.

Второй — нейросеть сразу подвергает свой ответ проверке, словно сомневаясь в нем, и уже по ее результатам генерирует альтернативную версию. Для таких проверок суждений и фактов существуют различные методы, к выбору которых можно и нужно подходить гибко, для экономии ресурсов.

Но все эти методы лишь увеличивают качество ответов. Галюцинация, как явление, непобедима в рамках одной нейросети. Даже проверяя саму себя — она галюцинирует. Нейросеть может лишь симулировать сомнение, для котооого необходим "взгляд извне": контроль со стороны или человека, или другой нейросети. Мне кажется.

Как же тогда работает сомнение у людей? Что в нас является таким "внешним наблюдателем"? Видимо, само осознание. А почему оно "внешнее"? Хороший вопрос.

Теги:
Всего голосов 3: ↑1 и ↓2+1
Комментарии1

Oracle показала, что у технологической ИИ-революции могут закончиться деньги

Искусственный интеллект обещал изменить мировую экономику. Но пока компании рассказывают о революции производительности, инвесторы начинают задавать значительно более приземлённый вопрос:

Кто заплатит за сотни миллиардов долларов, уже потраченных на эту революцию? История Oracle показывает, что проблема может возникнуть задолго до того, как закончится спрос на ИИ.

Прошу обратить внимание на событие, которое произошло в сентябре 2026 года. Оно осталось практически незамеченным за пределами финансового и технологического сообщества.

Oracle показала, что у технологической ИИ-революции могут закончиться деньги

Публикации