Как стать автором
Обновить

Галлюцинации нейросетей: что это такое, почему они возникают и что с ними делать

Уровень сложностиПростой
Время на прочтение7 мин
Количество просмотров9.6K
Всего голосов 8: ↑6 и ↓2+6
Комментарии11

Комментарии 11

Отличная попытка, мистер ИСКИН, но нет. Не сегодня.

могут вести себя несправедливо по отношению к людям, дифференцируя их по национальному, половому и расовому признаку

А несправедливость-то в чём? Люди, действительно, разные. Люди с разным бекграундом, действительно, способны на разное.

Казалось бы, куда повесточку пихать

В том, что законопослушному, адекватному негру могут дать более низкий "скор" только из-за цвета кожи, хотя, по всем признакам и бэкграунду он примерный член общества

Нейросеть нарисовала по запросу рыцарей, у которых в итоге не оказалось
глаз, недостаточное количество рук, а у некоторых нет стоп

Эй! Это не баг, а классика Монти Пайтона, понимать надо!

Странные претензии, ведь у естественных нейросетей ровно такие же проблемы, а то и похуже. )

Ситуация: Человеческий разум лажает.

Учёные: Мы сделаем машинный разум, который будет работать с машинной непогрешимостью.

Машинный разум: *будучи имитацией человеческого разума, начинает лажать.*

Учёные: Но почему?!

Учёные: *начинают прыгать вокруг сервера и бить в бубен, в рассчёте, что лажа кончится.*

"Мир вкладывает значительные средства в нейронные сети, но они остаются
далеки от совершенства. Роботы постоянно совершают ошибки. Они выдают
неверную информацию, генерируют странные изображения, неправильно
идентифицируют объекты."

Прям как люди, не правда ли?;)

Суперповерхностная статья, не знаю, был ли такой план при ее написании

Один из ведущих специалистов в мире по системам информационной безопасности, профессор Кембриджского университета Росс Андерсон в своей статье https://arxiv.org/abs/2305.17493v2 вообще уже рассматривает сценарий, когда большая часть интернета будет сгенерированной нейросетевой галлюцинацией. Но ни вы, ни я и никакой эксперт и никто вообще не смогут отличить фейк от реальности. В результате нейросети будут деградировать в процессе обучения на собственных галлюцинациях в Интернете, а люди деградировать в процессе применения деградировавших нейросетей. Этот процесс он назвал «коллапс нейросетей».

Для взаимной проверки и самосовершенствования LLM и человека нужна возможность сопоставления знаний искусственного интеллекта с коллективным интеллектом всего человечества. Это то, что может нас вытащить из персональных туннелей реальности и личных информационных пузырей, в которых мы все глубже застреваем поодиночке. Для этого нужна глобальная многопользовательская база знаний для определения достоверности информации без участия админов, экспертов, искусственного интеллекта или сертификатов государств и корпораций, без кликбейтных лайков или токенов для голосования, которыми можно подкупить любого пользователя. Фактически, нужен новый децентрализованный алгоритм PageRank на блокчейне, но не для отдельных сайтов и публикаций, а для каждого составляющего их факта и аргумента. Это позволит решить наконец проблему достоверности информации в Интернете, особенно сейчас на фоне бурного развития многочисленных дипфейк-технологий на основе искусственного интеллекта, которые в ближайшее время заполнят все информационные ресурсы сфальсифицированным контентом и сможет дать принципиально новый уровень доверия и достоверности для любых задач и проектов в Интернете, особенно для принципиально нового бурно развивающегося рынка web3-технологий.

Такая база реальных человеческих знаний позволит ввести в обучение LLM новые, чистые, сгенерированные человеком наборы данных с учетом их достоверности и даст возможность избежать коллапса языковых моделей и уменьшить нежелательные ошибки при создании новых более совершенных поколений генеративных нейросетей.

Буду рад найти желающих принять участие в такой разработке.

Разве можно причислять плохо прорисованные глаза к галлюцинациям? Если дать нейросети нарисовать глаз поближе, получается уже лучше. Чем дальше лицо от "камеры" - тем хуже результат. И вызвано это скорее низким выходным разрешением. Да, отсутствие информации тоже играет роль - если в режиме impaint повторно нарисовать только глаза, просто зашумив исходные (как делает Stable Diffusion), то результат значительно улучшается.

Зарегистрируйтесь на Хабре, чтобы оставить комментарий