Microsoft анонсировала новый инструмент для обнаружения и исправления галлюциногенного контента в результатах ИИ

[lazy_val]

Чтобы что-то ненужное продать, сначала надо что-то ненужное купить (c)

Чтобы обнаружить и исправить галлюциногенный контент, его сначала надо сгенерировать

Все молодцы, все заняты делом, одни создают инструмент для генерации галлюциногенного контента, другие - инструменты для его обнаружения

Вариант отказаться от контента вообще не рассматривается.

[KurtkaBeyn]

Отказаться от контента нейронных сетей? А в чем смысл?

Зачем люди разрабатывали нейронки столько лет, чтобы выбросить их на помойку?

[lazy_val]

Отказаться от контента нейронных сетей

ну да ))

[TrueRomanus]

Т.е. вместо траты усилий на то чтобы галлюцинирующего контента в ответах не было лучше сделаем средство которое будет проверять и исправлять постфактум.

[Baofu91]

при обнаружении информации, которая не соответствует данным в ресурсе

иначе говоря, чтобы эта исправлялка галлюцинаций работала, нужно сначала ткнуть её в надёжный текст из надёжного источника; она сравнит инфу оригинала с выдачей от нейросетки и попросит её исправиться, если обнаружит глюки.

На продающем видео:

• девушка с максимально сложными щами спрашивает у бота "Когда приедет мусоровоз?" (ПРОБЛЕМА)

• ИИ даёт ей неправильный ответ (БОЛЬ У КЛИЕНТА);

• девушка обращается к исправлялке галлюцинаций и загружает в неё документ, в котором сказано, когда приедет мусоровоз (РЕЦЕПТ)

• исправлялка читает документ вместо девушки и тыкает нейросеть носом в ошибку, нейросеть исправляет ошибку (ПРОБЛЕМА РЕШЕНА)

(В принципе, наверное, может быть, теоретически, девушка могла бы сама изучить оригинальный сайт/документ про мусор и прокачать нейронные связи уже в своей голове... Но тогда бы ей стала не так уж нужна подписка на сервис от майкрософт...)

[isden]

для обнаружения и исправления галлюциногенного контента в результатах ИИ

Т.е. контента, вызывающего галлюцинации? Уже и такое есть? О_о

[Tyusha]

Чем это отличается от ещё одного "слоя" в нейронной сети? Нейронная сеть по сути делает то же самое: сверяет и перепроверяет, перепроверяет и сверяет запрос с изученной из интернета информацией.

[lazy_val]

Правильный вопрос ))

Но поскольку как избавить нейронки от галлюцинаций пока еще не придумали, решили на выхлоп из нейросетей натравить еще одну нейросеть:

Azure AI Content Safety is an AI service that detects harmful user-generated and AI-generated content in applications and services