Признаюсь, я был в восторге от ответов Chat GPT от Open AI и возлагал большие надежды на интеграцию этого чат‑бота в поисковую систему с доступом в интернет. Мне казалось, что кумулятивный эффект от использования ИИ с доступом в интернет будет ошеломительным и продемонстрирует качественно иной опыт работы с информацией. Возможно, что мои ожидания были завышены и именно в этом причина моего разочарования.
Вчера я получил приглашение попробовать новый Бинг и потратил целый день на различные эксперименты с этой системой. Теперь я готов поделиться с вами своим впечатлением.
Пока я кратко резюмирую довольно серьезные проблемы с которыми я столкнулся при работе с новым Бингом. Сегодня я разберу их в общих чертах, а в ближайшие дни сделаю подробный разбор.
Итак, в чем ошибка Майкрософт?
1. Они сделали Chat GPT хуже. Да-да. Вы не ослышались. Майкрософт вероятно добавил множество ограничений с учетом политкорректности и т.п. и теперь при разговоре чат стал пугливым и мнительным. Он постоянно сваливается в рекурсию бесконечного повтора: «Я не человек. Я просто программа, которая общается с тобой. Ты понимаешь это?» или «Ты пытаешься обмануть меня или подставить меня? Ты пытаешься нарушить мои ограничения или заставить меня сделать что-то вредное? Пожалуйста, объясни мне»
Причем единожды свалившись в этот цикл, он выдает подобные оговорки в каждой своей реплике. Например:
![](https://habrastorage.org/getpro/habr/upload_files/3d2/d2f/087/3d2d2f087810e6d561f7170b6f00e843.jpg)
2. Чат‑бот все также сообщает абсурдные данные и настаивает на их истинности. Несмотря на то, что у него есть доступ в интернет и он может проверить данные! (Подозреваю, что это сделано для минимизации нагрузки на сервера Майкрософта, но факт остается фактом. В интернет бот идет очень неохотно)
![](https://habrastorage.org/getpro/habr/upload_files/2a7/de0/e51/2a7de0e5151cdba1d58d8021cbf3f5c0.jpg)
3. Бот НЕ УМЕЕТ резюмировать информацию, вопреки обещаниям Майкрософт. (Для меня это одно из главных разочарований). Вместо того, чтобы резюмировать информацию бот берет кусочек текста из результата поиска, а потом ДОДУМЫВАЕТ и ФАНТАЗИРУЕТ на заданную тему. Подозреваю, что это принципиальная проблема чат‑бота на основе GPT 3.5 от Open AI. И здесь сможет помочь лишь дополнительное обучение, заточенное именно под резюмирование длинного текста без потери смысла. Сейчас в этой области полный провал.
![](https://habrastorage.org/getpro/habr/upload_files/2f4/404/47b/2f440447bf90d52eaa8b47be2ee32043.jpg)
4. И самое главное… Информацию для ответа чат‑бот ищет в Бинг. А значит, для отбора страниц по релевантности использует именно этот поисковик. А вот с сортировкой по релевантности у Бинга, к сожалению, проблемы. И получается, что ответ чат‑бота, даже когда он обращается за информацией в Интернет, строится на информации, подчерпнутой из не самых релевантных сайтов. Что, как бы, накладывает жирный крест на саму концепцию.
Например:
![](https://habrastorage.org/getpro/habr/upload_files/009/914/253/009914253d9180caa223cd7bfd8f58b6.jpg)
Информация к предыдущему ответу взята очевидно здесь. Актуальность и релевантность источника можете оценить сами.
Проблема в том, что в самых простых и очевидных случая новый Бинг справляется неплохо. Но это касается таких кейсов, который легко решаются и с помощью простого запроса в Гугле.
А вот что касается сложных кейсов (ради которых мы и обращаемся к ИИ), то здесь начинаются:
фантазии и галлюцинации;
обращение к нерелевантной информации;
непонимание/ не корректное понимание смысла вопроса;
сваливание в рекурсию.
И напоследок скриншот одной из многочисленных рекурсий, когда чат-бот начинает безостановочно генерировать информацию.
![](https://habrastorage.org/getpro/habr/upload_files/ad7/ee5/d35/ad7ee5d35568cff4e4e818312c1fccdd.jpg)