Nvidia разработала сервис NeMo Guardrails, который обеспечит точность, актуальность и безопасность ответов чат-ботов, основанных на больших языковых моделях (LLM). Код проекта опубликован на GitHub.

Сервис позволит разработчикам устанавливать три типа границ: тематические, безопасности и охраняющие.

Первые предотвращают отклонение в «нежелательные области», вторые могут отфильтровывать «нежелательные выражения» и гарантировать выдачу информации только из проверенных источников, а третьи ограничивают связь ботов со сторонними приложениями.

NeMo Guardrails построен на Colang, языке моделирования и среде выполнения, разработанной Nvidia для диалогового ИИ. Цель Colang — предоставить читабельный и расширяемый интерфейс для пользователей. Взаимодействие с этой системой похоже на традиционный диалоговый менеджер, сообщения из которого индексируются и сохраняются в векторном хранилище в памяти. При активации первые N наиболее похожих сообщений из хранилища векторов извлекаются или отправляются в LLM для создания похожих канонических форм.

NeMo Guardrails может работать со всеми инструментами, которые используют разработчики корпоративных приложений, в том числе поверх LangChain, набора инструментов с открытым исходным кодом для подключения сторонних приложений к возможностям LLM.

Кроме того, NeMo Guardrails предназначен для работы с широким спектром приложений с поддержкой LLM, таких как Zapier.

Большая часть фреймворка NeMo доступна на GitHub. В Nvidia заявили, что устанавливать параметры в NeMo Guardrails сможет любой разработчик, «для этого не надо быть экспертом по машинному обучению или специалистом по данным». Предприятия также могут получить его в виде полного и поддерживаемого пакета, входящего в состав программной платформы Nvidia AI Enterprise.

Ранее Nvidia совместно с Корнельским университетом разработала ИИ-модель для превращения текста в видео под названием VideoLDM. Она способна генерировать видео в разрешении до 2048х1280 пикселей с частотой 24 FPS и длительностью 4,7 секунд на основе текстового описания. В основе VideoLDM заложены наработки нейросети Stable Diffusion.

Nvidia представила сервис NeMo Guardrails для борьбы с токсичностью ChatGPT и подобных систем