API модерации контента от Mistral, основанный на модели Ministral 8B, способен адаптироваться к различным приложениям и требованиям безопасности. Модель классифицирует текст на девяти языках, включая английский, французский и немецкий, по таким категориям, как сексуальный контент, ненависть и дискриминация, насилие и угрозы, криминальный контент, финансовая информация и персональные данные. API может работать как с исходным, так и с разговорным текстом, что расширяет его применимость.
Компания Mistral отмечает растущий интерес со стороны индустрии и исследовательского сообщества к системам модерации на основе ИИ, способным повысить масштабируемость и надежность контент-модерации для различных приложений. По словам Mistral, их подход фокусируется на снижении таких рисков, как некорректные советы и утечки личных данных, и соответствует актуальным стандартам безопасности и модерации.
Mistral признает, что их API модерации, хотя и демонстрирует высокую точность, всё ещё находится на стадии разработки и может страдать от предвзятостей, характерных для многих систем ИИ. Например, известно, что некоторые алгоритмы ИИ ошибочно классифицируют высказывания на афроамериканском разговорном английском (AAVE).
Хотя Mistral уверена в точности своей модели, она пока не проводила официального сравнения с аналогами, такими как Perspective API от Jigsaw или модерационный API от OpenAI.
Кроме того, Mistral объявила о запуске пакетного API, который позволяет экономить до 25% затрат на обслуживание за счёт асинхронной обработки большого объёма запросов. Подобный подход используется и другими крупными игроками, такими как Anthropic, OpenAI и Google, которые также предлагают пакетную обработку в своих сервисах ИИ.
