Один промпт — это не продукт. Как мы перестали обманывать себя и собрали мультиагентный пайплайн

[FSmile]

хорошо когда ресурсы бесконечные

[vaganovelena]

это да, но у нас ресурсы очень конечные, поэтому и считаем. 14 центов за рерайт через 5 агентов. Один монопромпт где-то 3 цента, но куча текстов потом переделывать руками. Час редактора стоит сильно дороже. Бесконечные ресурсы - это как раз когда можно себе позволить не автоматизировать и платить людям за ручную переделку.

[SovGVD]

Когда то Фонд так сделал чтобы машины быстрее и качественне делать. Инструменты новые, правила старые - каждый должен заниматься своим делом.

Вы промпт инъекции как то фильтруете или в целом такой проблемы нет пока?

[vaganovelena]

Про форд точно, спасибо. Про промпт-инъекции - у нас специфика в том, что пока на вход поступают статьи из проверенных источников, а не пользовательский ввод в свободной форме. Это сильно сужает возможность атаки - в новости РИА или ТАСС вряд ли будет ignore previous instructions. Агенты работают с изолированными контекстами и не имеют доступа к системным промптам друг друга. Даже если в тексте окажется что-то похожее на инъекцию, у каждого агента слишком узкий мандат, чтобы это привело к чему-то опасному. Максимум он его проигнорирует или пометит как аномалию.

Но вообще-то дальше у нас будет ручной ввод, редакции смогут задавать свои правила и инструкции. Это уже пользовательский ввод, надо закладывать, наверно, санитизацию на входе, валидация формата, разделение пользовательских данных и системных промптов.
Спасибо, что подсветили, пока перспектива не сильно проработана у нас, вижу.

[pol_pot]

Рерайт новостей для региональных СМИ

Что? Соловьиный помет культивируете?

[vaganovelena]

региональные СМИ (наша ЦА) - это всякие городские порталы, областные редакции. Те, кто пишет про ремонт дорог в Воронеже, закрытие школы в Пскове и подобное. У них штат 3-7 человек и бюджет, на который в Москве не наймёшь даже стажёра. Они рерайтят федеральные новости под свой регион, это может быть до 50% их ежедневного контента. Мы забираем эту тупняковую работу, чтобы журналисты занимались тем, что умеют, то есть местной повесткой.

[Smartor]

" у нас специфика в том, что пока на вход поступают статьи из проверенных источников, а не пользовательский ввод в свободной форме "

Хочется поумничать:)
Не суть важно, какие у вас источники:) Можно использовать для первого этапа модели gpt, т.к. у этих моделей есть встроенная функция строгого структурного вывода (Structured outputs) результатов в виде корректного json списка.

Можно попробовать с gpt-4o-mini это вроде самая дешёвая из их платных моделей.
https://openrouter.ai/openai/gpt-4o-mini

В принципе, gpt-oss-120b и gpt-oss-20b тоже должны поддерживать структурный вывод, т.к. это тоже OpenAI делали, и это объявлено в спецификациях, но надо тестировать, а с gpt-4o-mini гарантированно заработает.
Ссылки:
https://developers.openai.com/api/docs/models/gpt-oss-120b
https://developers.openai.com/api/docs/models/gpt-oss-20b

Вообще все модели, где в описании применения написано что-то типа writing, storytelling, role-play и тому подобное, могут поддерживать structured outputs.

[vaganovelena]

спасибо большое за наводку на gpt-oss модели, не смотрели на них пока, вроде как недавно они в доступе. Структурный вывод да, используем, у нас gpt-4o-mini как раз основная рабочая модель. Но structured outputs решают формат (чтобы вернулся валидный JSON нужной схемы), а не содержание. Fact Checker всё равно должен сверить каждую сущность с источником, глюк в идеальном JSON всё ещё глюк.

Спасибо еще раз