Comments 24
Нет, мы не передаем в LLM медицинские данные, тем более медицинские данные пациентов. В LLM направляются только данные по внутренним сервисным задачам и в том числе обезличенные тексты медицинских заключений из открытых датасетов. Использовать LLM как движок для автоматизации процессов управления команды мне кажется ок, ибо там уж точно никакой перc информации нет — ответ от Дарьи
Классика: агент сделал SQL с ROLLUP по полю, в котором был COALESCE, и тихо удвоил каждую строку. Цифры выглядят нормально, сводка красивая, а она вдвое больше правды. В медданных это не «упс» — а потенциально неверный вывод о пациентах.
Я же правильно понял, что вы медицинские данные пациентов дали LLM? Плохого в этом ничего не видите?
Да в этом нет ничего странного или плохго. Только я так поняла перевод данных был трансграничный т.е. на сервера Anthropic ? объясните не юристу ФЗ-152 соблюдён?
Врачебная тайна защищена законами по всему миру. Причем тут ФЗ-152?
Текст прочтите, особенно часть о сфере действия. Если годы ML и лидерства, должны уметь читать и даже понимать текст.
Вайбкодеры в медтехе... Слава Богу, вы ещё в атомной энергетике из ваших чатиков не копипастите.
Мне просто интересна позиция минусующих… Врачебная тайна должна сохраняться не только медицинскими работниками, но и всеми, кто данную информацию получил. Нарушение ее возможно только с согласия пациента. Меня терзают смутные сомнения что компания автора у каждого пациента получала согласие на передачу тайны компании Antropic
Локальные ЛЛМ обычно в медтехе подразумеваются. Или есть противопоказания к скармливанию данных о пациентах даже self-hosted LLM?
Нет, мы не передаем в LLM медицинские данные, тем более медицинские данные пациентов. В LLM направляются только данные по внутренним сервисным задачам и в том числе обезличенные тексты медицинских заключений из открытых датасетов. Использовать LLM как движок для автоматизации процессов управления команды мне кажется ок, ибо там уж точно никакой перc информации нет — ответ от Дарьи
Нет, мы не передаем в LLM медицинские данные, тем более медицинские данные пациентов. В LLM направляются только данные по внутренним сервисным задачам и в том числе обезличенные тексты медицинских заключений из открытых датасетов.
Использовать LLM как движок для автоматизации процессов управления команды мне кажется ок, ибо там уж точно никакой перc информации нет
доверие к агенту строится на проверке, а не на вере.
как именно вы валидируете вывод.
приведите пример, как вы объясняете агенту как нужно проверять результат.
..и как вы убеждаетесь что агент дейсвительно проверил, а не просто решил что все ок или подогнал тесты под результат?
Как они - я не знаю. Я говорю агенту написать детерминированные тесты, проверяю их на проверенных данных, затем подключаю в процесс. Ключевое здесь то, что сами тесты должны быть без ИИ. Ну и пусть его дальше колбасит, пока не пройдёт проверку.
Это вообще одна из основных парадигм: не говори ИИ что-то сделать, когда можешь сказать написать код, который это сделает.
По итогу всё равно приходится писать код, тесты, перепроверять, и точно также тратить два часа времени. Затрачивать столько же времени, сколько это сделал аналитик. Так зачем лишать работы аналитика и нанимать человека, который будет это всё валидирлвать?
Да похоже большинство теперешних аналитиков забыли, что sql можно сохранить и вызывать автоматом каждый день, а не писать заново ))
(А если sql каждый раз новый, то как агента проверить другим агентом на проверенных данных? Могу сказать как я проверял себя в далёкие времена когда работал с данными - брал любую строку и проверял цифры отдельными запросами без свёрток и группировок. Брал суммы по разным колонкам, и т д. Как блин нейросеть заставить так же проверять? Она же напортачит и в основном отчёте и в проверках...)
я не знаю.
«А когда не знаешь — нужно у кого‑нибудь спросить!» ©
Спасибо за вопрос!
Пример:
- LLM с учетом всего харнесса и контекста решил задачу. Выдал результат. Просто спросить его - все правильно - не ок. Причина - он конечно же ответит, что все ок.
Решение:
- Даем выходные результаты LLM в другой сессии без контекста решения задачи, просим понять что за данные и что они показывают и описать словами. Дальше просим сравнить изначальное ТЗ по задаче с тем что отдала LLM.
- Если мы говорим про разработку кода, то мультиагентная система. Test based подход - агенты пишут тесты до разработки.
Ну вот я понимаю, если это проект для заграничной клиники. Но для России передача медицинских данных куда либо только с разрешения самого гражданина. И как законно автор собралась платить Антропику доллары, и что делать, если Антропик забанит Россию по указке США? А потом бац и все сэкономленные финансы придется вложить обратно, и строить все заново на локальной нейронке. Также мы не видим того божественного интерфейса, о котором вы так охотно говорите, мы также даже библиотеки кода и язык кода не услышали. У вас там хоть какойто комплаенс есть?
Скорее всего я ошибаюсь, но на протяжении всего чтения не покидала мысль, что текст - натуральный нейрослоп, потому что написан в таком же стиле, как в 80% видео в социальных сетях
Мы кубы собрали пять лет назад, и поток запросов обнулился.
А можно подробнее рассказать о том, что именно вы автоматизировали с помощью мультиагентности? И собствено как.
А зачем для SQL выгрузки нужны прям агенты? Есть модели text2sql, которые сам запрос из той же кипы контекста, который сгружается в агентов, напишут ещё быстрее. У того же YC есть режим обращения к бд через чатик (модель генерит SQL и даёт сразу результат запроса). Будто вся проблема в контексте.
А если нужны графики и дэшборды, то здесь уже прямой пайплайн без неопределенностей. Или все же результаты запросов ака данные пользователей идут в чужие апи?)
Может я, конечно, неправильно понял саму задачу, но "рой агентов перепроверяет друг за другом" звучит уже как попсовая мантра)
Как я за месяц перевела команду с SQL-промптов на мультиагентную систему и сэкономила команде 200 часов