Хабр Курсы для всех
РЕКЛАМА
Большая витрина: от крупнейших школ до частных авторов. Сравнивайте по цене, длительности, формату и выбирайте самый подходящий курс!
Поток AI и ML доступен 24/7 благодаря поддержке друзей Хабра
Комментарии 18
Какие модели используются? Я использовал для поиска и составления отчетов GPT 6.1 Sol на Xhigh и иногда астру для проверок, и не замечал пока выдуманных цифр или откровенно ошибочных данных.
Используется локальный инстанс в контуре организации на Qwen3.6 27B_Q5. Она не требовательна к вычислительным ресурсам и может работать даже на RTX-4090. Мощные модели конечно не будут делать таких ошибок но для их локального развертывания нужны мощные ресурсы, которые не все могут себе позволить.
Ваши ценнейшие документы попадут в руки какого ни будь OpenAI, ведь это будет катастрофа если ваш ни кому не нужный бизнес процесс просмотри такой ни будь тестировщик в OpenAI.
Разворачивание своих контуров вместо использования лучших сервисов которые еще и дешевле обойдутся по цена/качесто, напоминает мне людей которые покупают участок и выращивают на нем себе еду обосновывая это ценой, собственной независимостью и т.п. вместо того что бы купить то что нужно на рынке/магазине. :)
Для меня разворачивание своих контуров если вы не уровня яндекса это клиника, хотя почти на 100% уверен что в яндексе и д.р. крупных компаниях, почти все использую anthropic/openAI. :)
И какие ресурсы видеокарта nvidia rtx 6000. Которая стоит 3млн?
Что мощного вы собираетесь разворачивать на одной rtx 6000? У коробки Ryzen AI 395+ за 4 тысячи баксов памяти больше. Цельтесь в 40 миллионов для мощного.
Много чего, много ИИ агентов, обучаю. И будет выполнять мою работу.
Нет, я просто про то, что "мощность" у решений за 4 тысячи долларов и за 3 миллиона рублей в контексте "мощных моделей" - это погрешность. Комментаторы выше явно имели ввиду если не SOTA типа Opus и Sol, то хотя бы GML - там десятки миллионов рублей вход, если вы не на сутки планируете ставить свои задачи "когда-нибудь да сделает".
бред какой-то, как я понял, вы анализируете рынок и работаете с внешними данными, что и куда может утечь в таком случае?
Речь в основном про персональные данные (ПДН). Наверное нужно будет отдельно рассказать про оркестратор kw-7 Ai. У него 2 контура - локальный (с доверенными LLM) и глобальный (с недоверенными LLM и соответствующей проверкой на ПДН) С какой моделью работать решает пользователь выбирая из списка настроенных администратором моделей. В любом случае при отправке во вне проверяется наличие ПДН.
Две критические ошибки - ролевой промт - " ты - и т.д". Вторая - проверка моделью ошибок. Неважно - той же самой или другой. Если модель начала симулировать, то проверка моделью только подхватит и усилит симуляцию. Переходите на аналоговую проверку. Есть еще нюансы... Но...
Как мы научились использовать квадратные колеса, потому что круглые вера не позволяет
Научить бы модели оценивать релевантность источника, потому, что большинство источников сами пишут через ИИ с кучей ошибок, да и без ИИ есть много сомнительных текстов.
Интуитивно понятно, что доверие к сайту производителя куда выше, чем к заметке в газете или странице в магазине, но как это передать модели.
Частично это уже сделано, есть раздел про надёжность источников. Надёжность задаётся типом площадки, а не темой: ведомства и крупные агентства — высокая, блоги, форумы, Дзен — низкая, остальное — средняя. Факт из ненадёжного источника в отчёте помечается. Модель надёжность не оценивает, чтобы не повторить ту же ошибку «модель проверяет модель».
Вы правы, что сайт производителя о себе — отдельный класс первоисточника, мы его пока не выделяем. Текст, написанный ИИ на солидном сайте, по типу площадки тоже не поймать. Тут помогает только сверка нескольких источников: в журнале расхождения между ними показываются явно.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Как мы научили ИИ‑агента не выдумывать цифры в отчётах