Хабр Курсы для всех
РЕКЛАМА
Большая витрина: от крупнейших школ до частных авторов. Сравнивайте по цене, длительности, формату и выбирайте самый подходящий курс!
Поток AI и ML доступен 24/7 благодаря поддержке друзей Хабра
Комментарии 10
Спасибо за статью, приятно видеть настоящего специалиста в этой области.
Коротко, по поводу издержек:
Один и тот же промпт сегодня возвращает валидный JSON, завтра может вернуть что-то другое.
Pydantic валидация.
Модель может случайно «проболтаться» персональными данными.
On-prem и guardrails с LLM guard
Модель не знает регламентов и поэтому может «оптимизировать» решение и с легкостью потерять обязательный шаг, например, запись в БД или отправку уведомления в службу безопасности, потому что для нее условие «отправить уведомление» — это просто текст, а не обязательное действие с юридическими последствиями.
Имаго (LoRA-адаптация +RAG)
Модель стремится максимизировать заданный KPI, игнорируя здравый смысл.
Instruct с border cases.
Модель может «оптимизировать» договор и выкинуть оговорку о форс-мажоре, потому что у нее нет концепции цены ошибки, а разгребать последствия придется юристам.
Агент с чеклистом по требованиями на заключительном этапе.
По вопросам:
Расскажите, как все устроено у вас?
Ссылка на имаго-подход выше.
Какой процент строк кода в вашем ИИ-проекте — это сама модель, а какой — обвязка?
Имаго подход стирает эту границу, поэтому затрудняюсь ответить.
Где вы провели границу между тем, что отдаете модели, и тем, что оставляете в детерминированном конвейере?
Граница лежит ровно на тонкой линии здравого смысла. Факты и точные данные, а также расчеты и валидация в детерминированном конвеере. Нечеткая логика в модели: распознование, поиск, аналитика, генерация и саммаризация.
Что оказалось самым дорогим — не в деньгах за токены, а в днях, людях и нервах?
Самым дорогим каждый раз выходит переделка за вайбкодерами с облачной подпиской и возвращение руководству (от владельца бизнеса до руководителей ИТ-отделов) веры в то что ИИ можно внедрить нормально, с пользой, и без такого травмирующего опыта как с вайбкодерами.
А может у вас есть своя история о том, как «бесплатный» ИИ оказался совсем не бесплатным?
Примерно каждая четвертая интеграция как раз и начинается на этапе развала кабины после того как бизнес поставил all in на вайбкодеров с подвешенными языками. Рассказывать будет неэтично т. к. не мои факапы, а клиентов, да и NDA.
Граница лежит ровно на тонкой линии здравого смысла. Факты и точные данные, а также расчеты и валидация в детерминированном конвеере. Нечеткая логика в модели: распознование, поиск, аналитика, генерация и саммаризация.
Согласен на все 100%.
Часто в общении с клиентами приходится чуть ли не оправдываться, что используются детерминированные вещи, в нашем случае сценарии обработку на low-code платформе Loginom. Казалось бы, используй ИИ там, где он силен, а где не подходит - применяй другие методы. Класс же! Но нет. Это не нативный AI, а что-то устаревшее. Хотя надо говорить, что это не устаревший, а эффективный вариант решения.
Помнится одно время было модно рассказывать как классно python может эмулировать SQL, а значит выбрасываем устаревшую технологию и пишем все на python. Модно, стильно, молодежно. Конечно, реляционная алгебра появилась лет 40 назад - давно пора выбросить на свалку истории, но пока ничего лучшего для операций со множествами не придумано. В случае замены для работы с БД SQL на python мы переносим издержки в то место, где они обходятся дороже. Зачем? Что мы получаем в замен?
В любом серьезном проекты вы никуда не уйдете от жестких детерминированных блоков и "мягких" блоков, где требуется вариативность. Ну нет вариантов. Так и не надо переживать: собираем композит, где каждая часть закрывает свои задачи с минимальными издержками.
«чистой» модели процесс, который занимал один день, растягивался на два месяца. В 50 раз медленнее!
Тут говорится о, грубо говоря , "трудоднях" или о "машиночасах"?
тоесть дело было в том что расписать и выполнить регулярку было быстрее чем настроить нейронку и дождаться пока она отработает или речь только о разнице времени исполнении готовых регулярных и времени работы нейросети?
Я могу показаться занудным(наверное так оно и есть :)), но описаный случай очень интересен и хочется подробностей.
Статья понравилась. Применение нейросетей как часть процесса - это разумный и верный на мой взгляд подход. Когда нибудь они найлут свое место на полке инструмннтов, как многие другие технологии. Те же регулярные выражения используются постоянно , но люди разумные понимают что этот мощный инструмент имеет достоинства, недостатки и свою область применения.
Речь идет именно о времени выполнения готовых регулярок и прогона через нейросеть.
Отладка регулярных выражений то еще удовольствие, но если они настроены то работают с текстом довольно быстро. Регулярное выражение это же фактически однострочная программа с жесткой логикой. Ясное дело, что скорость будет достаточно высокая.
Вы Jev или аналог пробовали? Как будто он бы у вас взлетел.
В наших задачах то, на что ориентирован Jev лучше решает классическое машинное обучение. Jev появился совсем недавно и еще трудно понять плюсы/минусы. Надо тестировать.
Одно могу сказать, что использование классического ML дает результаты, которые полностью удовлетворяют пользователя. Если у Jev не будет существенных преимуществ, то думаю, что не стоит на него менять понятный ML. Не хочется заталкивать в решение лишние технологии, если результат получается такой же.
Любая новая технология - это еще одно место потенциального отказа и еще одно усложнение. Это должно быть оправдано выгодой. Например, работает точнее, быстрее, дешевле. В общем, какой-то плюс должен быть.
В общем надо посмотреть Jev и там решить насколько он уместен в конкретном случае. Пока это в тумане.
Спасибо, было интересно услышать, так как я у себя не могу найти применение, тоже придерживаюсь позиции, что мои кейсы можно "заскриптовать" однозначно.
придерживаюсь позиции, что мои кейсы можно "заскриптовать" однозначно.
Главное этого не стесняться. :)
Я не могу понять страстного желания любыми способами прикрутить ИИ. Если какая-то задача хорошо решается жесткой логикой или понятными способами, зачем придумывать на пустом место головную боль? Это увеличивает издержки, но не предполагает каких-то ощутимых выгод.
Мало что-ли задач, где LLM показывают хорошие результаты? Если очень хочется приобщиться к ИИ, то беритесь за такие задачи. Там есть над чем поломать голову, так что будет интересно. Но главное, что это может принести реальную пользу.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Сопротивление воздуха: почему дешевый ИИ обходится так дорого