1.Не пытались оценить TCO использования ИИ - сколько стоило время инженеров на исследование, настройку, поддержку. Стоимость инференса? Сколько бы стоило это все сделать без ИИ?
Спасибо за то, что бумкнуло в мае 2026. Ждем второй итерации через год? Или раньше? Мне кажется каждый смог найти на конфе минимум 2-3 интересных доклада для себя.
1.Андрей, судя по должности, вы в целом отвечаете за ML в PT. Для вас не должно было стать сюрпризом, что все подходы к оценке моделей напоминают "бардак" и почему бенчи живут меньше года. Количественная оценка моделей, как мы привыкли к оценкам в других отраслях, пока недостижима. Даже "простая" история - воспроизводимость бенчмарка - открытая задача: одна и та же модель развернутая в разных облаках может дать заметно разные результаты. И такая ситуация в целом по оценке моделей, а не только для кибербеза.
2.В ваш обзор не попали общие бенчмарки моделей, где есть разделы по кибер безопасности. MMLU или MMLU-Pro В системном подходе нужно оценивать ещё и способности модели в целом к размышлению или к расчетам. Вы же проверяете на собеседовании человека не только ответы на задачи, но и ход получения ответов. Такое можно проверить например DPval-AA или HLE.
3.Антропик свои новые модели сравнивает по бенчу на основе платформы CyberGym .
4.Я бы ещё отметил в статье фундаментальный вызов применения ИИ в крупных компаниях - резкое падение точности ИИ в длительных задачах. В доступных публичных данных точность на длительных задачах не превышает 85% на задачах длительностью в 2-5 часов.
Вывод пока простой - под вашу конкретную задачу И ваше окружение придется тестировать конкретные модели. При этом не факт, что итоги тестирования воспроизведутся у другого клиента.
Спасибо за транскрипт обсуждения! Поделитесь оценкой, возможно мы зря не описываем ньюансы использования классических инструментов для защиты ИИ? API -файрволов, антивирусы, аутентификацию, IAM, SAST, DLP. Нет ньюансов или никаких угроз они не митигируют, даже для инфраструктуры ИИ?
Выглядит как очень не простой к реализации чек лист на продовых моделях. Сколько времени занимает примерно реализация чеклиста или его части для новой модели\агента? Сколько потом FTE уходит на поддержание такого чек листа после перевода модели в прод?
По прогнозу ВЭФ ( и это только прогноз ;-)) позиции где ИИ пока не может никого заменить испытают приток кандидатов из профессий, где работа была автоматизирована (например указанный вами бэкофис). Что может вызвать заметное понижение зарплат и повышение конкуренции на этом рынке труда.
В этом плане, как мне кажется, сильнее других защищены профессии, где нельзя автоматизироваться по разным причинам - например высококвалифицированные сварщики или слесари станков.
Денис, спасибо за статью!
1.Не пытались оценить TCO использования ИИ - сколько стоило время инженеров на исследование, настройку, поддержку. Стоимость инференса? Сколько бы стоило это все сделать без ИИ?
2.Явно в статье не увидел, но может быть подскажите, пытались ли с помощью ИИ написать эксплоит и таким образом проверить уязвимость? Mozilla уверяет, что это стало ключевым в их процессе анализа кода Firefox https://hacks.mozilla.org/2026/05/behind-the-scenes-hardening-firefox/
Спасибо за то, что бумкнуло в мае 2026. Ждем второй итерации через год? Или раньше? Мне кажется каждый смог найти на конфе минимум 2-3 интересных доклада для себя.
Спасибо за обзор.
1.Андрей, судя по должности, вы в целом отвечаете за ML в PT. Для вас не должно было стать сюрпризом, что все подходы к оценке моделей напоминают "бардак" и почему бенчи живут меньше года. Количественная оценка моделей, как мы привыкли к оценкам в других отраслях, пока недостижима. Даже "простая" история - воспроизводимость бенчмарка - открытая задача: одна и та же модель развернутая в разных облаках может дать заметно разные результаты. И такая ситуация в целом по оценке моделей, а не только для кибербеза.
2.В ваш обзор не попали общие бенчмарки моделей, где есть разделы по кибер безопасности. MMLU или MMLU-Pro В системном подходе нужно оценивать ещё и способности модели в целом к размышлению или к расчетам. Вы же проверяете на собеседовании человека не только ответы на задачи, но и ход получения ответов. Такое можно проверить например DPval-AA или HLE.
3.Антропик свои новые модели сравнивает по бенчу на основе платформы CyberGym .
4.Я бы ещё отметил в статье фундаментальный вызов применения ИИ в крупных компаниях - резкое падение точности ИИ в длительных задачах. В доступных публичных данных точность на длительных задачах не превышает 85% на задачах длительностью в 2-5 часов.
Вывод пока простой - под вашу конкретную задачу И ваше окружение придется тестировать конкретные модели. При этом не факт, что итоги тестирования воспроизведутся у другого клиента.
p.s. Постараюсь зайти к вам в гости 22 апреля.
А как вы думаете куда денется часть людей которых заменит ИИ ? Мне кажется будет только падение зарплат в "защищенных профессиях".
Спасибо за транскрипт обсуждения! Поделитесь оценкой, возможно мы зря не описываем ньюансы использования классических инструментов для защиты ИИ? API -файрволов, антивирусы, аутентификацию, IAM, SAST, DLP. Нет ньюансов или никаких угроз они не митигируют, даже для инфраструктуры ИИ?
Спасибо за статью.
Выглядит как очень не простой к реализации чек лист на продовых моделях. Сколько времени занимает примерно реализация чеклиста или его части для новой модели\агента? Сколько потом FTE уходит на поддержание такого чек листа после перевода модели в прод?
Спасибо, за развернутый коммент!
По прогнозу ВЭФ ( и это только прогноз ;-)) позиции где ИИ пока не может никого заменить испытают приток кандидатов из профессий, где работа была автоматизирована (например указанный вами бэкофис). Что может вызвать заметное понижение зарплат и повышение конкуренции на этом рынке труда.
В этом плане, как мне кажется, сильнее других защищены профессии, где нельзя автоматизироваться по разным причинам - например высококвалифицированные сварщики или слесари станков.
Спасибо, за развернутый коммент!
А модель не файнтюнили? Мне кажется в расходы можно было бы положить ещё серверные мощности для инференса.
Спасибо за вопрос. Это тема отдельной статьи. Вот хороший перевод актуальных угроз от OWASP https://habr.com/ru/companies/bastion/articles/963800/ . Могу также порекомендовать изучать с этого гайда от яндекса адаптированного под яндекс облако https://yandex.cloud/ru/blog/ai-safe-framework и этой статьи гугл https://saif.google/focus-on-agents .
Начало массового использования vibecoding и ИИ в большой доле реальных проектов разработки.
Начало активного использования ИИ не только для поиска уязвимостей но и для автоматического его патчинга (Copilot Autofix).
Сильный рост большинства типов уязвимостей, мне кажется, можно объяснить только началом активного использования ИИ.
Спасибо большое, что помогли сделать статью лучше. Моя ошибка перевода. Речь шла все таки о млрд вкладов (contributions).