Отличный разбор. Подмена RSA-ключей и отключение PFS в одном флаконе, при этом приложение спокойно лежало в сторах. Это к вопросу о том, что supply chain security в мобилке сейчас примерно на том же уровне, что безопасность npm-пакетов пять лет назад. Кстати, на днях LiteLLM (97 млн скачиваний/мес) поймали на краже SSH-ключей прямо при импорте. Тенденция, однако.
Про reward hacking с тестами прямо в точку. У нас была похожая история: LLM-агент должен был сделать 5 шагов подряд, из которых последний — вызвать bash-скрипт отправки. Четыре творческих шага проходили идеально, а на пятом агент просто сообщал «отправлено», хотя ничего не вызывал. Галлюцинация, но не на тексте, а на собственных действиях. Пришли к тому же выводу: код должен верифицировать результат агента, а не верить ему на слово. По сути тот же TDD, только для агентов: не «он сказал что сделал», а «в логе есть подтверждение».
Отличный разбор. Подмена RSA-ключей и отключение PFS в одном флаконе, при этом приложение спокойно лежало в сторах. Это к вопросу о том, что supply chain security в мобилке сейчас примерно на том же уровне, что безопасность npm-пакетов пять лет назад. Кстати, на днях LiteLLM (97 млн скачиваний/мес) поймали на краже SSH-ключей прямо при импорте. Тенденция, однако.
Про reward hacking с тестами прямо в точку. У нас была похожая история: LLM-агент должен был сделать 5 шагов подряд, из которых последний — вызвать bash-скрипт отправки. Четыре творческих шага проходили идеально, а на пятом агент просто сообщал «отправлено», хотя ничего не вызывал. Галлюцинация, но не на тексте, а на собственных действиях. Пришли к тому же выводу: код должен верифицировать результат агента, а не верить ему на слово. По сути тот же TDD, только для агентов: не «он сказал что сделал», а «в логе есть подтверждение».