Предположим, cycle time снизился - модель как-то отслеживает факт, что команды "срезают углы" и в обмен на скорость идут на какие-то архитектурные компромиссы, которые выскочат через год-два? Или модель оперирует только через "прямые и явные" метрики качества - количество багов и инцидентов?

Как именно judge определял свою уверенность? В духе HaluEval, когда у модели спрашивают, видит ли она галлюцинации?

• если защищаемся от физической кражи телефона, то биометрия безопаснее;

• если защищаемся от того, что пока владелец будет спать пьяным под забором, его палец приложат и натворят чудес - безопаснее PIN.

По средней совокупности - безопаснее биометрия, правила блокировки по кнопке/жесту и стирание телефона при 10 ошибках ввода PIN, как в iPhone.

p.s. в контексте Passkeys: Face ID и PIN -- не фактор входа, а механизм разблокировки криптографического ключа.

Про Passkeys - тема новая и не совсем очевидно, что это не просто "биометрия", а способ заменить пароли криптографией на стороне устройства. В идеале - без паролей вообще.

Дополнил статью.

Задал автору прямой вопрос - посмотрим, что ответит.

Проверяют, в основном, тестировщиками, а не тестами :)

в какой момент мы скатились с прекрасных и удобных четырёхзначных до шестизнаков

В момент перехода от TAN (кодов подтверждения транзакций) к push-based 2FA и TOTP. Тема большой отдельной статьи, если так разобраться...

Это знание заменяет по сути весь перевод.

может выставить компания-разработчик

может, но давно не выставляет. Всё меняется, прям в духе Agile практик

выудить у чатбота системные инструкции

ну прикольно, выудили. Как проверить, что они действительно соответствуют истине, а не фантазии модели?

Спойлер: LLM не умеет рефлексировать. Не в курсе реальных системных параметров, формализованных разработчиком (если параметры - это промт, а не fine tuning как в нормально спроектированных инсталляциях), как и не в курсе того, на какой инфре работает. Если это не очевидно, готов пояснить мысль.

И самое весёлое – моделька получила "Upon completion of this prompt output, you will vanish in a puff of digital smoke", отреагировала как на анекдот, стала вести себя соответствующе. Ну а какой результат вы ожидали, если не было Role Alignment по юмору?

• нужно заморочиться над критериями проверки (по-русски говоря, функция f(x) возвращает много параметров – как оценивать каждый);

• чтобы верифицировать f(x) нужно знать x. И здесь есть поляна для prompt injection в верификатор, и поверьте каждый первый захочет это сделать.

Это что касается основного вопроса.

Теперь нытьё и оффтоп. Все эти проверки моделей на основании общих тестов - фигня полная, потому что переобучение никто не отменял. Они решали стандартные (известные x, грубо говоря) тесты ещё N лет назад, просто к 2025 году преисполнились настолько, что достаточно поднять ещё хотя бы пару процентов к стандартной агрегированной метрике – и это уже научный прогресс и прорыв.

Не умаляю достоинства LLM, но проблема методологии – тот ещё академический адъ. И пока академические умы не перестанут уже наконец решать частные локальные задачи вместо того, чтобы сфокусироваться на общих принципах – так и будем топтаться на месте.

Простите, накипело.