Согласен. В каком-то смысле это вечная игра между правилами и способами их обхода 🙂 Если контролировать только отдельные действия, всегда можно разложить нежелательный сценарий на тысячу формально разрешённых шагов. Поэтому мне кажется, что следующий этап развития таких систем - це уже анализ намерений, целей и всей цепочки действий агента, а не только проверка отдельных операций. Здесь уже действительно появляется интересная ирония: для контроля AI может понадобиться ещё один AI.
Согласен. В каком-то смысле это вечная игра между правилами и способами их обхода 🙂 Если контролировать только отдельные действия, всегда можно разложить нежелательный сценарий на тысячу формально разрешённых шагов. Поэтому мне кажется, что следующий этап развития таких систем - це уже анализ намерений, целей и всей цепочки действий агента, а не только проверка отдельных операций. Здесь уже действительно появляется интересная ирония: для контроля AI может понадобиться ещё один AI.
Думаю, когда AI начнёт самостоятельно переписывать COBOL, многие банки внезапно обнаружат, что проблема была не в самом AI 😄