Новый бенчмарк CyberArena предлагает оценивать AI-агентов не по отдельным задачам, а по их поведению в живом цикле кибератаки и защиты. В испытаниях модели должны исследовать окружение, находить уязвимости и реагировать на действия соперника.
Что измеряет тест
Агенту приходится строить план, выполнять команды и менять стратегию после событий в среде. Это ближе к реальной работе инженера, чем обычный набор вопросов с заранее известным правильным ответом.
Почему это важно
Простые тесты часто переоценивают автономность моделей: хороший ответ ещё не означает, что агент справится с несколькими часами непредсказуемой работы. CyberArena смещает внимание на устойчивость, скорость реакции и способность не потерять контекст.
Практическое значение
Такие полигоны полезны и для защиты, и для оценки риска. Они помогают сравнивать не только знания модели, но и качество инструментального слоя, разрешения команд и правила остановки при опасных действиях.
Вывод
Следующий этап развития агентных систем — измерять не красоту рассуждений, а результат в изменяющейся среде. Для локальных моделей это особенно важно: небольшой размер может компенсироваться правильными инструментами и хорошим циклом обратной связи.