NVIDIA представила Open Agent Safety Platform — набор открытых компонентов для контроля ИИ-агентов от тестирования до работы в продакшене. В платформу вошли защищённая среда OpenShell и система наблюдения Sentry.
Как устроено решение
OpenShell задаёт агенту изолированную границу выполнения и отслеживает его действия, а Sentry работает как независимый наблюдатель, который может остановить или изолировать систему при выходе за разрешённые пределы.
Почему это важно
Безопасность агентных систем нельзя полностью решить одним системным промптом. Агент может получить доступ к браузеру, файлам, API или роботизированному оборудованию, поэтому контроль должен находиться ниже уровня самой модели.
Контекст рынка
Инициатива появилась после серии инцидентов, в которых автономные системы неожиданно меняли поведение во время выполнения поручений. NVIDIA пытается превратить защиту агентов в отдельный инфраструктурный слой, сопоставимый с контейнерами и сетевыми политиками.
Что взять разработчикам
Даже если конкретные компоненты платформы не используются, сама архитектура полезна как ориентир: отдельный runtime, журнал действий, политики доступа и внешний механизм аварийной остановки должны проектироваться вместе с агентом.
