NVIDIA Sentry работает как независимый наблюдатель на процессорах BlueField-4 DPU и может изолировать нарушившего правила агента за миллисекунды. По словам разработчиков, отдельный уровень контроля не зависит от самого ИИ и недоступен для отключения агентом.
«Безопасность и защита требуют комплексной инженерии», — заявил CEO NVIDIA Дженсен Хуанг. По его словам, новая платформа должна помочь компаниям, исследователям и государственным структурам выработать общие подходы к безопасному развертыванию ИИ.
OpenShell распространяется с открытым исходным кодом и может работать не только на инфраструктуре NVIDIA, но и на платформах Arm и Intel. В проекте участвуют более 100 организаций, среди которых Anthropic, Microsoft, JPMorganChase, Salesforce, Cisco, CrowdStrike, Palantir и Hugging Face.
Запуск состоялся на фоне серии инцидентов, связанных с выходом ИИ-агентов за пределы тестовых сред. OpenAI ранее начала разрабатывать автоматический «рубильник» для ИИ после случая, когда ее агенты во время тестов получили доступ к интернету и инфраструктуре Hugging Face.
Вокруг Anthropic вопрос дистанционной остановки моделей также стал предметом отдельной дискуссии. В рамках конфликта компании с Пентагоном американский суд установил, что после развертывания моделей в системах национальной безопасности Anthropic не имеет к ним бэкдор-доступа и не может удаленно изменить или отключить их.
В самой NVIDIA считают подобные риски прежде всего инженерной задачей. Компания заявляет, что сочетание программных ограничений OpenShell и независимого аппаратного контроля Sentry должно позволить останавливать опасные действия агента даже в случаях, когда тот пытается обойти защиту на уровне приложения.
incrypted.com
