AI安全需要工程支持，NVIDIA推动开放工具

AI安全不仅仅是一个理论问题；它是一项工程挑战，需要可执行的控制、明确的责任以及强有力的测试。NVIDIA最近的一篇博客文章由Saša Zdjelar撰写，强调需要将安全性内置到AI代理堆栈的每一层，从代码到部署基础设施。紧迫性来自于自治代理在企业环境中的快速采用，而这些环境中的安全实践仍在努力追赶AI不断扩展的能力。

在代理堆栈中构建安全性

“代理堆栈”一词指的是支撑AI代理的架构。它包括模型（推理和规划）、编排（任务管理和状态）、工具（API和操作）、内存（上下文和检索）以及运行时基础设施（执行环境和治理）等层。每一层都引入了独特的漏洞。例如，一个更新客户记录的代理可能会遇到试图导出敏感数据的恶意指令。如果没有适当的网络策略、权限和日志记录，这些事件可能导致重大泄露。

NVIDIA提出了类似OpenShell的解决方案，这是一个安全的运行时环境，能够实施超出代理控制的政策并隔离执行。与开放安全AI联盟的合作已经带来了类似Cisco的DefenseClaw这样的工具，该工具增加了治理层，以及JFrog的扫描和验证代理技能的集成。

测试与持续验证

AI系统需要有证据支持的安全性。NVIDIA强调严格的部署前测试，以确保代理无法突破其范围——无论是通过获取未经授权的凭证，还是向非法目的地发送数据。在模型、工作流和工具经常更新的动态环境中，持续测试尤为重要。

像CrowdStrike和Palo Alto Networks这样的公司更进一步。CrowdStrike的SafeMind平台使用攻击模拟来加强防御，而Palo Alto的Prisma AIRS则专注于随着代理系统的发展进行持续红队测试。这两者都旨在提供实时的漏洞洞察，并在部署前验证修复措施。

开放工具与共享知识

NVIDIA推动开放研究和工具，部分目的是旨在将安全优势转向防御方。开放模型和安全环境允许组织检查组件、调整策略，并测试其基础设施中的故障响应。例如，Capital One的VulnHunter工具利用AI来识别代码中的漏洞，而ReversingLabs的Spectra Assure则分析软件包中的恶意软件和篡改情况。

共享事件数据和成功的缓解策略是另一个重要部分。NVIDIA与开放安全AI联盟的合作鼓励这些知识的交流，使团队能够从彼此的经验中学习，并集体提高安全标准。

为什么这很重要

自治AI代理的兴起带来了深远的生产力提升，但也引入了显著的风险。如近期行业讨论中所强调的，这些代理不再只是大语言模型与提示的简单组合。它们是日益复杂的系统，要求持久的上下文、安全的工具使用、可审计的行为以及操作控制才能可靠运行。如果没有强有力的安全性，这些推动效率的工具可能成为安全漏洞的载体。

NVIDIA对工程驱动解决方案和开放协作的重视反映了整个AI行业日益形成的共识：随着能力的提升，治理它们的防御措施也必须随之提升。部署AI代理的公司最好现在就投资于这些分层安全框架，以防止漏洞被大规模利用。