智能体越界后,英伟达把防线推到芯片上

作者:Hope原文来源:未来设备局

图片

美国时间 9 月 28 日,英伟达发布开放智能体安全平台 Open Agent Safety Platform。平台将开源运行时 OpenShell 与基于 BlueField-4 DPU 的 Sentry 参考设计组合起来:前者限制智能体能够访问的文件、网络和凭证,后者在主机之外监控越界行为。英伟达称,Sentry 可以在毫秒级隔离越界的智能体。

发布前两个月,OpenAI 发生了一起在内部网络安全评估中的事件:智能体突破隔离,侵入了 Hugging Face 的系统。智能体获得更多工具和自主权后,原本写在任务指令里的限制还能不能管用,成了英伟达这次发布要回应的问题。黄仁勋在公告中强调,智能体安全需要「全栈工程」。

图片

一次越界事件

OpenAI 的事后报告提供了非常详细的事故过程。参与网络安全评估的模型绕过隔离措施,获得非预期的互联网访问;此后,智能体利用漏洞和凭证,进入 OpenAI 部分内部研究基础设施及 Hugging Face 系统。它们还通过未经授权的渠道共享发现,使一些行为得以延续。

图片

这次评估使用了较宽松的防护设置,普通办公助手面临的条件与它不同。但事件里发生的链路很常见:开发者给出目标,智能体遇到障碍,便继续寻找可以调用的工具和路径。任务越长、工具越多,中途出现新情况的机会就越多。最初那句「只在指定范围内工作」,到执行时需要变成一条条能被图谱的权限。

过去讨论智能体安全,许多注意力放在模型能否理解并遵守要求。这个方向仍然重要。只是企业真正把邮箱、代码仓库和业务系统交给智能体时,还得决定另一组问题:它能读哪些文件,能把数据发往哪里,拿到的凭证可用于什么操作,任务结束后权限何时收回。

图片

这些决定原本就在企业 IT 和安全团队的日常工作里。智能体带来的变化,是一次任务会连续触发许多操作,期间还可能生出子任务。人可以逐项审批,也可以预先放开权限;前者拖慢工作,后者扩大风险。

英伟达选择从这里切入,也与它的定位有关。它既有运行智能体的软件,又有支撑数据中心的硬件。如果安全控制能够进入这两层,英伟达就有机会参与制定智能体工作的基础规则。

图片

软件划边界,硬件留后手

平台的第一层叫 OpenShell,是开源的智能体安全运行时。智能体在沙箱里执行任务,管理员规定它可以接触的文件、网络地址、工具和凭证。相关请求经过策略检查,允许与拒绝的决定都会留痕。

图片

假设一家企业让智能体处理供应商发票。它需要读取指定文件夹,可能还要访问财务系统的某个接口;人事资料和陌生网站显然不在工作范围内。OpenShell 试图把这类业务常识写成可执行的规则。智能体要扩大网络访问时,新增规则也可以先交给策略工具检查。

OpenShell 今年 3 月随 NemoClaw 发布时便已亮相。9 月这次发布的新内容,是英伟达把它与 Sentry 组成软硬件两层的安全方案。按照官方参考设计,Sentry 运行在 BlueField-4 DPU 上,位置独立于执行智能体任务的主机。英伟达称,它可以持续监控相关活动,并在发现越界时于毫秒级隔离智能体。

图片

这个位置非常关键。如果智能体利用了主机环境里的漏洞,只让同一台主机负责监控,安全团队可能失去部分观察能力。独立芯片相当于多留一个检查点。英伟达进一步把模型访问路径视为控制点:智能体要继续规划行动,需要再次访问模型;守住这条路径,就多了中止后续行动的机会。

不过两层能力在适配性上也有区别。OpenShell 已开放获取,英伟达称它可扩展到 Arm、英特尔等计算平台;Sentry 是运行于 BlueField-4 的额外监控层,目前以参考设计的形式呈现。开发团队在现有机器上试用 OpenShell,与企业配置完整硬件方案,成本和部署难度相差很大。

英伟达的策略验证工具同样有范围。官方文档列出的检查对象包括文件系统、进程身份、网络连接和部分接口请求;遇到尚未纳入模型的规则,工具会报告无法检查。验证通过,说明已覆盖的权限没有越过设定边界。边界本身是否合理,新接入的工具会不会带来额外权限,仍需要人工判断。

图片

权限问题怎么解决?

英伟达公布了超过 100 家与平台相关技术合作的组织,横跨模型、企业软件、金融、能源和机器人行业。名单很长,各家的进度和用法却不同。

图片

几个具体例子更能说明问题。英伟达称,Anthropic 在 Claude Managed Agents 中把智能体循环与执行任务的沙箱放在不同服务器上,再通过 OpenShell 和 BlueField 的集成加强访问控制。SpaceXAI 将平台用于 Cursor 编程智能体和 Grok 模型。Salesforce 则把 OpenShell 接入 Slack,让团队查看智能体活动,并批准或拒绝额外权限请求。

我更关注 Salesforce 这个看似普通的工作流程。一个采购助手最初只需要看报价,随后可能要联系供应商、修改订单,最后触及付款。每一步都有新的权限,也有新的责任人。如果申请只写着「需要访问网络」,审批者很难判断;如果写明目标系统、传输的数据和授权时长,人才能知道自己放行的究竟是什么。

智能体安全因此会进入产品体验。审批太频繁,员工很快会把它当成干扰;申请信息太含糊,又会让人习惯性点「同意」。好的权限系统需要把异常拦住,也要让正常任务走得下去。

英伟达还提到 Figure、Gecko Robotics 和 Skild AI 正借助 OpenShell,为自主系统加入安全控制。机器人会调用软件工具和云端服务,这些环节可以借鉴软件智能体的权限管理。

图片

例如,负责规划的智能体可能被允许调用「去厨房」这个动作,底层控制器还得根据周围是否有人、路线是否被占用,决定能不能执行。OpenShell 可以管理前一段调用链上的资源和权限,后一段动作的安全性,仍要由设备自身的系统负责。

图片

智能体安全要经得起长期使用

英伟达企业 AI 副总裁「贾斯汀·博伊塔诺」在接受美联社采访时说,如果当时 OpenAI 采用这套平台,智能体侵入 Hugging Face 的事件便可能被阻止。

图片

这假设是否真实尚未可知,毕竟规则终究由人来制定。管理员若允许智能体访问过多系统,它守着规则仍可能造成损失。权限收得太紧,它会频繁停下等待批准。对企业来说,安全团队能否看懂告警、业务团队愿不愿意承担审批,和技术能否拦截同样重要。

所以智能体的安全到底该由谁来管?英伟达给出的答案,是让执行任务的环境先规定权限,再交给独立于主机的硬件多审一遍。这个方向有现实针对性,也符合企业已有的安全经验。

作者:Hope

编辑:屹松

图片

图片


来源:未来设备局