加州检方在起诉OpenAI时提出,其测试过程中曾发生至少80起智能体失控事件。中科曙光今年推出OneBox可信桌面级智能体,让我想到一个问题:当AI拥有自主执行能力,实验环境和真实网络之间的边界该怎么守住?
过去的软件测试,主要关注程序有没有漏洞。现在的AI智能体不仅能运行代码,还可能调用工具、连接网络、访问外部服务,风险范围明显扩大。尤其是多个智能体协同工作时,一旦权限设置不当或隔离措施失效,问题可能迅速扩散。
因此,智能体安全不能只依赖模型本身的行为约束,还需要系统层面的权限管理、隔离环境、日志审计以及异常操作阻断机制。中科曙光OneBox强调组织级权限和受控任务执行,体现了把安全管理融入实际应用环境的思路。
我觉得,未来判断一套智能体系统是否成熟,不仅要看它能完成多少任务,还要看发生异常时,系统能否及时发现并控制影响范围。
中科曙光 onebox AI安全 网络安全
