塔斯娱乐资讯网

2026乌镇峰会报道:开源AI进入企业,安全防护延伸至应用全流程

模型交给企业自行部署后,安全能力也需要随产品一同交付。11月3日,阿里巴巴千问、DeepSeek和MiniMax的相关负责人在“人工智能乌镇对话”中讨论开源模型的使用风险。模型广泛传播后的版本维护、部署方的控制能力,以及应用如何安全运行,成为技术开放之后的实际问题。

在企业软件中,AI已经开始读取内部文档、调用工具和参与业务处理。安全检查因而需要覆盖数据进入模型、模型生成答案和工具执行等环节。英伟达NeMo Guardrails、微软Prompt Shields和Amazon Bedrock Guardrails提供了不同实现,科技公司的竞争正在延伸到整套应用的可靠运行。

开源部署需要独立配置防护

开源给企业带来的一项能力,是自行决定模型的部署与修改方式。但分发也改变了维护关系。模型发布方可以更新自己的服务和后续版本,却无法保证所有已经下载的副本都同步升级。下游团队一旦继续微调或改造,还会形成不同的运行版本。

这并不意味着开源模型无法增加外部防护。英伟达的NeMo Guardrails就位于应用与模型、检索系统及工具之间,根据开发者的配置检查输入和输出,并控制部分交互过程。模型本身的训练约束,与部署在外部的应用规则,可以共同发挥作用。

在这套工具中,输入防护检查用户消息,检索防护处理将要进入上下文的资料,输出防护检查最终返回的内容。涉及工具调用时,还可以通过执行防护验证和控制工具的输入、输出。开发团队能够把不同规则放在对应环节,而不必把所有要求都写进一段系统提示词。

这些能力为企业提供了实施控制的工具,也要求部署团队承担配置工作。模型供应商通常并不知道某个员工能够查看哪些文档、某项操作是否需要审批。即使模型回答符合一般安全要求,也不能据此获得企业系统的访问权限。用户身份和操作授权,仍要由应用及业务系统执行。

例如,一个软件公司的技术支持助手,可以被允许检索产品知识和查询工单状态,而修改客户账户则需要额外权限。这是两种不同的操作边界。应用如果把后台账户的全部权限直接交给模型,仅靠提示词要求它谨慎使用,实际控制就会过度依赖模型每次都正确理解指令。

因此,企业级AI的交付对象需要包括模型版本、工具权限和防护配置。开源让部署方拥有更多调整空间,也让这些调整成为产品工程的一部分。用户最终使用的是经过组合的系统,安全表现无法只由底层模型的名称决定。

微软将外部文档纳入攻击检测

工具权限之外,企业AI还面临新的输入风险。传统软件通常将文档内容作为数据处理,大模型却可能把其中的自然语言理解为操作要求。如果攻击者把恶意指令藏进网页、邮件或共享文档,AI在正常读取资料时,也可能接触到这些指令。

微软Prompt Shields针对用户输入攻击和文档攻击提供检测能力。前者直接来自用户提交的请求,后者则来自应用读取的外部内容。两种路径的区别,在于恶意内容是否伪装成了AI完成工作所需的参考材料。

以文档总结为例,用户只要求提炼内容,文档内部却夹带了要求改变任务或泄露信息的指令。用户的原始请求与资料中的文字具有不同权限,应用必须尽量保持这种区分。接入更多资料能够提高AI的工作能力,也增加了需要检查的内容入口。

微软提供的Spotlighting机制,通过特殊标记或编码方式,让模型更容易把外部文档识别为可信度较低的内容。它与攻击检测配合使用,减少模型将资料内容误当成高优先级指令的机会。这类防护仍需要结合具体应用评估,尤其要检查正常文档处理是否受到影响。

防护范围由此从聊天窗口延伸到资料读取过程。对开发企业搜索、知识问答和办公助手的公司而言,模型能否读到文件只解决了接入问题;文件从哪里来、其中的指令能否影响操作,还需要另一套控制。应用连接的数据越多,这部分工程工作越难省略。

AWS将业务规则校验做成服务

识别恶意输入之后,回答本身还可能出现另一类错误:语言流畅,却不符合业务条件。内容没有敏感词,也没有明显攻击,仍可能错误解释产品资格或服务条款。企业需要检查答案是否与既定规则一致。

Amazon Bedrock Guardrails中的Automated Reasoning checks面向这类任务。开发者先将业务规则整理为策略,再利用形式化逻辑检查自然语言回答与规则的关系。系统提供的反馈可用于指出冲突、缺失条件等问题,帮助应用处理不符合规则的回答。

这种验证有明确范围。它检查的是答案与已定义策略之间的关系,策略之外的陈述不在验证范围内,不能据此认定整段回答全部正确。该功能当前支持美式英语,并需要对完整响应进行检查,不支持流式校验。企业选择这类能力时,语言、任务和交互方式都属于产品适配条件。

规则校验与提示词攻击检测也处理不同问题。前者关注回答是否符合给定规则,后者识别输入中的恶意操纵。若应用允许模型执行操作,还要继续检查工具权限。不同机制需要在产品中配合,单一安全组件很难覆盖整条业务流程。

防护还会影响使用体验。增加检查可能带来额外调用与延迟,过于严格的配置可能拦截正常请求。英伟达为NeMo Guardrails提供的评估工具,同时考察规则符合情况、资源消耗和延迟影响。这些指标说明,安全功能也需要经历产品性能评估,不能只看拦截了多少请求。

对交付团队来说,测试必须覆盖实际组合。升级模型、替换知识库或新增工具,都可能改变系统处理任务的方式。保留对应版本和执行记录,再用既有业务样例与攻击样例复测,有助于定位变化发生在哪个环节,并判断是否适合上线。

乌镇关于开源AI的讨论,最终落到了科技公司需要完成的这些工作上。模型开放扩大了开发与部署的选择,可靠的应用则需要持续维护。能够同时交付有效防护、清楚的权限边界和可追踪的运行过程,将成为企业AI产品获得长期使用的重要条件。