塔斯娱乐资讯网

AI知道得越多,怎么反而越容易说漏嘴

AI有个很诡异的毛病:你跟它说得越多,它有时越容易把“家里话”带到外面去。

假设你让它帮忙婉拒一次合作,私下补一句:“对方挺好面子,话别说太重。”它最后写成:“考虑到您比较在意体面……”逻辑没错,态度也很好。唯一的问题是,对方现在知道你觉得他好面子了。

这种错和幻觉还不一样。它没有瞎编,甚至忠实得令人发指。你告诉AI一件事,可能只是为了让它理解你的顾虑;它却很容易把“供你理解”和“可以对外说”当成一回事。

Stanford等团队的PrivacyLens研究过类似问题。GPT-4和Claude-3-Sonnet在判断“这条信息该不该透露”时几乎都会,真让它们替人执行任务,仍然在26%和38%的测试案例中出现泄露。这不是今天模型的日常出错率,但那个反差很有意思:考试会做,办事还真不一定。

而且泄出去的未必是秘密。你写“预算紧张别提”,它可能交出《活动通知(不提预算版)》;你说“登录功能也许可以做”,聊几轮以后,需求文档里只剩“实现登录功能”。“也许”“暂时”“只是给你理解”,几个小字掉了,事情就换了轨。

最麻烦的是,这些东西逐字检查常常都对。日期没错,名字没错,要求也确实来自你。它只是把后台搬到了台前,把讨论稿盖成了正式文件。

微软今年7月的《LLMs Get Lost in Evolving User Intent》也发现,用户在多轮对话里不断补充、修改甚至改变意图时,模型表现会明显下降。人本来就是边说边想的。要是跟AI说话之前,必须先把所有话整理成一份毫无歧义的PRD,那这个助理也太好当了。

我现在没那么迷信prompt到底该长还是短。更想知道的是:AI什么时候能学会,有些话听懂就行。

#人工智能 #AI #大模型 #科技 #效率工具
#PromptEngineering #ContextEngineering #多轮对话 #AIAgent #人机协作