前Anthropic员工创业，专门给AI Agent做体检，刚拿到4000万美元融资

AI Agent越来越能替公司写代码、处理客户和操作系统，一门新的生意也冒出来了，专门检查这些AI会不会突然乱来。Anthropic首位产品岗位员工鲁内·奎斯特和前METR COO拉吉夫·达塔尼创办的AIUC，刚刚拿到4000万美元A轮融资，累计融资已经达到5500万美元。
它做的事情有点像给AI Agent做碰撞测试，一个系统要面对大约5000种风险和攻击组合，里面包括越狱、幻觉、数据泄露等问题，最后还会生成一份接近100页的评估报告。
有意思的是，很多测试本身也是由AI Agent执行，再由AI分析结果，但最终的审计结论仍然需要真人确认。
通过测试之后，企业可以拿到AIUC-1认证，部分系统还可以进一步接入保险，今年ElevenLabs就已经为自己的AI语音Agent上线了相关保险。
这背后的逻辑其实很现实，银行、医院和大公司现在担心的已经不只是AI够不够聪明，而是它拿到公司数据和系统权限以后，到底会不会做出不该做的事。
过去企业买软件主要看功能和价格，未来买一个能自己干活的AI Agent，可能还得像买车一样先看安全测试、认证，甚至出了问题到底谁来赔钱。