放弃全局大图,只提炼事项和实体,查询时用SQL把多跳线索串起来。SAG2在51万份企业文档上建库8分32秒,Recall@10达81.10%,比HippoRAG2高15.55个百分点,体积只有10几MB。
在AI圈,每天都有新东西冒出来,但已经好久没有一个东西,能让我看完浑身起鸡皮疙瘩了。
最近开源的SAG2,真就做到了。或许它将彻底颠覆RAG,因为你都不用预处理文件,它直接就能把你的本地文件当成知识库,而且速度极快,准确度贼高,关键都不需要embedding…
https://github.com/Zleap-AI/SAG
当然SAG2是理论,而已经实现的可用的工具是SAGWiki(待会儿会讲到)
这么的开源项目,我必须得提一下作者:广州智跃深空(Zleap),SAG到SAG2都是完全由他们自研,非常厉害的一个团队。
老粉应该记得,6月我写过一篇SAG第一版的文章。
那会儿SAG刚开源,我被它用SQL现场串多跳线索的思路吸引了,还建议大家可以把它当MCP接进FastGPT。
但用过的朋友也知道,一代在落地时依然要调大模型逐段提取事项和实体,建库耗时还是比较长,很多人觉得在工程上还是有点折腾。
结果才过了4个多月,他们自己把这些全砍了。
现在SAG2建库不调大模型,不做Embedding,不要向量数据库,也不要GPU。同样是11,656段文本,SAG一代建库要4.57小时,SAG2只要2.36秒。速度直接提升7000倍!
效果呢?还变得更好了。三个多跳检索测试集,8项指标全部第一。
卧槽。。
知识库一直有个不可能三角,又轻、又便宜、又准,以前最多只能满足两个。这下SAG2直接给它打破了!
我为什么这么兴奋~
可能是因为,我从24年初裸辞AllinAI开始,就一直在跟知识库打交道。也写过很多关于知识库的文章。
24年初,我裸辞后的第一桶金,就是帮一个老板部署FastGPT、搭知识库、调优效果。后来又陆陆续续接了不少类似的单子。
搭一个知识库其实不难,难的是后面的维护和调优。
分块也是个问题,张三负责A项目和500万预算被切成两段,线索就断了。score调低了噪音多,调高了又容易漏东西,经常是按下葫芦浮起瓢。我有个好朋友的公司,组了六个人的团队,花了整整半年,才把回复准确率调到一个相对满意的状态。
更烦的是维护。文件一改,就得重新上传、重新切块、重新向量化一遍。
预处理、调优、维护,这几个坑我基本都踩过。所以看到SAG2的思路,我是真滴有点激动。
先带大家简单捋一下知识库这几年是怎么走过来的吧,不然很难说清SAG2到底新在哪、好在哪。
RAG这个词其实2020年就有了,出自Facebook(现在的Meta)的一篇论文。
真正火起来是23年ChatGPT之后:
大模型不知道你公司的事,那就先把资料切成小块、转成向量存起来,提问时找最像的几块丢给它。FastGPT、Dify这类平台,把这套流程做成了UI界面点点点的操作。
再往后,大家发现光靠向量不够,全文检索+向量检索+重排序的混合检索就成了标配。到今天,它依然是最成熟的工业方案,日常的单文档问答完全够用。
它的短板是多跳。还是上次那个例子:
文档1:A公司全资收购了B公司。
文档2:张三被任命为A公司的CTO。
文档3:张三离职,加入了盘古大模型项目。
问:收购了B公司的企业,其CTO后来加入了哪个项目?
文档3里,收购、B公司、CTO一个词都没有,线索到这就断了。
于是有了知识图谱:
24年微软开源了GraphRAG,后来又有LightRAG、HippoRAG2这些。入库前,先让大模型把人名、公司、事件之间的关系全抽出来,画成一张大图。多跳确实强了,代价就是贵和重:索引阶段要大量调用大模型,新文件进来,关系可能还得重算。
今年4月,卡帕西分享了LLMWiki的思路:
让大模型把原始资料读一遍,编译成一套wiki页面,再对wiki做问答,产出的结果再回填进去。我写仓颉.Skill的时候还专门借鉴过它。这套方式对个人知识整理很友好,页面读起来也舒服。但资料一多,大模型逐篇读、逐篇写的时间和Token就上去了,原文一改,对应的页面还是得重写。
还有Google的NotebookLM。年初那篇工具推荐里我还推荐过它,资料往里一扔就能问答、出摘要、生成播客,啃大部头简直是神器。不过资料得传到云端,每个笔记本能放的来源有上限,想让本地Agent直接调用也不太方便。
你会发现一个规律:每往前走一步,基本都是在入库时多花一点钱、多调一点模型,换检索的准确度。
SAG一代也是类似的,只是比GraphRAG更轻了:
不画全局大图,只提炼事项和实体,查询的时候再用SQL串起来。
但SAG2干的事情,是把这条路反过来走。
建库阶段,SAG2啥模型都不调,直接对原文建关键词索引,用BM25打分。
BM25可能很多人没听过,但它其实是个老古董了,90年代就有,你用过的Elasticsearch(开发者应该很熟悉了),默认打分用的就是它。
同样是11,656个段落,原SAG论文报告的建库时间是4.57小时,消耗2,826万tokens。
这次,他们在一台M4Pro、64GB内存的Mac上,从空数据库连续重建三次,中间值只有2.36秒。而且没有token消耗~
从4.57小时到2.36秒,两次记录的建库耗时相差约7,000倍!!
一个刷新SOTA的新方案,底座是一个三十年前的老算法。难道这就是返璞归真?
那语义理解从哪来?靠JEV。
JEV是前OpenAI研究员DiogoAlmeida9月份发布的模型,它不能写文章,也不能陪你聊天,你给它问题和候选内容,它只回你一个判断和打分,但又快又便宜。
所以SAG2的分工是这样的:
BM25先粗筛出候选,JEV判断哪些是有用的证据;算法再从有用的段落里挑出关键词,接着往下搜;JEV结合已经找到的证据,再判断新找到的内容。
还是张三那个例子,SAG2会这么走:
第一轮,拿收购、B公司去搜,命中文档1,JEV判断有用。从文档1里挑出关键词A公司,接着搜,命中文档2,得知CTO是张三。再拿张三去搜,命中文档3:盘古大模型项目。
SAG一代串线索靠的是事项和实体,得提前用大模型抽像出来。
SAG2换成了关键词和段落,一个关键词连着好几个段落,一个段落里也有好几个关键词,这些联系直接来自原文,根本不用提前处理。
打个比方,以前是图书馆开张前,先请人把每本书都读一遍、写好卡片;现在是你来问的时候,管理员拿着目录飞快地翻,旁边站着一位老师傅,每递过来一本,他扫一眼就告诉你:这本有用,那本没用。但这种基于计算机的速度是贼快的。
我上次写SAG时,最难的MuSiQue上Recall@5是80.04%,这次是80.68%,比HippoRAG2高了15.55个百分点。我本来以为砍掉预处理效果得退一点,结果没退反进。
更让我佩服的是EnterpriseRAG-Bench,51万份模拟企业邮件、工单、会议记录的文档。一项规模研究里,LightRAG、MS-GraphRAG、HippoRAG2这些图谱方案都没跑完全量。SAG2全部跑完,建库8分32秒,文档Recall@10达到81.10%。
另外,基于SAG2,他们还开源了桌面端SAGWiki(这就非常方便了):
Windows版约13MB,macOS约18MB。非常轻量~
添加一个本地文件夹就是知识库,文件不用动,改了自动增量更新。问答模型我配的是DeepSeekV4.1Flash。
https://github.com/Zleap-AI/SAG-Wiki
配置只需两步:在设置里配好两个模型,问答模型负责生成回答,可按需自选(譬如便宜大碗的DeepSeek);决策模型负责找线索,官方论文用的是TypeSafe的Jev模型,这是官方固定的决策模型,配置时填入对应的JevKey即可,有需要也可以改成别的决策模型。
配置好后,就可以回到首页添加文件夹(知识库)了
然后,即便你电脑上有无数种格式的文件,SAGWiki都能索引,并识别到,甚至能识别音频、视频。
位置在:设置->文件设置->其他格式
1、检索我自己的文章
它搜了两次,翻出了对应的文章,直接给出准确数字:138篇、79万字!
说实话,我蒸馏的文章写了好多篇了。它居然能一次搞定,没有找错,确实有东西。
我又追问:
之前有哪些把视频或多模态工具通过CLI、Skill接进Agent的实测?
它直接把整个历史文章翻了个遍,从不同文章里挑出了LibTV、拓、Remotion等案例,把工具、接法、标题和日期整整齐齐排成了一张表,点引用就能直达原文。
这多跳检索,也完全不在话下,而且我检查了一下,真滴准。
2、借六度分隔玩个脑洞,李白和爱因斯坦怎么联系起来?
然后我在SAGWiki里塞进了整整10万篇维基词条,算上其他几个目录,整台电脑一共索引了100,461个文件,建库我不记得具体多久了,我只记得我上个厕所回来的时间就搞定了。
接下来这几题我们换到终端,在ClaudeCode里跑。
然后我们来做个对比:
「ClaudeCode+DeepSeek」VS「ClaudeCode+DeepSeek+SAG2」
两边都用DeepSeekV4.1Flash查这份十万词条库,一边是接入了SAG2,一边是原生的模型。
如果只给「李白」和「爱因斯坦」两个八竿子打不着的名字,看能不能顺着线索在几步之内连起来?要求只有一条:每一步都必须有确凿出处,绝对不能瞎编。
PS:终端的图不太好截,截出来也很难看。我就让AI根据真实结果画图展示了。
最终两组给出的答案完全不同:
原生组翻出了刘慈欣的作品表——《朝闻道》(又名爱因斯坦赤道)和《诗云》(又名李白),在科幻作家的作品集里同框了;
而接了SAG2的这边,先用关键词定位到学者林庚先生,再顺着SAG追查他的生平著作:他年轻时在清华物理系痴迷爱因斯坦相对论,后来成了写出《诗人李白》的文学巨擘!从相对论连到林庚,再连回李白,两头全有原文可查。
3、从几十万字研报,查芯片产业链
测完脑洞,再来个更硬核的场景:啃几十万字的大部头专业研报。
平时研究算力硬件、折腾本地模型,经常免不了去翻半导体研报。但大家看英文研报深有体会:动辄一两百页全英文,全是专业缩写和各种黑话,想从里面挖一个关键细节简直头大。。
比如大家都知道英伟达H100芯片用的是SK海力士的HBM3显存,走的是MR-MUF封装工艺。但我如果想深挖到底:谁给SK海力士独家供应核心的底层填充胶水(Underfill)?
这种隐秘的供应链事实,往往既不在官方通稿里,科技新闻也不会细说,可能深深埋在深度研报的某个角落。我正好有26份半导体深度研报,刚好拿来做测试一下。
结果差距很大:接了SAG2的这边仅调用了3次工具就找到了核心段落,一击命中Namics的供货原句;
而原生查找组在各个文档里像无头苍蝇一样乱翻,直到第11次工具调用才勉强蒙对!
4、代码排错,能不能直接定位?
最后给两组ClaudeCode都提供了SAGWikiv0.2.6的同一份源码,查底层Jev遇到网络错误时的重试逻辑。
原生组抓出一堆文件,逐个打开看;接了SAG2之后,提问直接扔过去,它直接带回了文件、行号和关键代码:明确命中HTTP499状态码重试时不增加失败计数!
总耗时从原生组的144秒直接降到了95秒。
看来SAG2不仅适合超大规模的快速检索,甚至在数据量不是那么大的场景里,也比原生模型要强得多。
「最后」
这几年在AI领域摸爬滚打,我经常会有一种恍惚感。
大家好像都卷进了一种技术执念里:模型参数越来越大,向量数据库要搞集群。系统越做越庞大、越做越贵,门槛也越来越高。
但SAG2给我的感觉完全相反。它没去搞那些重型架构,也没扯那些虚头巴脑的概念,反而退回到了Unix最朴素的一句话:一切皆文件。
用了几十年的BM25倒排索引,用轻巧灵动的动态超边,把繁重的计算推迟到真正需要的那一刻。
用10几MB的体积、几秒钟的建库速度,把曾经无比困难的多跳推理能力,平权交到了每一个普通人手里(当然,这也得感谢Jev,新技术的突破往往能带动其他技术突破)。
而且,它真的打破了数据就得处理后存到库才能检索的传统。现在是你的数据根本不用动,它全自动
这让我想起老子在《道德经》里说的那句话:大道至简,少则得,多则惑。
SAG2和SAGWiki已经全部开源,有需要的朋友非常建议亲自去试一下。
另外,这么的先锋开源项目,怎么能忍得住不点个Star呢?