传统存储无法满足AI推理需求。
吴俊杰,华为数据存储产品线副总裁。
传统的存储在AI时代已经不能满足AI推理的需求了。过去传统的业务,比如数据库,包括文件的访问、虚拟化,它更多的是无状态的,没有上下文关联的读取,它是一个一次性的操作。
但是到AI时代其实我们看到越来越多的复杂推理任务,在Agent推理的过程中,它会产生KV缓存,随着推理越来越深入,它可能还会产生一些记忆数据,这个是在以前传统业务里面没有的一些数据类型。
我们的AI数据平台主要解决三个问题。
·第一个是知识的检索效率和精度的问题,提升AI反馈的准确性。
·第二个是提供PB级的KV cache(池),来解决AI在长序列、多轮次推理过程推理体验,提升推理的效率。
·第三个提供一个记忆库,可以帮助AI在运行的过程中把一些经验给固化下来,让我们的AI越用越聪明。

