塔斯娱乐资讯网

写了个分词逻辑让单独测试 8 个约 19.5 万 token 输入,分词从约 3.4 秒降到 0.9 秒且结果一致,但是总体耗时没变,查了半天,cpu多线程分词速度确实没问题,但是分词到 tokens的embedding process结果gpu被排队了,可能真得要b300了,不然写的优化没用 ​

写了个分词逻辑让单独测试 8 个约 19.5 万 token 输入,分词从约 3.4 秒降到 0.9 秒且结果一致,但是总体耗时没变,查了半天,cpu多线程分词速度确实没问题,但是分词到 tokens的embedding process结果gpu被排队了,可能真得要b300了,不然写的优化没用 ​