塔斯娱乐资讯网

3升小钢炮能跑30B大模型!索泰迷你主机发布:41999元,AI算力1860TO

3升小钢炮能跑30B大模型!索泰迷你主机发布:41999元,AI算力1860TOPS
大模型本地部署,通常意味着几十万起步的服务器集群,或者占满半个机房的算力柜。
而索泰最近发布的这款新品,试图把整套方案塞进一台3.03升的小盒子里。8月17日,索泰ZBOX QU29N5000迷你主机正式上架京东。整机体积仅3.03升,尺寸约210×203×71mm,差不多就是两本厚词典叠起来的大小。
但它的性能配置,一点都不“迷你”。最高搭载英特尔酷睿Ultra 9处理器,配NVIDIA RTX PRO 5000专业显卡,24GB GDDR7显存,综合AI算力峰值达到1860 TOPS。
1860 TOPS什么概念?
目前主流消费级显卡的AI算力在几百到一千多TOPS区间,而QU29N5000直接把专业卡塞进这么小的机身,算力密度达到614 TOPS/升。配合TensorRT、vLLM等主流推理框架,这台小主机可以单机流畅运行7B到30B参数规模的大模型,支持FP16、FP8、FP4等多种精度。
对需要本地部署大模型又担心数据出域的行业客户来说,核心数据全程不出域,从源头规避泄露风险。
“准系统”形态,扩展自由度拉满
这款产品采用准系统形态出货——出厂不含内存和硬盘,用户可以按需配置。配备双DDR5 SO-DIMM笔记本内存插槽,最高支持96GB DDR5 6400内存;存储提供PCIe 5.0×4和PCIe 4.0×4两个M.2插槽,外加一个2.5英寸SATA硬盘位。
接口也相当丰富:前置USB-C、USB-A 3.2和高速SD读卡器;后置两个雷电4、四个USB-A 3.2,外加5G网口+千兆网口双网口组合,以及Wi-Fi 7和蓝牙5.4。视频输出方面,RTX PRO 5000提供3个DP 2.1b和1个HDMI 2.1b,支持多屏专业显示。
专业卡加持,不只是跑AI
RTX PRO 5000支持ISV独立软件供应商认证,针对SolidWorks、AutoCAD、3ds Max等专业软件深度优化驱动,能有效规避渲染报错或死机等兼容性问题。
机身采用强化抗震结构设计,既能适应工业振动环境,也便于嵌入式系统集成,还可支持非标外观定制。
41999元,值不值?
这个价格确实不便宜,但目标用户也很明确——需要本地化部署大模型的企业、需要边缘AI算力的工业场景、具身智能机器人本体集成、数字孪生可视化等专业领域。
对那些想用AI又不想把数据交给云端的企业来说,这台“3升小钢炮”提供了一个可选项。41999元值不值,取决于你的数据值多少钱。