塔斯娱乐资讯网

10周亲手部署LLM推理服务,零基础到生产级 通过部署一个服务学习 LLM 推理

10周亲手部署LLM推理服务,零基础到生产级
通过部署一个服务学习 LLM 推理服务,10 周、每天 30 分钟,50 个单元全部围绕同一个产出物:一个兼容 OpenAI API 的推理服务。部署 → 埋点 → 压测 → 量化/投机解码优化 → 成本感知路由 → 发布可复现基准报告。

核心逻辑:
屋顶线模型先行,测量先于优化,量化/连续批处理/投机解码都是同一张图上的移动。路由器与单位经济并列,把美元成本写进代码。边缘部署最后且可选。

每天 30 分钟,每周 5 单元 + 2 天缓冲,共 25 小时。一块 24GB GPU 按半小时计费即可,仅第 5 周压测和第 8 周分离式架构需 H100。第 1/3/6/9 周大量无 GPU 阅读日,集中租用时间到构建日。

第 1 周:屋顶线模型、算术强度、预填充 vs 解码——手算模型算术强度。
第 2 周:vLLM 部署 + 读 PagedAttention 与 V1 调度器源码。
- 第 3 周:Prometheus/Grafana 埋点,TTFT、ITL、吞吐量、队列深度面板
第 4 周:SGLang + RadixAttention,与 vLLM 做前缀复用对比。
第 5 周:GuideLLM + genai-perf 压测至 1000 并发,双工具交叉验证。
第 6 周:FP8 / INT4(AWQ) 量化,吞吐量 × 质量代理对比表。
第 7 周:投机解码 + KV 驱逐,记录交叉点与负面结果。
第 8 周:DistServe 分离式预填充/解码 + K8s 基于队列深度自动扩缩。
第 9 周:单位经济推导 + 成本感知路由器 + Token 预算中间件。
第 10 周:发布固定版本号的可复现基准报告,建立每周论文阅读习惯。

扫描请求率、报告精确 Token 长度、p50/p95/p99 分离报告、TTFT 与解码延迟不合并、取曲线拐点而非饱和崩溃点、固定引擎版本并公开命令。

压测中 TTFT 飙升即抢占信号,先调"--max-num-seqs" 和显存利用率;INT4 质量损失 >1-2% 则弃用;投机解码在高 QPS 下变慢属正常,发布交叉点即可;K8s 运维失控时退回单节点 Docker,扩缩信号比集群本身重要。

patchy631/time-to-first-token

大模型 深度学习 算法 多模态人工智能 人工智能就业 AI人工智能 机器学习 机器学习