专题：speculative-decoding

Cloudflare 为 Workers AI 平台推出了一套完整的超大规模语言模型部署方案。通过预填充‑解码分离、提示缓存、跨 GPU KV 缓存以及推测性解码等技术，实现了首令牌延迟下降 3‑5 倍、缓存命中率提升至 80% 等性能突破。自研的 Infire 推理引擎进一步支持多 GPU、降低内存占用并将冷启动时间压至 20 秒，整体吞吐提升约 20%…

P-EAGLE 是一种通过并行生成草稿令牌提升 LLM 推理速度的新方法，解决了 EAGLE 自回归生成导致的性能瓶颈。它已在 vLLM 中集成，提供预训练模型，支持多种基准测试，并在不同并发度下实现显著加速。

本文标题指出，其核心内容是对大型语言模型（LLM）推理优化技术'Speculative Decoding'提供一个精彩的互动式解释。Speculative Decoding是一种前沿的推理加速策略，旨在显著提升LLM的生成速度并降低计算成本。其基本原理是利用一个小型、快速的“草稿模型”（draft model）预先生成一批候选词元，然后由大型、高质量的“目…