从 vLLM 中提取隐藏状态
·8 分钟阅读
PR #33736（包含在 vllm >= v0.18.0 中）为 vLLM 引入了一个新的隐藏状态提取系统。这篇博客文章探讨了该功能的动机、设计、使用方法和未来方向，并……
#推测解码
5 文章
P-EAGLE：通过 vLLM 中的并行投机采样实现更快的 LLM 推理
·12 分钟阅读
EAGLE 是目前大型语言模型 (LLM) 推理中投机采样领域最先进的方法，但其自回归草稿生成过程会产生一个隐蔽的瓶颈：生成的 Token 越多...
深入探究 vLLM 的投机采样训练支持：Speculators v0.3.0
·11 分钟阅读
- 投机采样是提升推理性能的一种优化手段；然而，为每个大语言模型训练一个独特的草稿模型既困难又耗时，而生产就绪的……
走进 vLLM：高吞吐量 LLM 推理系统的剖析
·41 分钟阅读
在这篇文章中，我将逐步介绍构成现代高吞吐量 LLM 推理系统的所有核心组件和高级功能。特别是，我将进行详细拆解……
投机采样如何将 vLLM 性能提升高达 2.8 倍
·10 分钟阅读
vLLM 中的投机采样是一种强大的技术，通过结合使用小型和大型模型来加速 Token 生成。在本博客中，我们将解析投机采样在...