vLLM 中的弹性专家并行（Elastic Expert Parallelism）
·11 分钟阅读
专家并行（EP）是实现混合专家模型（MoE）高吞吐推理的关键技术。宽 EP 部署（其中 EP 跨越多个工作节点）可最大化 KV 缓存容量，从而……
#大规模服务
12 文章
使用 vLLM x Mooncake 大规模服务智能体（Agentic）工作负载
·10 分钟阅读
TL;DR：智能体工作负载会生成大量共享前缀，这些前缀通常在不同轮次间反复计算。通过将 Mooncake 的分布式 KV 缓存存储集成到 vLLM，我们实现了 3.8 倍的吞吐量提升……
推动 vLLM WideEP 和大规模服务在 Blackwell 架构上的成熟（第一部分）
·10 分钟阅读
继我们之前通过 wide-EP 实现 2.2k tok/s/H200 解码吞吐量的工作之后，vLLM 团队继续致力于针对 NVIDIA GB200 平台的性能优化。这篇博客...
vLLM 大规模服务：使用 Wide-EP 在 H200 上达到 DeepSeek @ 2.2k tok/s
·8 分钟阅读
在 v0.11.0 中，vLLM V0 引擎的最后一部分代码被移除，标志着完全迁移到了改进后的 V1 引擎架构。这一成就离不开 vLLM 的...
用于可扩展多模态模型服务的编码器解耦
·9 分钟阅读
现代大型多模态模型（LMMs）引入了一个独特的服务时瓶颈：在任何文本生成开始之前，所有图像都必须由视觉编码器（例如 ViT）进行处理。此编码器……
vLLM Router：用于大规模推理的高性能、预填充/解码感知负载均衡器
·5分钟阅读
在 vLLM 的大规模生产部署中，高效管理跨模型副本的请求分发是一项关键需求。标准的负载均衡器往往力不从心，因为它们...
使用 Ray symmetric-run 简化多节点服务部署
·4分钟阅读
Ray 现在拥有了一个新命令：ray symmetric-run。该命令允许在 Ray 集群的每个节点上启动相同的入口点命令，从而简化了生成 vLLM 服务器的工作流程...
走进 vLLM：高吞吐量 LLM 推理系统的剖析
·41 分钟阅读
在这篇文章中，我将逐步介绍构成现代高吞吐量 LLM 推理系统的所有核心组件和高级功能。特别是，我将进行详细拆解……
使用 vLLM 加速 RLHF，来自 OpenRLHF 的最佳实践
·5分钟阅读
随着对具备推理能力的大语言模型（LLM）的需求增长，基于人类反馈的强化学习（RLHF）已成为一项基石技术。然而，传统的 RLHF...
介绍 AIBrix：vLLM 的可扩展、高性价比控制平面
·4 分钟阅读
今天，我们很高兴发布 vllm-project/aibrix：由字节跳动开发、功能完备的 vLLM Kubernetes 服务栈。AIBrix 始于 2024 年初，已成功部署到……
vLLM 分布式推理
·5分钟阅读
服务大模型时常会导致内存瓶颈，例如令人头疼的 CUDA 内存不足（OOM）错误。为了解决这个问题，主要有两种解决方案
使用 vLLM production-stack 在 K8s 中实现高性能且易于部署的 vLLM 服务
·4 分钟阅读
- vLLM 拥有最大的开源社区，但要将 vLLM 从最好的单节点 LLM 引擎转化为一流的 LLM 服务系统，需要做些什么？ - 今天，我们发布了“vLLM...