vLLM Semantic Router v0.2 Athena：ClawOS、模型更新与系统大脑
·23 分钟阅读
自 v0.1 Iris 发布以来，vLLM Semantic Router 取得了巨大的飞跃。在同一个发布周期内，该项目重建了模型栈，将路由功能扩展到了安全性、语义缓存、内存、检索等领域……
#生态系统
15 文章
在 AMD GPU 上使用 vLLM-SR 构建混合模型 (MoM)
·10 分钟阅读
我们正在致力于构建混合模型 (MoM) 的系统级智能，将集体智能引入 LLM 系统。
vLLM Semantic Router v0.1 Iris：首个重大版本
·9 分钟阅读
vLLM Semantic Router 是混合模型 (MoM) 的系统级智能，将集体智能引入 LLM 系统。它位于用户和模型之间，从……中捕获信号
介绍 vLLM Playground：用于管理和交互 vLLM 服务器的现代 Web 界面
·6 分钟阅读
作为一名热情的 vLLM 社区成员，希望看到 vLLM 蓬勃发展并触及更多开发者，我很高兴宣布 vLLM Playground —— 一个功能丰富的现代 Web 界面，用于管理和……
vLLM-Omni 扩散模型缓存加速
·4 分钟阅读
我们非常高兴地宣布 vLLM-Omni 的一次重大性能更新。
AMD × vLLM 语义路由：共同构建系统智能
·11 分钟阅读
在过去的几个月里，AMD 与 vLLM SR 团队展开合作，将 vLLM 语义路由 (VSR) 引入 AMD GPU——这不仅仅是一次性能优化，更是……
Token 级真相：生产环境大语言模型的实时幻觉检测
·13 分钟阅读
你的大语言模型刚刚调用了一个工具，收到了准确的数据，却依然给出了错误的答案。欢迎来到外在幻觉的世界——在这里，模型自信地忽略了摆在面前的基础事实……
深入探究 vLLM 的投机采样训练支持：Speculators v0.3.0
·11 分钟阅读
- 投机采样是提升推理性能的一种优化手段；然而，为每个大语言模型训练一个独特的草稿模型既困难又耗时，而生产就绪的……
推进大模型低比特量化：AutoRound x LLM Compressor
·5 分钟阅读
在不牺牲精度的前提下，实现更快、更高效的大模型服务！
vLLM-Omni 发布：简便、快速且经济的全模态模型服务
·4 分钟阅读
我们很高兴宣布正式发布 vLLM-Omni，这是 vLLM 生态系统的一个重大扩展，旨在支持下一代 AI：全模态模型。
信号决策驱动架构：重塑大规模语义路由
·14 分钟阅读
早期版本的 vLLM 语义路由依赖于基于分类的路由，这是一种直观的方法：将用户查询分类到 14 个 MMLU 领域类别之一，然后……
从单体到模块化：利用可扩展 LoRA 扩展语义路由
·8 分钟阅读
语义路由系统面临着扩展性挑战。当每个分类请求都需要独立运行多个微调模型时，计算成本会随着模型数量的增加而线性增长……
vLLM 语义路由：大语言模型推理的新阶段
·4 分钟阅读
在过去的一年中，混合推理和自动路由日益成为大模型基础设施进步的标志——将讨论重点从纯粹的规模转向了单 Token 效率、延迟……
介绍 AIBrix：vLLM 的可扩展、高性价比控制平面
·4 分钟阅读
今天，我们很高兴发布 vllm-project/aibrix：由字节跳动开发、功能完备的 vLLM Kubernetes 服务栈。AIBrix 始于 2024 年初，已成功部署到……
使用 vLLM production-stack 在 K8s 中实现高性能且易于部署的 vLLM 服务
·4 分钟阅读
- vLLM 拥有最大的开源社区，但要将 vLLM 从最好的单节点 LLM 引擎转化为一流的 LLM 服务系统，需要做些什么？ - 今天，我们发布了“vLLM...