
追踪挂起和复杂的 GPU 内核,直达源代码
·13 分钟阅读
几个月前,我们发布了一篇关于 CUDA Core Dump 的博客文章:调试内存访问问题及其他问题的有效工具,介绍了一种用于调试非法内存访问的强大技术……
5 文章

几个月前,我们发布了一篇关于 CUDA Core Dump 的博客文章:调试内存访问问题及其他问题的有效工具,介绍了一种用于调试非法内存访问的强大技术……

来源:https://github.com/vllm-project/vllm-ascend

总结:为了与 vLLM 获得最佳兼容性,请使用聊天模板在 commit 94a4053eb8863059dd8afc00937f054e1365abbd (Kimi-K2-0905) 之后更新的 Kimi K2 模型,或者 commit……

总结:如果遇到“非法内存访问”错误,可以启用 CUDA core dump 来调试该问题。只需设置以下环境变量并再次运行程序……

大语言模型(LLM)推理领域正以前所未有的速度发展。随着每周都有新的模型和特性涌现,传统的软件发布流程往往难以跟上节奏。在 vLLM,我们……