![【Bug已解决】[Bug]： Based on vllm 0.18.0 version, when the number of tensor parallelizations is greater t](images/news1.jpg)
【Bug已解决】[Bug] Based on vllm 0.18.0 version, when the number of tensor parallelizations is greater than 1, an error message will be reported [AMP ERROR] [CudaFrontend. cpp 94] [failed to call cuCtxGetDevice (device), error code CUDA-ERROR-INVALIDFHIR TEXT 解决方案一、现象长什么样在 vLLM 0.18.0 上把张量并行度--tensor-parallel-size简称 TP设成大于 1 时启动或首次推理会冒出一类来自 CUDA 前端的报错[AMP ERROR] [CudaFrontend.cpp:94] [failed to call cuCtxGetDevice(device), error code: CUDA_ERROR_INVALID]几个典型表征只在 TP 1 时出现TP 1 正常说明问题出在多卡时每张 worker 卡绑定不同 GPU的上下文管理上而不是单卡路径。报错在cuCtxGetDevice这个底层 CUDA 调用cuCtxGetDevice(device)的作用是返回当前线程当前 CUDA context 绑定的设备序号。返回CUDA_ERROR_INVALID意味着当前线程没有合法的、已绑定的 CUDA context或者说 context 状态损坏/失效。栈指向一个 CUDA 前端封装CudaFrontend.cppvLLM 0.18 引入的某个 CUDA 前端/辅助层在调用cuCtxGetDevice前没有确保当前线程已经cudaSetDevice到正确的卡、且对应的 context 已经创建并设为本线程当前 context。这不是 GPU 坏了而是多卡场景下某个 CUDA 前端代码路径在调用cuCtxGetDevice之前没有正确建立/绑定每张卡的 CUDA context。下面给出定位与修复。二、背景CUDA 的运行时模型是每线程一个当前 context一个线程要先cudaSetDevice(gpu_id)隐式创建并绑定该卡的 context之后cuCtxGetDevice才能正确返回当前设备。如果某个线程没调过cudaSetDevice或在一个线程里 push 了错误的 context或context 因为某些原因被 destroy / 失效那么cuCtxGetDevice(device)就会返回CUDA_ERROR_INVALID。vLLM 的 worker 进程在 TP 1 时每个 worker rank 会绑定到不同的 GPUcudaSetDevice(rank)。但 0.18.0 新增的CUDA 前端/辅助层issue 里叫CudaFrontend.cpp可能是 AMP 自动混合精度或某 kernel 调度前端里有一处代码在 worker 初始化早期、或在某个新建的线程如 connector / 后台线程里直接调用了cuCtxGetDevice而那个线程还没cudaSetDevice到正确卡——于是CUDA_ERROR_INVALID。关键矛盾TP1 时进程只碰一张卡主线程的 context 天然就对了TP1 时worker/后台线程如果不显式绑定自己的卡context 就是错的那张甚至没有于是cuCtxGetDevice失败。下面用可运行代码复现线程未绑定设备就查当前设备的问题并给出修复。三、根因拆成两条独立根因调用cuCtxGetDevice前未确保cudaSetDevice那个 CUDA 前端代码路径在查当前设备之前没有先cudaSetDevice(local_rank)。在 TP1 的 worker/后台线程里当前线程没有绑定过任何卡context 缺失 →CUDA_ERROR_INVALID。根因是缺少查设备前先绑卡的约定。多卡下 context 与线程错配vLLM 用进程/线程承载不同 rank。如果某个辅助线程如 KV 传输、统计复用了主线程的 context 假设或在新线程里直接做 CUDA 调用而新线程默认没有当前 context就会触发该错误。根因是线程级 context 管理缺失每个做 CUDA 调用的线程都必须先绑自己的卡。修复方向在调用cuCtxGetDevice之前强制cudaSetDevice(local_rank)确保 context对 CUDA 前端的封装层做设备守卫并校验驱动/CUDA 版本与该前端代码的兼容。四、最小可运行复现下面用 PyTorch 的线程 CUDA 复现线程未绑卡就查当前设备的判定逻辑import torch import threading def worker_query_device(bind_first: bool, gpu: int): 复现线程是否在查当前设备前先绑卡。 if bind_first: torch.cuda.set_device(gpu) # 先绑卡建立 context if not torch.cuda.is_available(): return 无 GPU跳过 cur torch.cuda.current_device() # 等价 cuCtxGetDevice return f当前设备 {cur} def run_in_thread(bind_first, gpu): results {} def t(): results[v] worker_query_device(bind_first, gpu) th threading.Thread(targett) th.start(); th.join() return results.get(v) if torch.cuda.is_available(): print(主线程(已绑卡):, worker_query_device(True, 0)) print(新线程未显式绑卡:, run_in_thread(False, 0)) print(新线程显式绑卡:, run_in_thread(True, 0))真实多卡下新线程未绑卡那条路径在 CUDA 前端里就对应cuCtxGetDevice返回CUDA_ERROR_INVALID。下面把它重做成设备守卫。五、解决方案第一层最小直接修复最小修复在 CUDA 前端封装调用cuCtxGetDevice之前强制cudaSetDevice(local_rank)确保每个做 CUDA 调用的线程都先建立并绑定自己的 context。import torch class CudaDeviceGuard: 设备守卫任何 CUDA 前端调用前确保当前线程已绑到正确卡。 def __init__(self, local_rank: int): self.local_rank local_rank self._prev None def __enter__(self): if torch.cuda.is_available(): self._prev torch.cuda.current_device() torch.cuda.set_device(self.local_rank) # 关键先绑卡建 context return self def __exit__(self, *exc): if torch.cuda.is_available() and self._prev is not None: torch.cuda.set_device(self._prev) def query_current_device_safe(local_rank: int): 等价 CudaFrontend 里 cuCtxGetDevice 的安全包装。 with CudaDeviceGuard(local_rank): if not torch.cuda.is_available(): raise RuntimeError(CUDA 不可用无法查询当前设备) device torch.cuda.current_device() # 现在必然合法 if not torch.cuda.is_initialized(): raise RuntimeError(frank {local_rank} 的 CUDA context 未初始化) return device # 用法每个 worker/后台线程在调 CUDA 前端前都包一层 dev query_current_device_safe(local_rank1) print(rank1 当前设备:, dev)这一层改动让cuCtxGetDevice即torch.cuda.current_device()调用前线程一定已经set_device到自己的卡、context 合法不再返回CUDA_ERROR_INVALID。六、解决方案第二层结构化改进把设备守卫做成结构化组件并在 vLLM 的 worker 初始化早期就按local_rank绑卡同时覆盖后台线程/connector 线程这类容易漏绑的场景。import torch from typing import Dict class RankDeviceBinder: 集中管理每个 rank 的 GPU 绑定杜绝错配。 def __init__(self): self._bound: Dict[int, int] {} # rank - gpu_id def bind_worker(self, rank: int, gpu_id: int): worker 启动时调用把 rank 绑到 gpu_id 并确保 context 建立。 torch.cuda.set_device(gpu_id) _ torch.zeros(1, devicefcuda:{gpu_id}) # 强制 context 真正建立 self._bound[rank] gpu_id def guard_thread(self, rank: int): 后台线程入口先按 rank 绑回正确卡再做事。 gpu self._bound.get(rank) if gpu is None: raise RuntimeError(frank {rank} 未绑定 GPU无法为线程建立 context) torch.cuda.set_device(gpu) # 用法worker 进程启动 binder RankDeviceBinder() binder.bind_worker(rank1, gpu_id1) def background_thread_job(rank): binder.guard_thread(rank) # 线程入口先绑卡 return query_current_device_safe(rank) import threading th threading.Thread(targetlambda: background_thread_job(1)) th.start(); th.join()RankDeviceBinder把rank → gpu映射和线程入口绑卡集中管理任何后台线程只要从guard_thread入口进就能保证 context 合法从根上消除cuCtxGetDevice的CUDA_ERROR_INVALID。七、解决方案第三层断言 / CI 守护这类 CUDA 上下文错误最怕线上多卡才崩、且只在特定线程。用断言守两条不变量def check_cuda_context_invariants(local_rank: int, gpu_id: int): torch.cuda.set_device(gpu_id) assert torch.cuda.current_device() gpu_id, 绑卡后当前设备不符 t torch.zeros(2, devicefcuda:{gpu_id}) assert t.device.index gpu_id dev query_current_device_safe(local_rank) assert dev gpu_id return True def test_tp_context(): if not torch.cuda.is_available(): print(无 GPU跳过真实测试) return n torch.cuda.device_count() for rank in range(min(2, n)): # 模拟 TP2 check_cuda_context_invariants(rank, rank) print(OK: TP1 CUDA context 不变量通过) if __name__ __main__: test_tp_context()把test_tp_context接进 CI需多卡 runner任何漏绑卡 / context 未建立就被查询的改动都会立即红。八、排查清单vLLM 0.18.0 报cuCtxGetDevice ... CUDA_ERROR_INVALID按序查先确认只在 TP1 出现TP1 正常基本就锁定多卡 context / 线程绑卡问题而非驱动或模型。定位调用cuCtxGetDevice的代码路径grepCudaFrontend.cpp:94或等价current_device()调用看它前面有没有cudaSetDevice(local_rank)。没有就是根因。每个做 CUDA 调用的线程都要先绑卡worker 线程、KV 传输线程、统计线程、connector 线程凡是在新线程里碰 CUDA 的入口必须torch.cuda.set_device(gpu)。强制 context 真正建立set_device是惰性的最好在绑卡后做一次空张量操作如torch.zeros(1, device...)把 context 真正建出来避免延迟到cuCtxGetDevice才首次触发、触发无效状态。rank 与 gpu 映射校验RankDeviceBinder保证 rank i 绑到 gpu i或按CUDA_VISIBLE_DEVICES映射后的逻辑卡别绑串。版本兼容CudaFrontend.cpp是 0.18 新增的 CUDA 前端层确认其依赖的 CUDA 驱动版本。某些老驱动对cuCtxGetDevice的行为不同升级驱动或回退 vLLM 到 0.17.x 可验证是否 0.18 专属回归。CUDA_VISIBLE_DEVICES一致性容器/启动脚本设置的可见卡必须和 TP 度要求的卡数匹配且逻辑卡号映射正确否则set_device到不存在的卡也会 INVALID。九、小结vLLM 0.18.0 在 TP1 时报[AMP ERROR] ... cuCtxGetDevice ... CUDA_ERROR_INVALID根因是多卡场景下某个 CUDA 前端代码路径在调用cuCtxGetDevice前没有确保当前线程已经cudaSetDevice到正确卡、context 合法——TP1 时主线程上下文天然正确TP1 时 worker/后台线程若漏绑卡就触发 INVALID。三层修复第一层CudaDeviceGuard上下文管理器在任何 CUDA 前端查询前强制set_device(local_rank) 校验 context 已初始化最小改动消掉CUDA_ERROR_INVALID第二层RankDeviceBinder集中管理 rank→gpu 映射worker 启动时绑卡并强制建 context后台线程从guard_thread入口进从根上消除错配第三层CI 断言守住绑卡后 current_device 正确 / context 可分配张量 / query 在守卫内成功多卡 runner 上任何漏绑卡立即红。落实后vLLM 0.18.0 在 TP1 时每个 worker/后台线程都会先绑好自己的卡再碰 CUDA 前端cuCtxGetDevice稳定返回正确设备不再抛CUDA_ERROR_INVALID。
【Bug已解决】[Bug]： Based on vllm 0.18.0 version, when the number of tensor parallelizations is greater t
【Bug已解决】[Bug] Based on vllm 0.18.0 version, when the number of tensor parallelizations is greater than 1, an error message will be reported [AMP ERROR] [CudaFrontend. cpp 94] [failed to call cuCtxGetDevice (device), error code CUDA-ERROR-INVALIDFHIR TEXT 解决方案一、现象长什么样在 vLLM 0.18.0 上把张量并行度--tensor-parallel-size简称 TP设成大于 1 时启动或首次推理会冒出一类来自 CUDA 前端的报错[AMP ERROR] [CudaFrontend.cpp:94] [failed to call cuCtxGetDevice(device), error code: CUDA_ERROR_INVALID]几个典型表征只在 TP 1 时出现TP 1 正常说明问题出在多卡时每张 worker 卡绑定不同 GPU的上下文管理上而不是单卡路径。报错在cuCtxGetDevice这个底层 CUDA 调用cuCtxGetDevice(device)的作用是返回当前线程当前 CUDA context 绑定的设备序号。返回CUDA_ERROR_INVALID意味着当前线程没有合法的、已绑定的 CUDA context或者说 context 状态损坏/失效。栈指向一个 CUDA 前端封装CudaFrontend.cppvLLM 0.18 引入的某个 CUDA 前端/辅助层在调用cuCtxGetDevice前没有确保当前线程已经cudaSetDevice到正确的卡、且对应的 context 已经创建并设为本线程当前 context。这不是 GPU 坏了而是多卡场景下某个 CUDA 前端代码路径在调用cuCtxGetDevice之前没有正确建立/绑定每张卡的 CUDA context。下面给出定位与修复。二、背景CUDA 的运行时模型是每线程一个当前 context一个线程要先cudaSetDevice(gpu_id)隐式创建并绑定该卡的 context之后cuCtxGetDevice才能正确返回当前设备。如果某个线程没调过cudaSetDevice或在一个线程里 push 了错误的 context或context 因为某些原因被 destroy / 失效那么cuCtxGetDevice(device)就会返回CUDA_ERROR_INVALID。vLLM 的 worker 进程在 TP 1 时每个 worker rank 会绑定到不同的 GPUcudaSetDevice(rank)。但 0.18.0 新增的CUDA 前端/辅助层issue 里叫CudaFrontend.cpp可能是 AMP 自动混合精度或某 kernel 调度前端里有一处代码在 worker 初始化早期、或在某个新建的线程如 connector / 后台线程里直接调用了cuCtxGetDevice而那个线程还没cudaSetDevice到正确卡——于是CUDA_ERROR_INVALID。关键矛盾TP1 时进程只碰一张卡主线程的 context 天然就对了TP1 时worker/后台线程如果不显式绑定自己的卡context 就是错的那张甚至没有于是cuCtxGetDevice失败。下面用可运行代码复现线程未绑定设备就查当前设备的问题并给出修复。三、根因拆成两条独立根因调用cuCtxGetDevice前未确保cudaSetDevice那个 CUDA 前端代码路径在查当前设备之前没有先cudaSetDevice(local_rank)。在 TP1 的 worker/后台线程里当前线程没有绑定过任何卡context 缺失 →CUDA_ERROR_INVALID。根因是缺少查设备前先绑卡的约定。多卡下 context 与线程错配vLLM 用进程/线程承载不同 rank。如果某个辅助线程如 KV 传输、统计复用了主线程的 context 假设或在新线程里直接做 CUDA 调用而新线程默认没有当前 context就会触发该错误。根因是线程级 context 管理缺失每个做 CUDA 调用的线程都必须先绑自己的卡。修复方向在调用cuCtxGetDevice之前强制cudaSetDevice(local_rank)确保 context对 CUDA 前端的封装层做设备守卫并校验驱动/CUDA 版本与该前端代码的兼容。四、最小可运行复现下面用 PyTorch 的线程 CUDA 复现线程未绑卡就查当前设备的判定逻辑import torch import threading def worker_query_device(bind_first: bool, gpu: int): 复现线程是否在查当前设备前先绑卡。 if bind_first: torch.cuda.set_device(gpu) # 先绑卡建立 context if not torch.cuda.is_available(): return 无 GPU跳过 cur torch.cuda.current_device() # 等价 cuCtxGetDevice return f当前设备 {cur} def run_in_thread(bind_first, gpu): results {} def t(): results[v] worker_query_device(bind_first, gpu) th threading.Thread(targett) th.start(); th.join() return results.get(v) if torch.cuda.is_available(): print(主线程(已绑卡):, worker_query_device(True, 0)) print(新线程未显式绑卡:, run_in_thread(False, 0)) print(新线程显式绑卡:, run_in_thread(True, 0))真实多卡下新线程未绑卡那条路径在 CUDA 前端里就对应cuCtxGetDevice返回CUDA_ERROR_INVALID。下面把它重做成设备守卫。五、解决方案第一层最小直接修复最小修复在 CUDA 前端封装调用cuCtxGetDevice之前强制cudaSetDevice(local_rank)确保每个做 CUDA 调用的线程都先建立并绑定自己的 context。import torch class CudaDeviceGuard: 设备守卫任何 CUDA 前端调用前确保当前线程已绑到正确卡。 def __init__(self, local_rank: int): self.local_rank local_rank self._prev None def __enter__(self): if torch.cuda.is_available(): self._prev torch.cuda.current_device() torch.cuda.set_device(self.local_rank) # 关键先绑卡建 context return self def __exit__(self, *exc): if torch.cuda.is_available() and self._prev is not None: torch.cuda.set_device(self._prev) def query_current_device_safe(local_rank: int): 等价 CudaFrontend 里 cuCtxGetDevice 的安全包装。 with CudaDeviceGuard(local_rank): if not torch.cuda.is_available(): raise RuntimeError(CUDA 不可用无法查询当前设备) device torch.cuda.current_device() # 现在必然合法 if not torch.cuda.is_initialized(): raise RuntimeError(frank {local_rank} 的 CUDA context 未初始化) return device # 用法每个 worker/后台线程在调 CUDA 前端前都包一层 dev query_current_device_safe(local_rank1) print(rank1 当前设备:, dev)这一层改动让cuCtxGetDevice即torch.cuda.current_device()调用前线程一定已经set_device到自己的卡、context 合法不再返回CUDA_ERROR_INVALID。六、解决方案第二层结构化改进把设备守卫做成结构化组件并在 vLLM 的 worker 初始化早期就按local_rank绑卡同时覆盖后台线程/connector 线程这类容易漏绑的场景。import torch from typing import Dict class RankDeviceBinder: 集中管理每个 rank 的 GPU 绑定杜绝错配。 def __init__(self): self._bound: Dict[int, int] {} # rank - gpu_id def bind_worker(self, rank: int, gpu_id: int): worker 启动时调用把 rank 绑到 gpu_id 并确保 context 建立。 torch.cuda.set_device(gpu_id) _ torch.zeros(1, devicefcuda:{gpu_id}) # 强制 context 真正建立 self._bound[rank] gpu_id def guard_thread(self, rank: int): 后台线程入口先按 rank 绑回正确卡再做事。 gpu self._bound.get(rank) if gpu is None: raise RuntimeError(frank {rank} 未绑定 GPU无法为线程建立 context) torch.cuda.set_device(gpu) # 用法worker 进程启动 binder RankDeviceBinder() binder.bind_worker(rank1, gpu_id1) def background_thread_job(rank): binder.guard_thread(rank) # 线程入口先绑卡 return query_current_device_safe(rank) import threading th threading.Thread(targetlambda: background_thread_job(1)) th.start(); th.join()RankDeviceBinder把rank → gpu映射和线程入口绑卡集中管理任何后台线程只要从guard_thread入口进就能保证 context 合法从根上消除cuCtxGetDevice的CUDA_ERROR_INVALID。七、解决方案第三层断言 / CI 守护这类 CUDA 上下文错误最怕线上多卡才崩、且只在特定线程。用断言守两条不变量def check_cuda_context_invariants(local_rank: int, gpu_id: int): torch.cuda.set_device(gpu_id) assert torch.cuda.current_device() gpu_id, 绑卡后当前设备不符 t torch.zeros(2, devicefcuda:{gpu_id}) assert t.device.index gpu_id dev query_current_device_safe(local_rank) assert dev gpu_id return True def test_tp_context(): if not torch.cuda.is_available(): print(无 GPU跳过真实测试) return n torch.cuda.device_count() for rank in range(min(2, n)): # 模拟 TP2 check_cuda_context_invariants(rank, rank) print(OK: TP1 CUDA context 不变量通过) if __name__ __main__: test_tp_context()把test_tp_context接进 CI需多卡 runner任何漏绑卡 / context 未建立就被查询的改动都会立即红。八、排查清单vLLM 0.18.0 报cuCtxGetDevice ... CUDA_ERROR_INVALID按序查先确认只在 TP1 出现TP1 正常基本就锁定多卡 context / 线程绑卡问题而非驱动或模型。定位调用cuCtxGetDevice的代码路径grepCudaFrontend.cpp:94或等价current_device()调用看它前面有没有cudaSetDevice(local_rank)。没有就是根因。每个做 CUDA 调用的线程都要先绑卡worker 线程、KV 传输线程、统计线程、connector 线程凡是在新线程里碰 CUDA 的入口必须torch.cuda.set_device(gpu)。强制 context 真正建立set_device是惰性的最好在绑卡后做一次空张量操作如torch.zeros(1, device...)把 context 真正建出来避免延迟到cuCtxGetDevice才首次触发、触发无效状态。rank 与 gpu 映射校验RankDeviceBinder保证 rank i 绑到 gpu i或按CUDA_VISIBLE_DEVICES映射后的逻辑卡别绑串。版本兼容CudaFrontend.cpp是 0.18 新增的 CUDA 前端层确认其依赖的 CUDA 驱动版本。某些老驱动对cuCtxGetDevice的行为不同升级驱动或回退 vLLM 到 0.17.x 可验证是否 0.18 专属回归。CUDA_VISIBLE_DEVICES一致性容器/启动脚本设置的可见卡必须和 TP 度要求的卡数匹配且逻辑卡号映射正确否则set_device到不存在的卡也会 INVALID。九、小结vLLM 0.18.0 在 TP1 时报[AMP ERROR] ... cuCtxGetDevice ... CUDA_ERROR_INVALID根因是多卡场景下某个 CUDA 前端代码路径在调用cuCtxGetDevice前没有确保当前线程已经cudaSetDevice到正确卡、context 合法——TP1 时主线程上下文天然正确TP1 时 worker/后台线程若漏绑卡就触发 INVALID。三层修复第一层CudaDeviceGuard上下文管理器在任何 CUDA 前端查询前强制set_device(local_rank) 校验 context 已初始化最小改动消掉CUDA_ERROR_INVALID第二层RankDeviceBinder集中管理 rank→gpu 映射worker 启动时绑卡并强制建 context后台线程从guard_thread入口进从根上消除错配第三层CI 断言守住绑卡后 current_device 正确 / context 可分配张量 / query 在守卫内成功多卡 runner 上任何漏绑卡立即红。落实后vLLM 0.18.0 在 TP1 时每个 worker/后台线程都会先绑好自己的卡再碰 CUDA 前端cuCtxGetDevice稳定返回正确设备不再抛CUDA_ERROR_INVALID。
