目录一、Jetson Thor 的“显存”是多少二、实际可用显存三、与普通GPU显存区别非常重要1 统一内存2 带宽差异四、Jetson Thor 能跑多大的模型五、真实开发中显存分配六、Jetson Thor 的核心优势在NVIDIA Jetson Thor上显存的概念和普通 GPU比如 RTX4090不完全一样需要注意两个关键点。一、Jetson Thor 的“显存”是多少Jetson Thor 使用统一内存Unified MemoryCPU 和 GPU共享同一块内存。最大配置128 GB LPDDR5X 内存带宽约273 GB/s(electronicdesign.com)也就是说CPU RAM GPU VRAM 同一块128GB内存所以理论上GPU最多可以使用接近 128GB 的显存。二、实际可用显存实际开发中系统 CUDA 程序也会占用内存。通常可用大约总内存实际AI可用128GB100–120GB64GB版本50–60GB例如 NVIDIA 官方 CUDA 查询示例显示Total amount of global memory: 125772 MB大约123GB GPU可用内存。 (NVIDIA Docs)三、与普通GPU显存区别非常重要设备显存类型显存RTX4090GDDR6X24GBA100HBM80GBJetson ThorLPDDR5X共享128GB关键区别1 统一内存JetsonCPU和GPU共享普通GPUCPU RAM ≠ GPU VRAM2 带宽差异GPU带宽RTX4090~1000 GB/sA100~2000 GB/sJetson Thor~273 GB/s所以容量大但带宽较低。这也是 Jetson适合推理不适合训练的原因。四、Jetson Thor 能跑多大的模型大致参考模型能否运行7B LLM轻松13B没问题34B可以70B量化后可以很多人用 Thor 运行VLMVLAdiffusion机器人模型因为128GB 内存非常大。五、真实开发中显存分配例如运行YOLO SLAM ROS2典型占用模块显存YOLO2–6GBSLAM4–10GBROS1GB系统5GB总计≈ 20GB对于128GB来说非常充裕。六、Jetson Thor 的核心优势相比上一代NVIDIA Jetson AGX Orin设备内存Orin64GBThor128GBThor 的目标机器人 多模态AI例如多相机视觉语言模型SLAM控制模型同时运行。总结Jetson Thor 可运行显存理论最大128GB 实际AI可用约100–120GB但注意带宽远低于数据中心GPU所以推理 机器人 多模型 大规模训练 ❌
jetson thor上的显存
目录一、Jetson Thor 的“显存”是多少二、实际可用显存三、与普通GPU显存区别非常重要1 统一内存2 带宽差异四、Jetson Thor 能跑多大的模型五、真实开发中显存分配六、Jetson Thor 的核心优势在NVIDIA Jetson Thor上显存的概念和普通 GPU比如 RTX4090不完全一样需要注意两个关键点。一、Jetson Thor 的“显存”是多少Jetson Thor 使用统一内存Unified MemoryCPU 和 GPU共享同一块内存。最大配置128 GB LPDDR5X 内存带宽约273 GB/s(electronicdesign.com)也就是说CPU RAM GPU VRAM 同一块128GB内存所以理论上GPU最多可以使用接近 128GB 的显存。二、实际可用显存实际开发中系统 CUDA 程序也会占用内存。通常可用大约总内存实际AI可用128GB100–120GB64GB版本50–60GB例如 NVIDIA 官方 CUDA 查询示例显示Total amount of global memory: 125772 MB大约123GB GPU可用内存。 (NVIDIA Docs)三、与普通GPU显存区别非常重要设备显存类型显存RTX4090GDDR6X24GBA100HBM80GBJetson ThorLPDDR5X共享128GB关键区别1 统一内存JetsonCPU和GPU共享普通GPUCPU RAM ≠ GPU VRAM2 带宽差异GPU带宽RTX4090~1000 GB/sA100~2000 GB/sJetson Thor~273 GB/s所以容量大但带宽较低。这也是 Jetson适合推理不适合训练的原因。四、Jetson Thor 能跑多大的模型大致参考模型能否运行7B LLM轻松13B没问题34B可以70B量化后可以很多人用 Thor 运行VLMVLAdiffusion机器人模型因为128GB 内存非常大。五、真实开发中显存分配例如运行YOLO SLAM ROS2典型占用模块显存YOLO2–6GBSLAM4–10GBROS1GB系统5GB总计≈ 20GB对于128GB来说非常充裕。六、Jetson Thor 的核心优势相比上一代NVIDIA Jetson AGX Orin设备内存Orin64GBThor128GBThor 的目标机器人 多模态AI例如多相机视觉语言模型SLAM控制模型同时运行。总结Jetson Thor 可运行显存理论最大128GB 实际AI可用约100–120GB但注意带宽远低于数据中心GPU所以推理 机器人 多模型 大规模训练 ❌
