“指标校准 具体方案 部署优化”。核验到的公开资料支持这些模型的轻量化方向1. TinyGPT-VJetson Xavier 边缘实时 VQA 方案TinyGPT-V 的公开论文定位是小型多模态大模型使用Phi-2 语言模型 预训练视觉编码器 映射模块面向图像描述和 VQA 等任务论文摘要中明确提到 2.8B 语言模型、24GB 训练、8GB 级推理并通过量化适配资源受限设备。([arXiv][1])1.1 适合的真实落地场景更准确地说TinyGPT-V 不适合“每一帧都完整生成长文本答案”而适合无人机 / 安防摄像头 / 移动巡检设备 ↓ 25FPS 视频采集与轻量检测 ↓ 低频关键帧触发 VQA ↓ 输出短答案 / 事件解释 / 告警原因例如场景TinyGPT-V作用无人机巡检判断“画面中是否有烟雾/裂缝/人员聚集”智能安防对检测到的异常区域做语义确认机器人巡检对仪表、设备状态、场景异常做问答售货柜验货对低置信SKU、遮挡、反光、包装变化做复核1.2 推荐工程架构CSI/USB Camera ↓ GStreamer / V4L2 零拷贝采集 ↓ 轻量检测器 YOLOv8n / YOLO11n / MobileNet-SSD ↓ ROI裁剪 / 关键帧筛选 ↓ Vision EncoderCLIP / EVA / BLIP-2 encoderTensorRT FP16/INT8 ↓ Projector / Q-Former / Linear Mapper ↓ TinyGPT-V LLMPhi-2 2.7BINT4/INT8 ↓ 短文本输出 / JSON输出 / 告警规则关键点25FPS 应该理解为视频感知链路 25FPS而不是完整 VQA 生成 25次/秒。在 Jetson Xavier 上更现实的配置是模块频率视频采集25/30 FPSYOLO轻量检测10–25 FPSVQA语义确认1–5 Hz短答案 yes/no 分类可接近更高频率长文本解释低频触发1.3 部署优化重点A. 模型压缩Vision EncoderFP16 或 INT8 TensorRT ProjectorFP16 LLMINT4 / INT8 KV CacheFP16 / INT8 输出max_new_tokens 控制在 8~32TinyGPT-V 论文和项目方向本身强调小骨干和量化适配 8GB 级设备。([arXiv][1])推荐量化策略组件推荐精度原因Vision EncoderFP16 / INT8图像编码计算密集适合 TensorRTProjectorFP16参数少保精度LLM 权重INT4 / INT8降低显存占用KV CacheFP16 / INT8降低长上下文显存压力Embedding / NormFP16避免量化损伤过大B. 输入裁剪不要直接把整张 1080p 图送进 VLM。建议原图 1920x1080 ↓ YOLO检测候选区域 ↓ 扩边 crop例如 bbox 外扩 10%~20% ↓ resize 到 224 / 336 / 448 ↓ 送入 TinyGPT-V这样可以显著减少视觉 token 数和图像编码开销。C. Prompt 固定化不要使用开放式长 prompt请详细描述画面中发生了什么并分析是否存在风险……应该改成短模板Question: Is there smoke in the image? Answer yes or no. Question: Is the person wearing a helmet? Answer yes or no. Question: Is this shelf blocked? Answer one of: normal, occluded, blurry, reflective.对边缘端来说生成 token 越少延迟越稳定。D. 异步流水线Thread 1采集 Thread 2检测 Thread 3ROI队列 Thread 4VLM推理 Thread 5事件规则/上报队列策略if queue.size() N: drop_old_frames() keep_latest_keyframe()VLM 不追求处理每一帧而是处理“最有价值的关键帧”。2. LLaVA-Mini LoRA医疗影像分析方案LLaVA-Mini 的核心不是单纯缩小 LLM而是把视觉 token 极限压缩到 1 个视觉 token。论文摘要中提到它通过 modality pre-fusion 将视觉信息提前融合进文本 token从而把输入 LLM 的视觉 token 从传统大量 token 压缩到 1 个论文还报告了 77% FLOPs 降低、低延迟响应和长视频处理能力。([arXiv][2])2.1 为什么适合胸片 / 医疗影像医疗影像任务常见特点输入图像较固定X-ray / CT / MRI 任务类别明确肺炎、气胸、积液、结节、异常/正常 输出格式固定分类结果 解释 实时性要求中等秒级可接受 显存资源有限医院边缘工作站 / 小GPU / 本地盒子所以它适合用LLaVA-Mini / CXR-LLaVA / LLaVA-Med LoRA / QLoRA 医疗影像数据微调 结构化输出CXR-LLaVA 是更直接的胸片方向案例它使用公开胸片数据构建开放多模态模型数据规模包括 592,580 张公开 CXR其中一部分带异常标签、一部分带放射报告论文报告 MIMIC 内部测试六类主要发现平均 F1 为 0.81外部测试七类平均 F1 为 0.62并强调仍有性能限制。([arXiv][3])2.2 具体训练方案数据 Chest X-ray 图像 标签normal / pneumonia / edema / pneumothorax / cardiomegaly ... 报告radiology report / impression / finding 预处理 DICOM转PNG 灰度归一化 CLAHE增强 去除边框/文字 肺野区域裁剪 resize 336 或 448 模型 Vision Encoder 冻结 Projector / Modality Pre-fusion 可训练 LLM 使用 LoRA / QLoRA 分类头可选 输出 { finding: pneumonia, confidence: 0.87, evidence: right lower lung opacity, need_radiologist_review: true }2.3 4GB 显存下的可行边界“4GB 显存完成医疗 VLM 微调”要谨慎理解。更现实的分层是模式4GB是否可行说明INT4 推理可行性较高小模型 batch1 短输出LoRA 微调 projector可行冻结大部分参数QLoRA 微调小 LLM勉强可行需要 batch1、梯度检查点、CPU offload端到端全量微调不现实显存远远不够高分辨率胸片多标签训练不建议需要更大GPU或分布式推荐配置model:vision_encoder:frozenllm_precision:int4train_modules:-projector-lora_qkv-lora_mlplora:r:8alpha:16dropout:0.05data:image_size:336batch_size:1gradient_accumulation_steps:16max_text_len:128runtime:gradient_checkpointing:truecpu_offload:truemixed_precision:fp162.4 医疗部署优化A. 输出必须结构化不要让模型自由生成诊断结论。建议{normal:false,findings:[{name:pneumonia,confidence:0.82,region:right lower lung,severity:moderate}],recommendation:radiologist_review}B. 增加传统模型兜底医疗场景不要只依赖 VLMDenseNet / EfficientNet / ConvNeXt 医疗分类器 ↓ Grad-CAM / 热力图 ↓ LLaVA-Mini / CXR-LLaVA 生成解释 ↓ 规则校验 ↓ 医生确认C. 安全边界医疗 VLM 更适合做辅助筛查 报告草稿 异常提示 影像问答 医生工作流加速不适合直接做最终诊断 自动开处方 无人审核的临床决策3. VL-Mamba自动驾驶 / 车载感知方案VL-Mamba 的核心是把传统 Transformer LLM 替换为Mamba 状态空间模型 SSM目标是利用线性序列建模能力降低长序列推理成本。VL-Mamba 论文摘要明确指出Transformer 注意力存在二次复杂度开销而 VL-Mamba 使用 SSM 获得长序列建模、快速推理和序列长度线性扩展能力。([arXiv][4])但要注意VL-Mamba 本身不是标准自动驾驶检测器。更合理的工程方案是YOLO / BEV / Occupancy / Tracker 负责实时检测 VL-Mamba / Vision Mamba 负责长序列语义理解、场景解释、异常判断Vision Mamba / Vim 在视觉 backbone 上已经展示了高分辨率视觉任务的效率潜力论文摘要中报告 Vim 在 1248×1248 图像特征提取时比 DeiT 快 2.8 倍并节省 86.8% GPU 显存。([arXiv][5])3.1 自动驾驶中合理的使用位置Camera 30Hz ↓ ISP / resize / undistort ↓ YOLO / RT-DETR / BEVFormer / StreamPETR ↓ TrackingByteTrack / DeepSORT / Kalman ↓ VL-Mamba / Vision-Mamba 语义模块 ↓ 风险解释 / 驾驶策略辅助 / 事件记录适合 VL-Mamba 的任务任务是否适合10Hz 物体检测不建议单独依赖 VL-Mamba多帧场景理解适合长时序事件判断适合车载异常解释适合行车记录自动摘要适合语义地图更新可探索安全闭环控制需要传统控制兜底3.2 推荐架构多路摄像头 ↓ 轻量检测器YOLOv8n / YOLO11n / RT-DETR-R18 ↓ 目标级 token object_id, class, bbox, velocity, lane, distance ↓ VL-Mamba 序列建模 frame_t-30 ... frame_t ↓ 输出 { risk: pedestrian_crossing, level: high, reason: pedestrian moving toward ego lane, action_hint: slow_down }这比直接把视频帧全量送进 VLM 更适合车载实时系统。3.3 车载部署优化A. 用目标 token 替代图像 token不要输入frame_0 image tokens frame_1 image tokens ... frame_N image tokens而是输入[ {t: 0, objects: [{cls: car, x: 0.3, y: 0.4, vx: 2.1}]}, {t: 1, objects: [{cls: pedestrian, x: 0.5, y: 0.6, vx: -0.2}]} ]这样 VL-Mamba 处理的是结构化长序列不是高成本图像 token。B. 分层频率模块频率相机采集30 FPS目标检测10–30 Hz跟踪预测10–30 HzVL-Mamba 场景理解1–5 Hz安全控制50–100 Hz自动驾驶安全闭环不能依赖 VLM 的生成延迟。C. 输出只做辅助决策检测/跟踪/控制确定性模块 VL-Mamba解释、总结、长时序推理 规则引擎安全约束4. 三类案例的部署优化对比方向TinyGPT-V 边缘VQALLaVA-Mini 医疗影像VL-Mamba 车载感知主要瓶颈LLM解码延迟显存和医学泛化多帧长序列建模最优输入ROI图像标准化胸片目标级时序token适合频率1–5Hz VQA秒级分析1–5Hz语义推理不适合每帧长文本生成无医生审核诊断直接闭环控制关键优化ROI INT4 短输出LoRA token压缩 结构化输出SSM tracking token 分层频率推荐部署Jetson Xavier/Orin本地GPU/医院边缘盒子车载边缘计算平台5. 通用部署优化清单5.1 模型侧优化1. 小语言骨干Phi-2 / Qwen2.5-1.5B / TinyLlama / Gemma-2B 2. 视觉token压缩Q-Former / Perceiver Resampler / LLaVA-Mini one-token 3. 权重量化INT8 / INT4 / GPTQ / AWQ / GGUF 4. 只微调LoRA冻结Vision Encoder和LLM主体 5. 短输出约束max_new_tokens 32 6. 模板化任务yes/no、multi-choice、JSON 7. 蒸馏大VLM teacher → 小VLM student5.2 推理侧优化1. Vision Encoder 独立导出 ONNX / TensorRT 2. LLM 使用 llama.cpp / TensorRT-LLM / MNN / ONNXRuntime 3. 图像编码缓存相同ROI不重复编码 4. KV Cache复用连续问答共享上下文 5. CUDA Graph固定shape场景降低launch overhead 6. pinned memory zero copy 7. 多线程队列采集、检测、VLM、后处理分离5.3 数据侧优化1. 只送关键帧 2. 只送ROI 3. 低置信才触发VLM 4. 重复帧过滤pHash / SSIM / embedding similarity 5. 动态分辨率简单场景224复杂场景336/448 6. 类别提示从配置文件读取5.4 输出侧优化禁止自由长文本优先 优先 yes/no A/B/C/D fixed schema JSON risk_level need_review最优落地方式强力建议基于AI传统CV负责实时感知sVLM负责低频语义复核和解释。参考链接:[1]: https://arxiv.org/abs/2312.16862 “[2312.16862] TinyGPT-V: Efficient Multimodal Large Language Model via Small Backbones”[2]: https://arxiv.org/abs/2501.03895 “[2501.03895] LLaVA-Mini: Efficient Image and Video Large Multimodal Models with One Vision Token”[3]: https://arxiv.org/abs/2310.18341 “[2310.18341] CXR-LLAVA: a multimodal large language model for interpreting chest X-ray images”[4]: https://arxiv.org/abs/2403.13600 “[2403.13600] VL-Mamba: Exploring State Space Models for Multimodal Learning”[5]: https://arxiv.org/abs/2401.09417 “[2401.09417] Vision Mamba: Efficient Visual Representation Learning with Bidirectional State Space Model”
sVLM三个典型案例应用分析及部署分析
“指标校准 具体方案 部署优化”。核验到的公开资料支持这些模型的轻量化方向1. TinyGPT-VJetson Xavier 边缘实时 VQA 方案TinyGPT-V 的公开论文定位是小型多模态大模型使用Phi-2 语言模型 预训练视觉编码器 映射模块面向图像描述和 VQA 等任务论文摘要中明确提到 2.8B 语言模型、24GB 训练、8GB 级推理并通过量化适配资源受限设备。([arXiv][1])1.1 适合的真实落地场景更准确地说TinyGPT-V 不适合“每一帧都完整生成长文本答案”而适合无人机 / 安防摄像头 / 移动巡检设备 ↓ 25FPS 视频采集与轻量检测 ↓ 低频关键帧触发 VQA ↓ 输出短答案 / 事件解释 / 告警原因例如场景TinyGPT-V作用无人机巡检判断“画面中是否有烟雾/裂缝/人员聚集”智能安防对检测到的异常区域做语义确认机器人巡检对仪表、设备状态、场景异常做问答售货柜验货对低置信SKU、遮挡、反光、包装变化做复核1.2 推荐工程架构CSI/USB Camera ↓ GStreamer / V4L2 零拷贝采集 ↓ 轻量检测器 YOLOv8n / YOLO11n / MobileNet-SSD ↓ ROI裁剪 / 关键帧筛选 ↓ Vision EncoderCLIP / EVA / BLIP-2 encoderTensorRT FP16/INT8 ↓ Projector / Q-Former / Linear Mapper ↓ TinyGPT-V LLMPhi-2 2.7BINT4/INT8 ↓ 短文本输出 / JSON输出 / 告警规则关键点25FPS 应该理解为视频感知链路 25FPS而不是完整 VQA 生成 25次/秒。在 Jetson Xavier 上更现实的配置是模块频率视频采集25/30 FPSYOLO轻量检测10–25 FPSVQA语义确认1–5 Hz短答案 yes/no 分类可接近更高频率长文本解释低频触发1.3 部署优化重点A. 模型压缩Vision EncoderFP16 或 INT8 TensorRT ProjectorFP16 LLMINT4 / INT8 KV CacheFP16 / INT8 输出max_new_tokens 控制在 8~32TinyGPT-V 论文和项目方向本身强调小骨干和量化适配 8GB 级设备。([arXiv][1])推荐量化策略组件推荐精度原因Vision EncoderFP16 / INT8图像编码计算密集适合 TensorRTProjectorFP16参数少保精度LLM 权重INT4 / INT8降低显存占用KV CacheFP16 / INT8降低长上下文显存压力Embedding / NormFP16避免量化损伤过大B. 输入裁剪不要直接把整张 1080p 图送进 VLM。建议原图 1920x1080 ↓ YOLO检测候选区域 ↓ 扩边 crop例如 bbox 外扩 10%~20% ↓ resize 到 224 / 336 / 448 ↓ 送入 TinyGPT-V这样可以显著减少视觉 token 数和图像编码开销。C. Prompt 固定化不要使用开放式长 prompt请详细描述画面中发生了什么并分析是否存在风险……应该改成短模板Question: Is there smoke in the image? Answer yes or no. Question: Is the person wearing a helmet? Answer yes or no. Question: Is this shelf blocked? Answer one of: normal, occluded, blurry, reflective.对边缘端来说生成 token 越少延迟越稳定。D. 异步流水线Thread 1采集 Thread 2检测 Thread 3ROI队列 Thread 4VLM推理 Thread 5事件规则/上报队列策略if queue.size() N: drop_old_frames() keep_latest_keyframe()VLM 不追求处理每一帧而是处理“最有价值的关键帧”。2. LLaVA-Mini LoRA医疗影像分析方案LLaVA-Mini 的核心不是单纯缩小 LLM而是把视觉 token 极限压缩到 1 个视觉 token。论文摘要中提到它通过 modality pre-fusion 将视觉信息提前融合进文本 token从而把输入 LLM 的视觉 token 从传统大量 token 压缩到 1 个论文还报告了 77% FLOPs 降低、低延迟响应和长视频处理能力。([arXiv][2])2.1 为什么适合胸片 / 医疗影像医疗影像任务常见特点输入图像较固定X-ray / CT / MRI 任务类别明确肺炎、气胸、积液、结节、异常/正常 输出格式固定分类结果 解释 实时性要求中等秒级可接受 显存资源有限医院边缘工作站 / 小GPU / 本地盒子所以它适合用LLaVA-Mini / CXR-LLaVA / LLaVA-Med LoRA / QLoRA 医疗影像数据微调 结构化输出CXR-LLaVA 是更直接的胸片方向案例它使用公开胸片数据构建开放多模态模型数据规模包括 592,580 张公开 CXR其中一部分带异常标签、一部分带放射报告论文报告 MIMIC 内部测试六类主要发现平均 F1 为 0.81外部测试七类平均 F1 为 0.62并强调仍有性能限制。([arXiv][3])2.2 具体训练方案数据 Chest X-ray 图像 标签normal / pneumonia / edema / pneumothorax / cardiomegaly ... 报告radiology report / impression / finding 预处理 DICOM转PNG 灰度归一化 CLAHE增强 去除边框/文字 肺野区域裁剪 resize 336 或 448 模型 Vision Encoder 冻结 Projector / Modality Pre-fusion 可训练 LLM 使用 LoRA / QLoRA 分类头可选 输出 { finding: pneumonia, confidence: 0.87, evidence: right lower lung opacity, need_radiologist_review: true }2.3 4GB 显存下的可行边界“4GB 显存完成医疗 VLM 微调”要谨慎理解。更现实的分层是模式4GB是否可行说明INT4 推理可行性较高小模型 batch1 短输出LoRA 微调 projector可行冻结大部分参数QLoRA 微调小 LLM勉强可行需要 batch1、梯度检查点、CPU offload端到端全量微调不现实显存远远不够高分辨率胸片多标签训练不建议需要更大GPU或分布式推荐配置model:vision_encoder:frozenllm_precision:int4train_modules:-projector-lora_qkv-lora_mlplora:r:8alpha:16dropout:0.05data:image_size:336batch_size:1gradient_accumulation_steps:16max_text_len:128runtime:gradient_checkpointing:truecpu_offload:truemixed_precision:fp162.4 医疗部署优化A. 输出必须结构化不要让模型自由生成诊断结论。建议{normal:false,findings:[{name:pneumonia,confidence:0.82,region:right lower lung,severity:moderate}],recommendation:radiologist_review}B. 增加传统模型兜底医疗场景不要只依赖 VLMDenseNet / EfficientNet / ConvNeXt 医疗分类器 ↓ Grad-CAM / 热力图 ↓ LLaVA-Mini / CXR-LLaVA 生成解释 ↓ 规则校验 ↓ 医生确认C. 安全边界医疗 VLM 更适合做辅助筛查 报告草稿 异常提示 影像问答 医生工作流加速不适合直接做最终诊断 自动开处方 无人审核的临床决策3. VL-Mamba自动驾驶 / 车载感知方案VL-Mamba 的核心是把传统 Transformer LLM 替换为Mamba 状态空间模型 SSM目标是利用线性序列建模能力降低长序列推理成本。VL-Mamba 论文摘要明确指出Transformer 注意力存在二次复杂度开销而 VL-Mamba 使用 SSM 获得长序列建模、快速推理和序列长度线性扩展能力。([arXiv][4])但要注意VL-Mamba 本身不是标准自动驾驶检测器。更合理的工程方案是YOLO / BEV / Occupancy / Tracker 负责实时检测 VL-Mamba / Vision Mamba 负责长序列语义理解、场景解释、异常判断Vision Mamba / Vim 在视觉 backbone 上已经展示了高分辨率视觉任务的效率潜力论文摘要中报告 Vim 在 1248×1248 图像特征提取时比 DeiT 快 2.8 倍并节省 86.8% GPU 显存。([arXiv][5])3.1 自动驾驶中合理的使用位置Camera 30Hz ↓ ISP / resize / undistort ↓ YOLO / RT-DETR / BEVFormer / StreamPETR ↓ TrackingByteTrack / DeepSORT / Kalman ↓ VL-Mamba / Vision-Mamba 语义模块 ↓ 风险解释 / 驾驶策略辅助 / 事件记录适合 VL-Mamba 的任务任务是否适合10Hz 物体检测不建议单独依赖 VL-Mamba多帧场景理解适合长时序事件判断适合车载异常解释适合行车记录自动摘要适合语义地图更新可探索安全闭环控制需要传统控制兜底3.2 推荐架构多路摄像头 ↓ 轻量检测器YOLOv8n / YOLO11n / RT-DETR-R18 ↓ 目标级 token object_id, class, bbox, velocity, lane, distance ↓ VL-Mamba 序列建模 frame_t-30 ... frame_t ↓ 输出 { risk: pedestrian_crossing, level: high, reason: pedestrian moving toward ego lane, action_hint: slow_down }这比直接把视频帧全量送进 VLM 更适合车载实时系统。3.3 车载部署优化A. 用目标 token 替代图像 token不要输入frame_0 image tokens frame_1 image tokens ... frame_N image tokens而是输入[ {t: 0, objects: [{cls: car, x: 0.3, y: 0.4, vx: 2.1}]}, {t: 1, objects: [{cls: pedestrian, x: 0.5, y: 0.6, vx: -0.2}]} ]这样 VL-Mamba 处理的是结构化长序列不是高成本图像 token。B. 分层频率模块频率相机采集30 FPS目标检测10–30 Hz跟踪预测10–30 HzVL-Mamba 场景理解1–5 Hz安全控制50–100 Hz自动驾驶安全闭环不能依赖 VLM 的生成延迟。C. 输出只做辅助决策检测/跟踪/控制确定性模块 VL-Mamba解释、总结、长时序推理 规则引擎安全约束4. 三类案例的部署优化对比方向TinyGPT-V 边缘VQALLaVA-Mini 医疗影像VL-Mamba 车载感知主要瓶颈LLM解码延迟显存和医学泛化多帧长序列建模最优输入ROI图像标准化胸片目标级时序token适合频率1–5Hz VQA秒级分析1–5Hz语义推理不适合每帧长文本生成无医生审核诊断直接闭环控制关键优化ROI INT4 短输出LoRA token压缩 结构化输出SSM tracking token 分层频率推荐部署Jetson Xavier/Orin本地GPU/医院边缘盒子车载边缘计算平台5. 通用部署优化清单5.1 模型侧优化1. 小语言骨干Phi-2 / Qwen2.5-1.5B / TinyLlama / Gemma-2B 2. 视觉token压缩Q-Former / Perceiver Resampler / LLaVA-Mini one-token 3. 权重量化INT8 / INT4 / GPTQ / AWQ / GGUF 4. 只微调LoRA冻结Vision Encoder和LLM主体 5. 短输出约束max_new_tokens 32 6. 模板化任务yes/no、multi-choice、JSON 7. 蒸馏大VLM teacher → 小VLM student5.2 推理侧优化1. Vision Encoder 独立导出 ONNX / TensorRT 2. LLM 使用 llama.cpp / TensorRT-LLM / MNN / ONNXRuntime 3. 图像编码缓存相同ROI不重复编码 4. KV Cache复用连续问答共享上下文 5. CUDA Graph固定shape场景降低launch overhead 6. pinned memory zero copy 7. 多线程队列采集、检测、VLM、后处理分离5.3 数据侧优化1. 只送关键帧 2. 只送ROI 3. 低置信才触发VLM 4. 重复帧过滤pHash / SSIM / embedding similarity 5. 动态分辨率简单场景224复杂场景336/448 6. 类别提示从配置文件读取5.4 输出侧优化禁止自由长文本优先 优先 yes/no A/B/C/D fixed schema JSON risk_level need_review最优落地方式强力建议基于AI传统CV负责实时感知sVLM负责低频语义复核和解释。参考链接:[1]: https://arxiv.org/abs/2312.16862 “[2312.16862] TinyGPT-V: Efficient Multimodal Large Language Model via Small Backbones”[2]: https://arxiv.org/abs/2501.03895 “[2501.03895] LLaVA-Mini: Efficient Image and Video Large Multimodal Models with One Vision Token”[3]: https://arxiv.org/abs/2310.18341 “[2310.18341] CXR-LLAVA: a multimodal large language model for interpreting chest X-ray images”[4]: https://arxiv.org/abs/2403.13600 “[2403.13600] VL-Mamba: Exploring State Space Models for Multimodal Learning”[5]: https://arxiv.org/abs/2401.09417 “[2401.09417] Vision Mamba: Efficient Visual Representation Learning with Bidirectional State Space Model”
