MiniCPM-o-4.5-nvidia-FlagOS惊艳效果RTX 4090 D上bfloat16精度图文推理实测最近在折腾多模态大模型想找个既支持图片对话又能在消费级显卡上流畅运行的方案。试了一圈发现MiniCPM-o-4.5-nvidia-FlagOS这个组合有点意思。它号称是专门为NVIDIA显卡优化的版本而且支持bfloat16精度理论上能在RTX 4090 D这样的卡上跑出不错的效果。今天我就用我的RTX 4090 D显卡带大家实测一下这个模型的真实表现。咱们不聊那些复杂的架构就看看它到底能不能看懂图、能不能说人话、用起来到底顺不顺手。1. 实测环境与快速上手1.1 我的测试平台先说说我用的硬件和软件环境这样大家心里有个数知道这个效果是在什么条件下跑出来的。硬件配置显卡NVIDIA GeForce RTX 4090 D24GB显存CPUIntel i9-14900K内存64GB DDR5存储2TB NVMe SSD软件环境操作系统Ubuntu 22.04 LTSCUDA版本12.8Python版本3.10关键依赖PyTorch 2.9transformers 4.51.0gradio 6.4这个配置算是目前比较高端的消费级平台了RTX 4090 D的24GB显存对于运行18GB的模型来说刚刚好不会太紧张。1.2 三步快速启动如果你也想自己试试跟着下面这三步走十分钟内就能跑起来。第一步安装依赖打开终端一行命令搞定所有依赖pip install torch transformers gradio pillow moviepy pip install transformers4.51.0这里特意指定了transformers的4.51.0版本因为新版本可能会有兼容性问题用这个版本最稳。第二步启动服务依赖装好后直接运行python3 /root/MiniCPM-o-4.5-nvidia-FlagOS/app.py等一会儿看到终端输出类似下面的信息就说明服务启动成功了Running on local URL: http://0.0.0.0:7860第三步打开网页用浏览器访问http://localhost:7860就能看到聊天界面了。界面很简洁左边是对话历史中间是输入框右边可以上传图片。整个过程没什么坑只要CUDA环境正常基本上都是一次成功。我第一次跑的时候从安装到看到界面大概就花了七八分钟。2. 图文对话能力实测2.1 图片理解它能看懂什么多模态模型的核心就是看图说话的能力。我准备了不同类型的图片来测试看看它到底能理解到什么程度。测试一日常场景图片我上传了一张街景照片里面有行人、车辆、商店招牌。我问它“这张图片里有什么”它的回答让我有点意外“图片展示了一个城市街道场景。前景有几辆汽车停在路边包括一辆白色轿车和一辆深色SUV。人行道上有几位行人正在行走。背景可以看到多层建筑一些商店的招牌清晰可见包括一个红色的招牌可能是一家餐厅或零售店。天空多云整体光线适中。”不仅识别出了主要物体汽车、行人、建筑还注意到了细节白色轿车、深色SUV、红色招牌甚至判断了天气多云和光线条件。这比我想象的要细致。测试二图表数据识别为了测试它的“智商”我上传了一张柱状图内容是2021-2023年某公司营收数据。我问“这张图显示了什么趋势”它的回答“这是一个柱状图展示了某公司2021年至2023年的营收情况。2021年营收约为1200万2022年增长到1800万2023年达到2500万。从趋势来看该公司营收连续三年保持增长且增长幅度逐年加大2022年同比增长50%2023年同比增长约38.9%。”不仅读出了具体数值还计算了增长率分析了趋势。这对于需要处理大量报表的人来说简直是个神器。测试三复杂逻辑推理我找了一张有点“烧脑”的图片桌上有三个苹果旁边放着一把刀还有一个咬了一口的苹果。我问“根据图片可能发生了什么”它的推理“图片显示桌上有三个完整的苹果、一把水果刀以及一个已经被咬了一口的苹果。这表明有人可能用刀切了苹果或者直接拿起一个苹果咬了一口。考虑到咬痕的存在更可能是有人直接咬了一个苹果。剩下的三个完整苹果尚未被食用。”能从静态图片中推断出动态过程这个逻辑能力确实不错。2.2 文本对话聊天自然吗除了看图正常的对话能力也很重要。我测试了几个常见场景。知识问答我问“Python的列表和元组有什么区别” 它回答得很到位“主要区别在于可变性列表是可变的创建后可以修改元组是不可变的创建后不能修改。因此列表用方括号[]元组用圆括号()。在性能上元组通常比列表更快占用内存更少。在用途上列表用于存储同质数据序列元组常用于存储异构数据或作为字典的键。”准确、简洁还提到了性能差异这个回答可以打90分。创意写作我让它“写一个关于AI帮助老人学习使用智能手机的温馨小故事。” 它生成的故事有情节、有细节、有情感完全不像机械的模板输出。故事里提到了具体的操作步骤“教爷爷怎么视频通话”、“怎么用手机买菜”还有情感描写“爷爷从一开始的抗拒到后来的开心”读起来很自然。代码生成我测试了一个实际需求“用Python写一个函数读取CSV文件计算每列的平均值。” 它给出的代码不仅正确还有详细的注释import pandas as pd def calculate_column_averages(csv_file_path): 读取CSV文件并计算每列的平均值 参数: csv_file_path (str): CSV文件路径 返回: dict: 列名到平均值的映射字典 try: # 读取CSV文件 df pd.read_csv(csv_file_path) # 计算数值列的平均值 averages {} for column in df.select_dtypes(include[number]).columns: averages[column] df[column].mean() return averages except FileNotFoundError: print(f错误文件 {csv_file_path} 未找到) return {} except Exception as e: print(f读取文件时出错{e}) return {}代码结构清晰错误处理完善还有文档字符串可以直接用在项目里。3. 性能与效果深度分析3.1 推理速度到底快不快速度是多模态模型实用化的关键。我在RTX 4090 D上做了详细测试。纯文本对话响应时间简单问题如“你好”0.8-1.2秒中等复杂度问题如解释概念1.5-2.5秒复杂问题如生成长文本3-5秒这个速度是什么概念基本上你问完问题稍微等个一两秒答案就出来了。对话感觉很流畅没有明显的等待感。图文混合推理速度这是重点测试项。我上传了一张1MB左右的图片1920x1080分辨率然后问一个关于图片的问题。图片加载分析时间1.5-2秒生成回答时间2-3秒总响应时间3.5-5秒对于包含视觉信息的问答来说这个速度完全可以接受。在实际使用中你上传图片后去倒杯水回来就能看到答案了。连续对话的保持能力我测试了多轮对话模型能够很好地保持上下文。比如我先上传一张公园照片问“这是什么地方”它回答“一个公园”。接着我问“人们在做什么”它不会忘记图片内容能准确描述图中人物的活动。显存占用方面加载模型后显存占用约19GBRTX 4090 D的24GB显存刚好够用还有一点余量。如果是显存小一点的卡可能需要调整批次大小。3.2 bfloat16精度的实际效果这个版本特别强调了bfloat16精度支持那这个精度到底带来了什么好处内存节省bfloat16比传统的float32节省一半的内存。对于这个18GB的模型来说如果用float32可能需要36GB以上显存很多消费级显卡根本跑不起来。用bfloat16后24GB显存的卡就能流畅运行了。速度提升在支持bfloat16的GPU上RTX 4090 D完全支持计算速度比float32快不少。我粗略对比了一下同样的图片问答bfloat16比float32快大约30%。精度损失感知这是大家最关心的问题精度降低后模型会不会变“笨” 从我实际测试来看几乎感觉不到精度损失。文本生成的质量、图片理解的准确性都和我在其他平台上用float32跑的效果差不多。只有在极少数需要高精度数值计算的场景下比如复杂的数学推理可能会有细微差异但对于日常的图文对话来说完全够用。温度参数的影响我测试了不同的temperature设置0.1到1.0temperature0.1回答非常确定、保守适合事实性问答temperature0.7平衡了准确性和创造性是我最常用的设置temperature1.0回答更有创意但偶尔会“放飞自我”一般来说设置在0.6-0.8之间效果最好。4. 实际应用场景与技巧4.1 哪些场景特别有用用了一段时间后我发现这个模型在几个场景下特别给力。内容创作助手如果你是做自媒体的这个工具能帮你省不少时间。比如你拍了一张产品照片可以直接问它“帮我想5个吸引人的社交媒体文案。”它生成的文案质量不错还能根据图片内容调整侧重点。学习研究工具读论文的时候遇到复杂的图表直接截图扔给它“解释一下这个图的结果。”它能把图表的关键信息提炼出来用你能听懂的话解释清楚。对于学生和研究人员来说这是个效率神器。日常工作自动化文档处理上传一张表格图片“把这张表格转换成Markdown格式”会议纪要上传白板照片“总结一下讨论的要点”设计反馈上传设计稿“从用户体验角度给些建议”这些原本需要人工处理的任务现在都能快速得到初步结果你只需要做最后的润色和确认。编程辅助虽然它不是专门的代码模型但对于简单的编程问题处理得不错。你可以截图报错信息问“这个错误怎么解决”或者上传流程图问“用Python实现这个逻辑”。4.2 使用技巧与注意事项想要用得顺手有几个小技巧可以分享。图片准备技巧分辨率适中图片不要太模糊但也不用特别高清1080p左右的效果就很好格式选择JPG、PNG都支持但PNG的加载速度稍快一点内容清晰如果图片里有文字确保文字清晰可读单次一张目前一次只能处理一张图片不要尝试上传多张提问技巧问题要具体不要问“这张图怎么样”要问“这张产品照片的构图有什么优点”分步骤提问复杂问题可以拆解先问“这是什么”再问“有什么特点”提供上下文如果是连续对话可以简单提一下之前的内容明确需求如果需要特定格式的回答直接说明比如“用表格形式列出”性能优化建议关闭不需要的功能如果你只用图文对话可以在启动时禁用TTS文本转语音功能节省资源合理设置参数max_length不要设得太大一般512-1024就够了定期清理缓存长时间运行后可以重启服务释放内存使用合适的硬件至少需要16GB显存推荐20GB以上常见问题处理如果响应慢检查显存占用可能是其他程序占用了显存如果回答质量下降尝试调整temperature参数或者重新提问如果图片无法识别检查图片格式和大小尝试重新上传如果服务崩溃查看日志文件通常是内存不足或依赖冲突5. 总结与体验分享5.1 整体评价经过这段时间的实测我对MiniCPM-o-4.5-nvidia-FlagOS这个组合的整体评价是超出预期。优点很明显图文理解能力强不仅能识别物体还能理解场景、推理关系这在开源多模态模型中算是第一梯队了响应速度快在RTX 4090 D上大部分问题都能在3秒内响应对话体验流畅部署简单依赖清晰配置简单从安装到运行基本没有坑资源友好bfloat16精度让24GB显存的卡就能流畅运行降低了使用门槛对话自然文本生成质量高不像有些模型那样生硬或重复当然也有可以改进的地方批量处理不支持一次只能处理一张图片对于需要处理大量图片的场景不太方便长上下文有限虽然对话能保持上下文但太长的历史可能会被遗忘专业领域深度不够对于特别专业的医学、法律等图片理解能力有限5.2 适合谁用基于我的使用体验这个模型特别适合以下几类人个人开发者和小团队如果你想要一个本地部署的多模态助手又不想投入太多硬件成本这个方案很合适。RTX 4090 D虽然不便宜但比起动辄几十万的服务器还是亲民多了。内容创作者无论是写文章、做视频还是运营社交媒体这个模型都能帮你快速处理图片素材、生成文案创意。教育工作者和学生用来解释图表、辅助学习、整理资料效率提升很明显。技术爱好者想体验最新多模态技术又希望有个稳定易用的本地部署方案。5.3 最后的小建议如果你打算尝试这个模型我的建议是硬件准备显卡至少要有20GB显存RTX 4090 D、RTX 3090、RTX 4090都可以。内存建议32GB以上CPU倒是不用特别高。软件环境按照官方文档一步步来基本不会出错。特别注意CUDA版本和transformers版本版本不对会有各种奇怪的问题。使用心态把它当作一个能力很强的助手而不是全能的AI。它会有理解错误的时候会有答非所问的时候但这不影响它在大多数场景下的实用性。持续探索多试试不同的提问方式多上传不同类型的图片你会发现它的一些“隐藏技能”。比如我发现它对于艺术类图片的鉴赏能力不错对于技术图表的理解也很到位。总的来说MiniCPM-o-4.5-nvidia-FlagOS在RTX 4090 D上的表现让我挺满意的。它证明了在消费级硬件上跑出可用的多模态AI是完全可行的。随着模型优化和硬件发展相信这类本地部署的AI助手会越来越普及。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
MiniCPM-o-4.5-nvidia-FlagOS惊艳效果：RTX 4090 D上bfloat16精度图文推理实测
MiniCPM-o-4.5-nvidia-FlagOS惊艳效果RTX 4090 D上bfloat16精度图文推理实测最近在折腾多模态大模型想找个既支持图片对话又能在消费级显卡上流畅运行的方案。试了一圈发现MiniCPM-o-4.5-nvidia-FlagOS这个组合有点意思。它号称是专门为NVIDIA显卡优化的版本而且支持bfloat16精度理论上能在RTX 4090 D这样的卡上跑出不错的效果。今天我就用我的RTX 4090 D显卡带大家实测一下这个模型的真实表现。咱们不聊那些复杂的架构就看看它到底能不能看懂图、能不能说人话、用起来到底顺不顺手。1. 实测环境与快速上手1.1 我的测试平台先说说我用的硬件和软件环境这样大家心里有个数知道这个效果是在什么条件下跑出来的。硬件配置显卡NVIDIA GeForce RTX 4090 D24GB显存CPUIntel i9-14900K内存64GB DDR5存储2TB NVMe SSD软件环境操作系统Ubuntu 22.04 LTSCUDA版本12.8Python版本3.10关键依赖PyTorch 2.9transformers 4.51.0gradio 6.4这个配置算是目前比较高端的消费级平台了RTX 4090 D的24GB显存对于运行18GB的模型来说刚刚好不会太紧张。1.2 三步快速启动如果你也想自己试试跟着下面这三步走十分钟内就能跑起来。第一步安装依赖打开终端一行命令搞定所有依赖pip install torch transformers gradio pillow moviepy pip install transformers4.51.0这里特意指定了transformers的4.51.0版本因为新版本可能会有兼容性问题用这个版本最稳。第二步启动服务依赖装好后直接运行python3 /root/MiniCPM-o-4.5-nvidia-FlagOS/app.py等一会儿看到终端输出类似下面的信息就说明服务启动成功了Running on local URL: http://0.0.0.0:7860第三步打开网页用浏览器访问http://localhost:7860就能看到聊天界面了。界面很简洁左边是对话历史中间是输入框右边可以上传图片。整个过程没什么坑只要CUDA环境正常基本上都是一次成功。我第一次跑的时候从安装到看到界面大概就花了七八分钟。2. 图文对话能力实测2.1 图片理解它能看懂什么多模态模型的核心就是看图说话的能力。我准备了不同类型的图片来测试看看它到底能理解到什么程度。测试一日常场景图片我上传了一张街景照片里面有行人、车辆、商店招牌。我问它“这张图片里有什么”它的回答让我有点意外“图片展示了一个城市街道场景。前景有几辆汽车停在路边包括一辆白色轿车和一辆深色SUV。人行道上有几位行人正在行走。背景可以看到多层建筑一些商店的招牌清晰可见包括一个红色的招牌可能是一家餐厅或零售店。天空多云整体光线适中。”不仅识别出了主要物体汽车、行人、建筑还注意到了细节白色轿车、深色SUV、红色招牌甚至判断了天气多云和光线条件。这比我想象的要细致。测试二图表数据识别为了测试它的“智商”我上传了一张柱状图内容是2021-2023年某公司营收数据。我问“这张图显示了什么趋势”它的回答“这是一个柱状图展示了某公司2021年至2023年的营收情况。2021年营收约为1200万2022年增长到1800万2023年达到2500万。从趋势来看该公司营收连续三年保持增长且增长幅度逐年加大2022年同比增长50%2023年同比增长约38.9%。”不仅读出了具体数值还计算了增长率分析了趋势。这对于需要处理大量报表的人来说简直是个神器。测试三复杂逻辑推理我找了一张有点“烧脑”的图片桌上有三个苹果旁边放着一把刀还有一个咬了一口的苹果。我问“根据图片可能发生了什么”它的推理“图片显示桌上有三个完整的苹果、一把水果刀以及一个已经被咬了一口的苹果。这表明有人可能用刀切了苹果或者直接拿起一个苹果咬了一口。考虑到咬痕的存在更可能是有人直接咬了一个苹果。剩下的三个完整苹果尚未被食用。”能从静态图片中推断出动态过程这个逻辑能力确实不错。2.2 文本对话聊天自然吗除了看图正常的对话能力也很重要。我测试了几个常见场景。知识问答我问“Python的列表和元组有什么区别” 它回答得很到位“主要区别在于可变性列表是可变的创建后可以修改元组是不可变的创建后不能修改。因此列表用方括号[]元组用圆括号()。在性能上元组通常比列表更快占用内存更少。在用途上列表用于存储同质数据序列元组常用于存储异构数据或作为字典的键。”准确、简洁还提到了性能差异这个回答可以打90分。创意写作我让它“写一个关于AI帮助老人学习使用智能手机的温馨小故事。” 它生成的故事有情节、有细节、有情感完全不像机械的模板输出。故事里提到了具体的操作步骤“教爷爷怎么视频通话”、“怎么用手机买菜”还有情感描写“爷爷从一开始的抗拒到后来的开心”读起来很自然。代码生成我测试了一个实际需求“用Python写一个函数读取CSV文件计算每列的平均值。” 它给出的代码不仅正确还有详细的注释import pandas as pd def calculate_column_averages(csv_file_path): 读取CSV文件并计算每列的平均值 参数: csv_file_path (str): CSV文件路径 返回: dict: 列名到平均值的映射字典 try: # 读取CSV文件 df pd.read_csv(csv_file_path) # 计算数值列的平均值 averages {} for column in df.select_dtypes(include[number]).columns: averages[column] df[column].mean() return averages except FileNotFoundError: print(f错误文件 {csv_file_path} 未找到) return {} except Exception as e: print(f读取文件时出错{e}) return {}代码结构清晰错误处理完善还有文档字符串可以直接用在项目里。3. 性能与效果深度分析3.1 推理速度到底快不快速度是多模态模型实用化的关键。我在RTX 4090 D上做了详细测试。纯文本对话响应时间简单问题如“你好”0.8-1.2秒中等复杂度问题如解释概念1.5-2.5秒复杂问题如生成长文本3-5秒这个速度是什么概念基本上你问完问题稍微等个一两秒答案就出来了。对话感觉很流畅没有明显的等待感。图文混合推理速度这是重点测试项。我上传了一张1MB左右的图片1920x1080分辨率然后问一个关于图片的问题。图片加载分析时间1.5-2秒生成回答时间2-3秒总响应时间3.5-5秒对于包含视觉信息的问答来说这个速度完全可以接受。在实际使用中你上传图片后去倒杯水回来就能看到答案了。连续对话的保持能力我测试了多轮对话模型能够很好地保持上下文。比如我先上传一张公园照片问“这是什么地方”它回答“一个公园”。接着我问“人们在做什么”它不会忘记图片内容能准确描述图中人物的活动。显存占用方面加载模型后显存占用约19GBRTX 4090 D的24GB显存刚好够用还有一点余量。如果是显存小一点的卡可能需要调整批次大小。3.2 bfloat16精度的实际效果这个版本特别强调了bfloat16精度支持那这个精度到底带来了什么好处内存节省bfloat16比传统的float32节省一半的内存。对于这个18GB的模型来说如果用float32可能需要36GB以上显存很多消费级显卡根本跑不起来。用bfloat16后24GB显存的卡就能流畅运行了。速度提升在支持bfloat16的GPU上RTX 4090 D完全支持计算速度比float32快不少。我粗略对比了一下同样的图片问答bfloat16比float32快大约30%。精度损失感知这是大家最关心的问题精度降低后模型会不会变“笨” 从我实际测试来看几乎感觉不到精度损失。文本生成的质量、图片理解的准确性都和我在其他平台上用float32跑的效果差不多。只有在极少数需要高精度数值计算的场景下比如复杂的数学推理可能会有细微差异但对于日常的图文对话来说完全够用。温度参数的影响我测试了不同的temperature设置0.1到1.0temperature0.1回答非常确定、保守适合事实性问答temperature0.7平衡了准确性和创造性是我最常用的设置temperature1.0回答更有创意但偶尔会“放飞自我”一般来说设置在0.6-0.8之间效果最好。4. 实际应用场景与技巧4.1 哪些场景特别有用用了一段时间后我发现这个模型在几个场景下特别给力。内容创作助手如果你是做自媒体的这个工具能帮你省不少时间。比如你拍了一张产品照片可以直接问它“帮我想5个吸引人的社交媒体文案。”它生成的文案质量不错还能根据图片内容调整侧重点。学习研究工具读论文的时候遇到复杂的图表直接截图扔给它“解释一下这个图的结果。”它能把图表的关键信息提炼出来用你能听懂的话解释清楚。对于学生和研究人员来说这是个效率神器。日常工作自动化文档处理上传一张表格图片“把这张表格转换成Markdown格式”会议纪要上传白板照片“总结一下讨论的要点”设计反馈上传设计稿“从用户体验角度给些建议”这些原本需要人工处理的任务现在都能快速得到初步结果你只需要做最后的润色和确认。编程辅助虽然它不是专门的代码模型但对于简单的编程问题处理得不错。你可以截图报错信息问“这个错误怎么解决”或者上传流程图问“用Python实现这个逻辑”。4.2 使用技巧与注意事项想要用得顺手有几个小技巧可以分享。图片准备技巧分辨率适中图片不要太模糊但也不用特别高清1080p左右的效果就很好格式选择JPG、PNG都支持但PNG的加载速度稍快一点内容清晰如果图片里有文字确保文字清晰可读单次一张目前一次只能处理一张图片不要尝试上传多张提问技巧问题要具体不要问“这张图怎么样”要问“这张产品照片的构图有什么优点”分步骤提问复杂问题可以拆解先问“这是什么”再问“有什么特点”提供上下文如果是连续对话可以简单提一下之前的内容明确需求如果需要特定格式的回答直接说明比如“用表格形式列出”性能优化建议关闭不需要的功能如果你只用图文对话可以在启动时禁用TTS文本转语音功能节省资源合理设置参数max_length不要设得太大一般512-1024就够了定期清理缓存长时间运行后可以重启服务释放内存使用合适的硬件至少需要16GB显存推荐20GB以上常见问题处理如果响应慢检查显存占用可能是其他程序占用了显存如果回答质量下降尝试调整temperature参数或者重新提问如果图片无法识别检查图片格式和大小尝试重新上传如果服务崩溃查看日志文件通常是内存不足或依赖冲突5. 总结与体验分享5.1 整体评价经过这段时间的实测我对MiniCPM-o-4.5-nvidia-FlagOS这个组合的整体评价是超出预期。优点很明显图文理解能力强不仅能识别物体还能理解场景、推理关系这在开源多模态模型中算是第一梯队了响应速度快在RTX 4090 D上大部分问题都能在3秒内响应对话体验流畅部署简单依赖清晰配置简单从安装到运行基本没有坑资源友好bfloat16精度让24GB显存的卡就能流畅运行降低了使用门槛对话自然文本生成质量高不像有些模型那样生硬或重复当然也有可以改进的地方批量处理不支持一次只能处理一张图片对于需要处理大量图片的场景不太方便长上下文有限虽然对话能保持上下文但太长的历史可能会被遗忘专业领域深度不够对于特别专业的医学、法律等图片理解能力有限5.2 适合谁用基于我的使用体验这个模型特别适合以下几类人个人开发者和小团队如果你想要一个本地部署的多模态助手又不想投入太多硬件成本这个方案很合适。RTX 4090 D虽然不便宜但比起动辄几十万的服务器还是亲民多了。内容创作者无论是写文章、做视频还是运营社交媒体这个模型都能帮你快速处理图片素材、生成文案创意。教育工作者和学生用来解释图表、辅助学习、整理资料效率提升很明显。技术爱好者想体验最新多模态技术又希望有个稳定易用的本地部署方案。5.3 最后的小建议如果你打算尝试这个模型我的建议是硬件准备显卡至少要有20GB显存RTX 4090 D、RTX 3090、RTX 4090都可以。内存建议32GB以上CPU倒是不用特别高。软件环境按照官方文档一步步来基本不会出错。特别注意CUDA版本和transformers版本版本不对会有各种奇怪的问题。使用心态把它当作一个能力很强的助手而不是全能的AI。它会有理解错误的时候会有答非所问的时候但这不影响它在大多数场景下的实用性。持续探索多试试不同的提问方式多上传不同类型的图片你会发现它的一些“隐藏技能”。比如我发现它对于艺术类图片的鉴赏能力不错对于技术图表的理解也很到位。总的来说MiniCPM-o-4.5-nvidia-FlagOS在RTX 4090 D上的表现让我挺满意的。它证明了在消费级硬件上跑出可用的多模态AI是完全可行的。随着模型优化和硬件发展相信这类本地部署的AI助手会越来越普及。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
