说明本文介绍的是 VoiceboxGitHub: jamiepine/voicebox——一款本地优先的开源桌面应用。不是Meta 于 2023 年发布的学术研究项目 Voicebox。信息来源官方文档 docs.voicebox.sh、GitHub README版本与 Star 数以2026 年初为参考。voicebox支持模型—目录前言为什么需要本地语音栈Voicebox 是什么核心功能详解安装与系统要求快速上手教程GPU 与性能典型使用场景局限与注意事项总结与资源前言为什么需要本地语音栈过去两年语音 AI 被两家「云原生」产品分别占领了一半用户旅程维度ElevenLabs典型云 TTSWisprFlow典型云听写Voicebox本地一体化核心能力克隆音色、高质量 TTS全局听写、快速 STTTTS STT 本地 LLM 一体数据位置上传云端处理通常云端转写默认全部在本机费用模式订阅 / 按量计费订阅免费开源MITAgent 集成API 为主偏人类输入内置 MCP REST账号依赖需要需要无需账号对以下人群而言「本地语音栈」不再是极客玩具而是刚需隐私敏感用户声纹、口述内容、商业旁白不愿上传第三方。高频创作者长视频、播客、有声书需要批量生成云 API 成本随用量线性上升。开发者 / Agent 用户希望 Cursor、Claude Code 等工具不仅能打字回复还能用固定声线播报状态。无障碍与替代沟通需要 STT 输入与 TTS 输出在同一套工具链里闭环。Voicebox 的定位很明确在单机上闭合「人说 → 字 → Agent/人说 → 声」整条语音 I/O 回路作为 ElevenLabs 与 WisprFlow 的开源、本地替代方案。Voicebox 是什么Voicebox 是一款local-first本地优先的 AI 语音工作室桌面应用。你可以用几秒参考音频零样本克隆音色并生成语音用全局热键在任意应用中听写STT通过MCP / REST API让 AI Agent 用指定克隆声线「开口说话」在Stories多轨编辑器里制作多角色对话或播客时间线。项目由 Jamie Pine 等人维护MIT 协议开源截至 2026 年初 GitHub Star 约 2.5 万最新稳定版可参考 Releases如 v0.5.0。架构概览Python FastAPI 后端Tauri 桌面壳 Rust本地 HTTPReact TypeScript Tailwind7 款 TTS 引擎Whisper STTQwen3 本地 LLMSQLiteMCP ServerREST WebSocketMLX Apple SiliconPyTorch CUDA/ROCm/DirectML/CPUCursor Claude Code 等设计要点TauriRust做桌面壳而非 Electron原生性能更好、资源占用更低。FastAPIPython承载推理与 API首次启动时后端自动拉起。推理双栈Apple Silicon 走MLX MetalWindows / Linux NVIDIA 走PyTorch CUDA另支持 ROCm、DirectML、Intel Arc、纯 CPU。SQLite存储音色档案、生成版本、Captures 元数据等。无云回退文档明确「Local is the product」——不需要自备 OpenAI / ElevenLabs API Key。技术栈一览层级技术桌面应用Tauri (Rust)前端React, TypeScript, Tailwind CSS, Zustand, React Query后端FastAPI (Python)TTSQwen3-TTS, Qwen CustomVoice, LuxTTS, Chatterbox, Chatterbox Turbo, TADA, KokoroSTTWhisper / Whisper Turbo (PyTorch 或 MLX)本地 LLMQwen3 0.6B / 1.7B / 4B音频效果Pedalboard (Spotify)音频可视化WaveSurfer.js, librosa数据库SQLite核心功能详解1. 语音克隆Voice CloningVoicebox 支持零样本克隆上传或录制参考样本创建Voice Profile即可用多款引擎合成该音色的新语音。档案支持多样本、导入导出、按语言与描述组织。克隆向引擎5 款引擎参数量级语言特点Qwen3-TTS(0.6B / 1.7B)中小10高质量多语言克隆支持自然语言 delivery 指令如「慢一点」「耳语」LuxTTS轻量英语约 1GB VRAM48kHz 输出CPU 上可达约 150× 实时Chatterbox Multilingual—23语言覆盖最广含阿拉伯语、印地语、希伯来语、斯瓦希里语等Chatterbox Turbo350M英语速度快支持副语言情绪/音效标签见下文TADA(1B / 3B)大10HumeAI 语音-语言模型可生成长达700 秒以上连贯音频预设向引擎无需克隆样本引擎说明Qwen CustomVoice(0.6B / 1.7B)9 款精选预设 自然语言控制语气、情绪、语速Kokoro82M 极小模型50预设音色CPU 实时VRAM 占用最低生成时可按次切换引擎不必全局锁定单一模型。2. 表现力情绪标签与自然语言控制Chatterbox Turbo能解析副语言标签在文本中插入即可生效例如[laugh] [chuckle] [gasp] [cough] [sigh] [groan] [sniff] [shush] [clear throat]在输入框输入/可打开标签插入器。注意Qwen3-TTS、LuxTTS、Chatterbox Multilingual、TADA 会把标签当普通文字读出来仅 Turbo 真正演绎。Qwen CustomVoice / Qwen3-TTS则通过自然语言描述 deliverytone、emotion、pace适合「用一句话指挥怎么说」而非记标签语法。3. 后期处理Post-Processing生成后可链式应用8 种基于 Spotify Pedalboard 的效果并支持实时预览与自定义预设效果说明Pitch Shift升降调最高 ±12 半音Reverb可调房间大小、阻尼、干湿比Delay回声时间、反馈、混合Chorus / Flanger调制延迟纹理Compressor动态范围压缩Gain-40 ~ 40 dBHigh-Pass / Low-Pass Filter高低频滤波内置预设包括 Robotic、Radio、Echo Chamber、Deep Voice 等可为每个 Profile 绑定默认效果链。生成版本体系每次生成保留 Original可基于任意版本叠加 Effects、用新 seed 做 Takes、标星收藏并追踪版本血缘。4. 无限长文本生成长文稿不会一次性塞进模型而是在句边界智能分块尊重缩写、CJK 标点、[tags]分块独立生成后交叉淡化crossfade拼接可配置分块上限100–5000 字符、交叉淡化 0–200ms最大文本长度50,000字符。适合旁白、章节朗读、课程解说等场景。5. Stories 编辑器面向多角色对话、播客、叙事的多轨时间线多轨拖拽编排轨内裁剪、分割同步播放头自动回放每个片段可固定特定生成版本。6. 听写、STT 与 Captures全局听写可配置按住说话push-to-talk与点按切换toggle组合键macOS 上经验证的无障碍注入将转写结果粘贴到当前焦点输入框并尽量保持剪贴板原子恢复应用内任意文本框均有麦克风按钮可选本地 LLM 润色去口头禅、口吃、自我纠正等再粘贴屏幕浮动 Pill显示recording/transcribing/refining/speaking状态。Whisper STT 档位Base / Small / Medium / Large / TurboTurbo 约为 Large 的 8× 速度质量损失很小。Captures 标签页每次听写、应用内录音、上传的音频都会与转写配对归档支持重放、用不同 Whisper 尺寸重新转写用不同 LLM 标志精炼转写内联编辑保存一键用克隆音色播放该段文字提升为 Voice Profile 参考样本。7. Voice Personalities音色人设为 Profile 附加自由文本人格描述后可启用Compose本地 Qwen3 LLM 生成符合人设的新台词填入文本框再 TTSSpeak in character将你输入的原文先经人设 LLM改写再朗读。同一套本地 LLM 也用于听写润色共享模型缓存与 GPU 显存。Agent 通过 MCP 传personality: true可走相同改写管线。可选模型Qwen3 0.6B / 1.7B / 4BMLX 或 PyTorch。8. Agent 集成MCP 与 REST APIVoicebox 默认在http://127.0.0.1:17493暴露 REST API 与内置 MCP Server。生成语音curl-XPOST http://127.0.0.1:17493/generate\-HContent-Type: application/json\-d{text: Hello world, profile_id: abc123, language: en}Agent 播报任意 HTTP 客户端curl-XPOST http://127.0.0.1:17493/speak\-HContent-Type: application/json\-HX-Voicebox-Client-Id: my-script\-d{text: Deploy complete., profile: Morgan}转写音频文件curl-XPOST http://127.0.0.1:17493/transcribe\-Faudiorecording.wav\-Fmodelwhisper-turboMCP 工具调用示例TypeScript 语义awaitvoicebox.speak({text:Deploy complete.,profile:Morgan,});在Claude Code中一键添加 MCPclaude mcpaddvoicebox\--transporthttp\--urlhttp://127.0.0.1:17493/mcp\--headerX-Voicebox-Client-Id: claude-codeCursor / VS Code等可在 MCP 配置中使用{mcpServers:{voicebox:{url:http://127.0.0.1:17493/mcp,headers:{X-Voicebox-Client-Id:cursor}}}}在Settings → MCP中可为不同 Agent 绑定不同默认声线例如 Claude 用 Morgan、Cursor 用 Scarlett便于「听声辨 Agent」。此外提供 WebSocket、异步生成队列SSE 状态流、失败重试与崩溃后 stale 任务恢复。9. 异步生成队列生成任务非阻塞提交后可继续编辑下一条。内部串行队列避免 GPU 争抢支持多版本 Takes、收藏与失败重试。安装与系统要求下载渠道平台安装方式macOS (Apple Silicon)DMG / tar.gzmacOS (Intel)DMG / tar.gzWindowsMSI 或 Setup 可执行文件Dockerdocker compose up无头服务 Web UI见文档 Docker 章节Linux预编译包仍在推进可参考 linux-install 源码构建所有二进制见 GitHub Releases。系统要求最低配置系统macOS 11、Windows 10 或 Linux内存8 GB磁盘5 GB可用模型 数据CPU现代多核处理器推荐配置内存16 GBGPUNVIDIA CUDAWindows / Linux或 Apple SiliconMLX磁盘10 GB纯 CPU 可用但生成速度明显慢于 GPU实时工作流强烈建议独显或 Apple Silicon。首次启动模型自动下载首次使用某 TTS 引擎时会拉取对应模型约 350 MB 的 Kokoro 到约 8 GB 的 TADA 3B常用 Qwen 1.7B 约 3.5 GB。数据目录macOS~/Library/Application Support/sh.voicebox.app/Windows%APPDATA%/sh.voicebox.app/Linux~/.config/sh.voicebox.app/后端服务捆绑的 Python 服务自动启动左下角状态指示应为绿色。可通过环境变量VOICEBOX_MODELS_DIR自定义模型存储路径。安装验证清单启动 Voicebox确认左下角服务状态为绿进入Profiles创建测试档案输入短句生成音频确认能听到输出。若失败参阅官方 Troubleshooting安装、GPU、模型下载等常见问题。快速上手教程步骤一创建 Voice Profile打开Profiles→New Profile上传一段 5–30 秒清晰干声或应用内录制可选添加多个样本以提升克隆稳定性填写描述、默认语言标签。伦理提示仅使用你有权克隆的声音本人、已授权演员、合同范围内素材。步骤二生成第一段语音在主界面选择刚创建的 Profile在引擎下拉框选择起始引擎新手可试Qwen3-TTS 1.7B或轻量Kokoro预设输入英文或目标语言文本点击生成等待队列完成首次会包含模型下载时间试听 Original必要时切换Chatterbox Turbo并加入[laugh]等标签对比效果。步骤三体验听写可选在设置中配置全局听写组合键macOS 需授予Accessibility与Input Monitoring应用内有引导在任意文本框聚焦后按住热键说话松手查看转写是否粘贴在Captures中查看归档尝试Play as voice profile。步骤四为 Cursor 配置 MCP可选确保 Voicebox 正在运行且 API 可访问在 Cursor MCP 设置中加入上文 JSON 配置在Settings → MCP绑定默认 Profile让 Agent 在任务完成时调用speak观察浮动 Pill 与音频输出。更细的图文流程见官方 Quick Start。GPU 与性能平台推理后端说明macOS (Apple Silicon)MLX (Metal)Neural Engine 加速文档称约 4–5× 于纯 CPUWindows / Linux (NVIDIA)PyTorch CUDA应用内可自动下载 CUDA 构建Linux (AMD)PyTorch ROCm自动配置HSA_OVERRIDE_GFX_VERSION等Windows (通用 GPU)DirectML覆盖更多 Windows 显卡Intel ArcIPEX / XPU独显加速任意CPU全平台兜底速度最慢可在模型管理中卸载未用模型以释放 VRAM而不删除已下载文件。典型使用场景视频与播客配音用克隆或 Kokoro 预设批量生成旁白长稿启用自动分块 crossfadeStories 编排主持人与嘉宾对谈轨。游戏与互动叙事为 NPC 建立 Profile通过 REST API 动态拉台词Chatterbox Turbo 标签增强喜剧或紧张氛围。无障碍与辅助沟通STT 填入任意应用输入框TTS 用本人或定制音色「说回去」。Agent 开发闭环典型循环听写提问 → Agent 推理 →voicebox.speak用克隆声线播报结果。与 Cursor、Claude Code、Windsurf、Cline 等 MCP 客户端兼容。生产管线自动化CI、脚本、自定义 harness 通过POST /generate、POST /speak、POST /transcribe接入无需 GUI 操作Docker 部署更适合服务器场景。局限与注意事项技术局限Linux 桌面安装包预编译二进制仍在解决 CI 磁盘等问题Linux 用户可能需要源码或 Docker。模型体积多引擎意味着多份权重请预留足够 SSD 空间。CPU-onlyLuxTTS、Kokoro 相对友好大模型TADA 3B、Qwen 1.7B在 CPU 上延迟明显。语言与引擎匹配并非每个引擎都支持 23 语言跨语言克隆需选对Chatterbox Multilingual等。伦理与合规语音克隆技术极易被滥用。请务必获得声音主体的明示同意不得用于诈骗、深度伪造诽谤、未授权冒充公众人物在商业项目中核对当地法律法规与平台政策。Voicebox 作为工具本身中立责任在使用者。与商业产品的差距诚实评价云服务的延迟稳定性、运维负担由厂商承担本地方案需自行管理 GPU、驱动、模型更新。极端拟真度与韵律控制在部分语种上可能仍不及顶尖商业 API 的最新专有模型——但 Voicebox 的优势在于隐私、成本、可编排、Agent 原生而非单一指标碾压。总结与资源Voicebox是目前少有的、将语音克隆 / TTS、Whisper STT、本地 LLM 润色与人设、MCP Agent 发声、多轨 Stories集成在同一开源桌面中的项目。它用 Tauri 保证原生体验用 7 款可切换引擎覆盖从极简 CPU 到高质量 GPU 的谱系并明确以本地、无账号、无云回退为产品哲学。若你正在评估 ElevenLabs WisprFlow 的替代方案或希望 Cursor 里的 Agent 「用你的声音说话」值得花一个下午安装试用。官方资源资源链接官网https://voicebox.sh文档https://docs.voicebox.shGitHubhttps://github.com/jamiepine/voicebox最新 Releasehttps://github.com/jamiepine/voicebox/releases/latest介绍https://docs.voicebox.sh/overview/introduction安装https://docs.voicebox.sh/overview/installationDockerhttps://docs.voicebox.sh/overview/docker故障排除https://docs.voicebox.sh/overview/troubleshooting本文基于公开文档整理功能随版本迭代可能变化请以官方文档为准。
Voicebox 深度指南：开源本地 AI 语音工作室完整评测与上手教程
说明本文介绍的是 VoiceboxGitHub: jamiepine/voicebox——一款本地优先的开源桌面应用。不是Meta 于 2023 年发布的学术研究项目 Voicebox。信息来源官方文档 docs.voicebox.sh、GitHub README版本与 Star 数以2026 年初为参考。voicebox支持模型—目录前言为什么需要本地语音栈Voicebox 是什么核心功能详解安装与系统要求快速上手教程GPU 与性能典型使用场景局限与注意事项总结与资源前言为什么需要本地语音栈过去两年语音 AI 被两家「云原生」产品分别占领了一半用户旅程维度ElevenLabs典型云 TTSWisprFlow典型云听写Voicebox本地一体化核心能力克隆音色、高质量 TTS全局听写、快速 STTTTS STT 本地 LLM 一体数据位置上传云端处理通常云端转写默认全部在本机费用模式订阅 / 按量计费订阅免费开源MITAgent 集成API 为主偏人类输入内置 MCP REST账号依赖需要需要无需账号对以下人群而言「本地语音栈」不再是极客玩具而是刚需隐私敏感用户声纹、口述内容、商业旁白不愿上传第三方。高频创作者长视频、播客、有声书需要批量生成云 API 成本随用量线性上升。开发者 / Agent 用户希望 Cursor、Claude Code 等工具不仅能打字回复还能用固定声线播报状态。无障碍与替代沟通需要 STT 输入与 TTS 输出在同一套工具链里闭环。Voicebox 的定位很明确在单机上闭合「人说 → 字 → Agent/人说 → 声」整条语音 I/O 回路作为 ElevenLabs 与 WisprFlow 的开源、本地替代方案。Voicebox 是什么Voicebox 是一款local-first本地优先的 AI 语音工作室桌面应用。你可以用几秒参考音频零样本克隆音色并生成语音用全局热键在任意应用中听写STT通过MCP / REST API让 AI Agent 用指定克隆声线「开口说话」在Stories多轨编辑器里制作多角色对话或播客时间线。项目由 Jamie Pine 等人维护MIT 协议开源截至 2026 年初 GitHub Star 约 2.5 万最新稳定版可参考 Releases如 v0.5.0。架构概览Python FastAPI 后端Tauri 桌面壳 Rust本地 HTTPReact TypeScript Tailwind7 款 TTS 引擎Whisper STTQwen3 本地 LLMSQLiteMCP ServerREST WebSocketMLX Apple SiliconPyTorch CUDA/ROCm/DirectML/CPUCursor Claude Code 等设计要点TauriRust做桌面壳而非 Electron原生性能更好、资源占用更低。FastAPIPython承载推理与 API首次启动时后端自动拉起。推理双栈Apple Silicon 走MLX MetalWindows / Linux NVIDIA 走PyTorch CUDA另支持 ROCm、DirectML、Intel Arc、纯 CPU。SQLite存储音色档案、生成版本、Captures 元数据等。无云回退文档明确「Local is the product」——不需要自备 OpenAI / ElevenLabs API Key。技术栈一览层级技术桌面应用Tauri (Rust)前端React, TypeScript, Tailwind CSS, Zustand, React Query后端FastAPI (Python)TTSQwen3-TTS, Qwen CustomVoice, LuxTTS, Chatterbox, Chatterbox Turbo, TADA, KokoroSTTWhisper / Whisper Turbo (PyTorch 或 MLX)本地 LLMQwen3 0.6B / 1.7B / 4B音频效果Pedalboard (Spotify)音频可视化WaveSurfer.js, librosa数据库SQLite核心功能详解1. 语音克隆Voice CloningVoicebox 支持零样本克隆上传或录制参考样本创建Voice Profile即可用多款引擎合成该音色的新语音。档案支持多样本、导入导出、按语言与描述组织。克隆向引擎5 款引擎参数量级语言特点Qwen3-TTS(0.6B / 1.7B)中小10高质量多语言克隆支持自然语言 delivery 指令如「慢一点」「耳语」LuxTTS轻量英语约 1GB VRAM48kHz 输出CPU 上可达约 150× 实时Chatterbox Multilingual—23语言覆盖最广含阿拉伯语、印地语、希伯来语、斯瓦希里语等Chatterbox Turbo350M英语速度快支持副语言情绪/音效标签见下文TADA(1B / 3B)大10HumeAI 语音-语言模型可生成长达700 秒以上连贯音频预设向引擎无需克隆样本引擎说明Qwen CustomVoice(0.6B / 1.7B)9 款精选预设 自然语言控制语气、情绪、语速Kokoro82M 极小模型50预设音色CPU 实时VRAM 占用最低生成时可按次切换引擎不必全局锁定单一模型。2. 表现力情绪标签与自然语言控制Chatterbox Turbo能解析副语言标签在文本中插入即可生效例如[laugh] [chuckle] [gasp] [cough] [sigh] [groan] [sniff] [shush] [clear throat]在输入框输入/可打开标签插入器。注意Qwen3-TTS、LuxTTS、Chatterbox Multilingual、TADA 会把标签当普通文字读出来仅 Turbo 真正演绎。Qwen CustomVoice / Qwen3-TTS则通过自然语言描述 deliverytone、emotion、pace适合「用一句话指挥怎么说」而非记标签语法。3. 后期处理Post-Processing生成后可链式应用8 种基于 Spotify Pedalboard 的效果并支持实时预览与自定义预设效果说明Pitch Shift升降调最高 ±12 半音Reverb可调房间大小、阻尼、干湿比Delay回声时间、反馈、混合Chorus / Flanger调制延迟纹理Compressor动态范围压缩Gain-40 ~ 40 dBHigh-Pass / Low-Pass Filter高低频滤波内置预设包括 Robotic、Radio、Echo Chamber、Deep Voice 等可为每个 Profile 绑定默认效果链。生成版本体系每次生成保留 Original可基于任意版本叠加 Effects、用新 seed 做 Takes、标星收藏并追踪版本血缘。4. 无限长文本生成长文稿不会一次性塞进模型而是在句边界智能分块尊重缩写、CJK 标点、[tags]分块独立生成后交叉淡化crossfade拼接可配置分块上限100–5000 字符、交叉淡化 0–200ms最大文本长度50,000字符。适合旁白、章节朗读、课程解说等场景。5. Stories 编辑器面向多角色对话、播客、叙事的多轨时间线多轨拖拽编排轨内裁剪、分割同步播放头自动回放每个片段可固定特定生成版本。6. 听写、STT 与 Captures全局听写可配置按住说话push-to-talk与点按切换toggle组合键macOS 上经验证的无障碍注入将转写结果粘贴到当前焦点输入框并尽量保持剪贴板原子恢复应用内任意文本框均有麦克风按钮可选本地 LLM 润色去口头禅、口吃、自我纠正等再粘贴屏幕浮动 Pill显示recording/transcribing/refining/speaking状态。Whisper STT 档位Base / Small / Medium / Large / TurboTurbo 约为 Large 的 8× 速度质量损失很小。Captures 标签页每次听写、应用内录音、上传的音频都会与转写配对归档支持重放、用不同 Whisper 尺寸重新转写用不同 LLM 标志精炼转写内联编辑保存一键用克隆音色播放该段文字提升为 Voice Profile 参考样本。7. Voice Personalities音色人设为 Profile 附加自由文本人格描述后可启用Compose本地 Qwen3 LLM 生成符合人设的新台词填入文本框再 TTSSpeak in character将你输入的原文先经人设 LLM改写再朗读。同一套本地 LLM 也用于听写润色共享模型缓存与 GPU 显存。Agent 通过 MCP 传personality: true可走相同改写管线。可选模型Qwen3 0.6B / 1.7B / 4BMLX 或 PyTorch。8. Agent 集成MCP 与 REST APIVoicebox 默认在http://127.0.0.1:17493暴露 REST API 与内置 MCP Server。生成语音curl-XPOST http://127.0.0.1:17493/generate\-HContent-Type: application/json\-d{text: Hello world, profile_id: abc123, language: en}Agent 播报任意 HTTP 客户端curl-XPOST http://127.0.0.1:17493/speak\-HContent-Type: application/json\-HX-Voicebox-Client-Id: my-script\-d{text: Deploy complete., profile: Morgan}转写音频文件curl-XPOST http://127.0.0.1:17493/transcribe\-Faudiorecording.wav\-Fmodelwhisper-turboMCP 工具调用示例TypeScript 语义awaitvoicebox.speak({text:Deploy complete.,profile:Morgan,});在Claude Code中一键添加 MCPclaude mcpaddvoicebox\--transporthttp\--urlhttp://127.0.0.1:17493/mcp\--headerX-Voicebox-Client-Id: claude-codeCursor / VS Code等可在 MCP 配置中使用{mcpServers:{voicebox:{url:http://127.0.0.1:17493/mcp,headers:{X-Voicebox-Client-Id:cursor}}}}在Settings → MCP中可为不同 Agent 绑定不同默认声线例如 Claude 用 Morgan、Cursor 用 Scarlett便于「听声辨 Agent」。此外提供 WebSocket、异步生成队列SSE 状态流、失败重试与崩溃后 stale 任务恢复。9. 异步生成队列生成任务非阻塞提交后可继续编辑下一条。内部串行队列避免 GPU 争抢支持多版本 Takes、收藏与失败重试。安装与系统要求下载渠道平台安装方式macOS (Apple Silicon)DMG / tar.gzmacOS (Intel)DMG / tar.gzWindowsMSI 或 Setup 可执行文件Dockerdocker compose up无头服务 Web UI见文档 Docker 章节Linux预编译包仍在推进可参考 linux-install 源码构建所有二进制见 GitHub Releases。系统要求最低配置系统macOS 11、Windows 10 或 Linux内存8 GB磁盘5 GB可用模型 数据CPU现代多核处理器推荐配置内存16 GBGPUNVIDIA CUDAWindows / Linux或 Apple SiliconMLX磁盘10 GB纯 CPU 可用但生成速度明显慢于 GPU实时工作流强烈建议独显或 Apple Silicon。首次启动模型自动下载首次使用某 TTS 引擎时会拉取对应模型约 350 MB 的 Kokoro 到约 8 GB 的 TADA 3B常用 Qwen 1.7B 约 3.5 GB。数据目录macOS~/Library/Application Support/sh.voicebox.app/Windows%APPDATA%/sh.voicebox.app/Linux~/.config/sh.voicebox.app/后端服务捆绑的 Python 服务自动启动左下角状态指示应为绿色。可通过环境变量VOICEBOX_MODELS_DIR自定义模型存储路径。安装验证清单启动 Voicebox确认左下角服务状态为绿进入Profiles创建测试档案输入短句生成音频确认能听到输出。若失败参阅官方 Troubleshooting安装、GPU、模型下载等常见问题。快速上手教程步骤一创建 Voice Profile打开Profiles→New Profile上传一段 5–30 秒清晰干声或应用内录制可选添加多个样本以提升克隆稳定性填写描述、默认语言标签。伦理提示仅使用你有权克隆的声音本人、已授权演员、合同范围内素材。步骤二生成第一段语音在主界面选择刚创建的 Profile在引擎下拉框选择起始引擎新手可试Qwen3-TTS 1.7B或轻量Kokoro预设输入英文或目标语言文本点击生成等待队列完成首次会包含模型下载时间试听 Original必要时切换Chatterbox Turbo并加入[laugh]等标签对比效果。步骤三体验听写可选在设置中配置全局听写组合键macOS 需授予Accessibility与Input Monitoring应用内有引导在任意文本框聚焦后按住热键说话松手查看转写是否粘贴在Captures中查看归档尝试Play as voice profile。步骤四为 Cursor 配置 MCP可选确保 Voicebox 正在运行且 API 可访问在 Cursor MCP 设置中加入上文 JSON 配置在Settings → MCP绑定默认 Profile让 Agent 在任务完成时调用speak观察浮动 Pill 与音频输出。更细的图文流程见官方 Quick Start。GPU 与性能平台推理后端说明macOS (Apple Silicon)MLX (Metal)Neural Engine 加速文档称约 4–5× 于纯 CPUWindows / Linux (NVIDIA)PyTorch CUDA应用内可自动下载 CUDA 构建Linux (AMD)PyTorch ROCm自动配置HSA_OVERRIDE_GFX_VERSION等Windows (通用 GPU)DirectML覆盖更多 Windows 显卡Intel ArcIPEX / XPU独显加速任意CPU全平台兜底速度最慢可在模型管理中卸载未用模型以释放 VRAM而不删除已下载文件。典型使用场景视频与播客配音用克隆或 Kokoro 预设批量生成旁白长稿启用自动分块 crossfadeStories 编排主持人与嘉宾对谈轨。游戏与互动叙事为 NPC 建立 Profile通过 REST API 动态拉台词Chatterbox Turbo 标签增强喜剧或紧张氛围。无障碍与辅助沟通STT 填入任意应用输入框TTS 用本人或定制音色「说回去」。Agent 开发闭环典型循环听写提问 → Agent 推理 →voicebox.speak用克隆声线播报结果。与 Cursor、Claude Code、Windsurf、Cline 等 MCP 客户端兼容。生产管线自动化CI、脚本、自定义 harness 通过POST /generate、POST /speak、POST /transcribe接入无需 GUI 操作Docker 部署更适合服务器场景。局限与注意事项技术局限Linux 桌面安装包预编译二进制仍在解决 CI 磁盘等问题Linux 用户可能需要源码或 Docker。模型体积多引擎意味着多份权重请预留足够 SSD 空间。CPU-onlyLuxTTS、Kokoro 相对友好大模型TADA 3B、Qwen 1.7B在 CPU 上延迟明显。语言与引擎匹配并非每个引擎都支持 23 语言跨语言克隆需选对Chatterbox Multilingual等。伦理与合规语音克隆技术极易被滥用。请务必获得声音主体的明示同意不得用于诈骗、深度伪造诽谤、未授权冒充公众人物在商业项目中核对当地法律法规与平台政策。Voicebox 作为工具本身中立责任在使用者。与商业产品的差距诚实评价云服务的延迟稳定性、运维负担由厂商承担本地方案需自行管理 GPU、驱动、模型更新。极端拟真度与韵律控制在部分语种上可能仍不及顶尖商业 API 的最新专有模型——但 Voicebox 的优势在于隐私、成本、可编排、Agent 原生而非单一指标碾压。总结与资源Voicebox是目前少有的、将语音克隆 / TTS、Whisper STT、本地 LLM 润色与人设、MCP Agent 发声、多轨 Stories集成在同一开源桌面中的项目。它用 Tauri 保证原生体验用 7 款可切换引擎覆盖从极简 CPU 到高质量 GPU 的谱系并明确以本地、无账号、无云回退为产品哲学。若你正在评估 ElevenLabs WisprFlow 的替代方案或希望 Cursor 里的 Agent 「用你的声音说话」值得花一个下午安装试用。官方资源资源链接官网https://voicebox.sh文档https://docs.voicebox.shGitHubhttps://github.com/jamiepine/voicebox最新 Releasehttps://github.com/jamiepine/voicebox/releases/latest介绍https://docs.voicebox.sh/overview/introduction安装https://docs.voicebox.sh/overview/installationDockerhttps://docs.voicebox.sh/overview/docker故障排除https://docs.voicebox.sh/overview/troubleshooting本文基于公开文档整理功能随版本迭代可能变化请以官方文档为准。
