gemma-4-e4b-it-qat-OptiQ-4bit开发者指南API调用、微调与扩展开发【免费下载链接】gemma-4-e4b-it-qat-OptiQ-4bit项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/gemma-4-e4b-it-qat-OptiQ-4bitgemma-4-e4b-it-qat-OptiQ-4bit是一款基于Google Gemma-4 E4B-it量化感知训练QAT基础模型的4-bit混合精度MLX量化模型由mlx-optiq工具构建专为Apple Silicon优化可在本地高效运行大型语言模型无需依赖PyTorch和云服务。模型核心特性解析 ✨混合精度量化技术该模型采用OptiQ灵敏度引导的逐层位分配技术在QAT基础上进一步优化性能。敏感层使用8-bit精度稳健层保持4-bit精度实现了5.17位/权重的总体量化水平在仅增加约0.7GB存储占用的情况下相比均匀4-bit量化提升了1.19个Capability Score点。多模态能力支持模型通过optiq_vision.safetensors文件提供bf16精度的视觉塔支持图像文本输入可通过mlx-optiq工具实现多模态交互。性能基准数据在六项关键指标上的表现与均匀4-bit量化版本对比基准测试均匀4-bit (QAT基础)OptiQ混合精度提升MMLU (5-shot)57.4%57.7%0.3GSM8K79.5%80.0%0.5IFEval67.8%69.1%1.3HumanEval78.7%81.7%3.0HashHop (长上下文)34.0%36.0%2.0平均Capability Score64.5665.751.19快速开始环境准备与安装 系统要求Apple Silicon设备M系列芯片macOS系统Python 3.8模型获取git clone https://gitcode.com/hf_mirrors/mlx-community/gemma-4-e4b-it-qat-OptiQ-4bit cd gemma-4-e4b-it-qat-OptiQ-4bit依赖安装# 基础文本生成依赖 pip install mlx-lm # 多模态支持与高级功能 pip install mlx-optiqAPI调用指南 基础文本生成mlx-lmfrom mlx_lm import load, generate # 加载模型和分词器 model, tokenizer load(.) # 生成文本 response generate( model, tokenizer, promptExplain mixed-precision quantization., max_tokens256, temperature0.7, top_p0.9 ) print(response)多模态输入mlx-optiq# 启动带视觉支持的服务 optiq serve --model . \ --drafter google/gemma-4-E4B-it-qat-q4_0-unquantized-assistant生成配置参数模型默认生成配置存储在generation_config.json中关键参数包括temperature: 控制输出随机性默认1.0top_k: 采样候选词数量默认64top_p: 核采样概率阈值默认0.95eos_token_id: 结束标记ID[1, 106, 50]模型微调实践 ️使用mlx-optiq进行微调# 启动OptiQ实验室进行可视化微调 optiq lab微调建议数据准备建议使用JSONL格式的指令微调数据学习率初始学习率推荐设置为1e-5批次大小根据设备内存建议设置为4-8** epoch数**通常3-5个epoch即可获得良好效果扩展开发指南 量化自定义模型使用OptiQ工具量化其他Hugging Face模型optiq convert hf-model-id --target-bpw 5.0 --candidate-bits 4,8项目文件结构关键文件说明model-00001-of-00002.safetensors模型权重文件1model-00002-of-00002.safetensors模型权重文件2config.json模型架构和量化配置tokenizer.json分词器配置optiq/optiq_vision.safetensors视觉塔权重高级功能推测性解码通过指定drafter模型加速生成过程optiq serve --model . \ --drafter google/gemma-4-E4B-it-qat-q4_0-unquantized-assistant常见问题解答 ❓Q: 模型支持哪些输入类型A: 支持纯文本输入和图像文本的多模态输入。纯文本可通过mlx-lm直接加载多模态输入需使用mlx-optiq工具。Q: 如何调整生成参数A: 可在generate函数中传递参数或修改generation_config.json文件中的默认值。Q: 模型对硬件有什么要求A: 推荐在Apple Silicon M1及以上芯片设备上运行至少8GB内存。许可证信息 本模型基于Google Gemma-4 E4B-it-qat-q4_0-unquantized构建遵循Gemma使用条款。【免费下载链接】gemma-4-e4b-it-qat-OptiQ-4bit项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/gemma-4-e4b-it-qat-OptiQ-4bit创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
gemma-4-e4b-it-qat-OptiQ-4bit开发者指南：API调用、微调与扩展开发
gemma-4-e4b-it-qat-OptiQ-4bit开发者指南API调用、微调与扩展开发【免费下载链接】gemma-4-e4b-it-qat-OptiQ-4bit项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/gemma-4-e4b-it-qat-OptiQ-4bitgemma-4-e4b-it-qat-OptiQ-4bit是一款基于Google Gemma-4 E4B-it量化感知训练QAT基础模型的4-bit混合精度MLX量化模型由mlx-optiq工具构建专为Apple Silicon优化可在本地高效运行大型语言模型无需依赖PyTorch和云服务。模型核心特性解析 ✨混合精度量化技术该模型采用OptiQ灵敏度引导的逐层位分配技术在QAT基础上进一步优化性能。敏感层使用8-bit精度稳健层保持4-bit精度实现了5.17位/权重的总体量化水平在仅增加约0.7GB存储占用的情况下相比均匀4-bit量化提升了1.19个Capability Score点。多模态能力支持模型通过optiq_vision.safetensors文件提供bf16精度的视觉塔支持图像文本输入可通过mlx-optiq工具实现多模态交互。性能基准数据在六项关键指标上的表现与均匀4-bit量化版本对比基准测试均匀4-bit (QAT基础)OptiQ混合精度提升MMLU (5-shot)57.4%57.7%0.3GSM8K79.5%80.0%0.5IFEval67.8%69.1%1.3HumanEval78.7%81.7%3.0HashHop (长上下文)34.0%36.0%2.0平均Capability Score64.5665.751.19快速开始环境准备与安装 系统要求Apple Silicon设备M系列芯片macOS系统Python 3.8模型获取git clone https://gitcode.com/hf_mirrors/mlx-community/gemma-4-e4b-it-qat-OptiQ-4bit cd gemma-4-e4b-it-qat-OptiQ-4bit依赖安装# 基础文本生成依赖 pip install mlx-lm # 多模态支持与高级功能 pip install mlx-optiqAPI调用指南 基础文本生成mlx-lmfrom mlx_lm import load, generate # 加载模型和分词器 model, tokenizer load(.) # 生成文本 response generate( model, tokenizer, promptExplain mixed-precision quantization., max_tokens256, temperature0.7, top_p0.9 ) print(response)多模态输入mlx-optiq# 启动带视觉支持的服务 optiq serve --model . \ --drafter google/gemma-4-E4B-it-qat-q4_0-unquantized-assistant生成配置参数模型默认生成配置存储在generation_config.json中关键参数包括temperature: 控制输出随机性默认1.0top_k: 采样候选词数量默认64top_p: 核采样概率阈值默认0.95eos_token_id: 结束标记ID[1, 106, 50]模型微调实践 ️使用mlx-optiq进行微调# 启动OptiQ实验室进行可视化微调 optiq lab微调建议数据准备建议使用JSONL格式的指令微调数据学习率初始学习率推荐设置为1e-5批次大小根据设备内存建议设置为4-8** epoch数**通常3-5个epoch即可获得良好效果扩展开发指南 量化自定义模型使用OptiQ工具量化其他Hugging Face模型optiq convert hf-model-id --target-bpw 5.0 --candidate-bits 4,8项目文件结构关键文件说明model-00001-of-00002.safetensors模型权重文件1model-00002-of-00002.safetensors模型权重文件2config.json模型架构和量化配置tokenizer.json分词器配置optiq/optiq_vision.safetensors视觉塔权重高级功能推测性解码通过指定drafter模型加速生成过程optiq serve --model . \ --drafter google/gemma-4-E4B-it-qat-q4_0-unquantized-assistant常见问题解答 ❓Q: 模型支持哪些输入类型A: 支持纯文本输入和图像文本的多模态输入。纯文本可通过mlx-lm直接加载多模态输入需使用mlx-optiq工具。Q: 如何调整生成参数A: 可在generate函数中传递参数或修改generation_config.json文件中的默认值。Q: 模型对硬件有什么要求A: 推荐在Apple Silicon M1及以上芯片设备上运行至少8GB内存。许可证信息 本模型基于Google Gemma-4 E4B-it-qat-q4_0-unquantized构建遵循Gemma使用条款。【免费下载链接】gemma-4-e4b-it-qat-OptiQ-4bit项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/gemma-4-e4b-it-qat-OptiQ-4bit创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
