从PyTorch到MLXNemotron-3-Embed-1B-BF16-4bit转换背后的四大技术突破【免费下载链接】Nemotron-3-Embed-1B-BF16-4bit项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/Nemotron-3-Embed-1B-BF16-4bitNemotron-3-Embed-1B-BF16-4bit是一款专为Apple Silicon优化的高效嵌入模型它通过MLX框架实现了从PyTorch的无缝转换同时带来了四大关键技术突破让开发者在苹果设备上也能享受到高性能的文本嵌入体验。突破一架构重构实现双向注意力编码 原始的Ministral3Model架构是一个因果解码器而mlx-lm和mlx-embeddings并不直接支持这种结构。为了解决这个问题开发者对模型架构进行了深度重构。核心改动包括复用了mlx-lm中Ministral3因果语言模型实现中的注意力机制、yarn RoPE和llama_4_scaling移除了因果掩码代之以键填充掩码将模型转变为双向编码器这一改动使得模型能够更好地理解文本的上下文关系为高质量嵌入生成奠定基础实现这一突破的核心代码集中在nemotron3_embed_mlx.py文件中特别是NemotronEmbedModel类的__call__方法其中构建了新的注意力机制。突破二精准量化技术实现4bit高效存储 模型采用了MLX affine 4-bit量化技术group_size64在保持性能的同时大幅降低了模型大小。这一技术突破使得模型从原始的2.28GB缩减到仅0.64GB存储需求减少了72%。量化参数配置可以在config.json中找到quantization: { group_size: 64, bits: 4, mode: affine }尽管进行了深度量化但模型性能损失极小。在NDCG10指标上保持了99.3%的性能保留率Recall10保持了98.7%实现了存储效率和性能的完美平衡。突破三优化的池化与归一化策略 为了确保嵌入质量模型采用了优化的均值池化和L2归一化策略采用均值池化mean pooling方法聚合 token 嵌入在fp32精度下执行池化和归一化操作避免了bf16精度可能导致的累积误差最终嵌入向量经过L2归一化处理确保向量具有统一的尺度这一处理流程在代码中的实现如下h self.norm(h).astype(mx.float32) m attention_mask[:, :, None].astype(mx.float32) emb (h * m).sum(axis1) / m.sum(axis1) return emb / mx.linalg.norm(emb, axis-1, keepdimsTrue)突破四Apple Silicon原生优化实现性能飞跃 ⚡通过MLX框架实现的原生优化模型在Apple Silicon上展现出卓越性能与上游PyTorch/MPS路径相比相同精度下MLX路径速度提升1.8倍在M1 Pro上bf16精度下达到2.71 docs/s的吞吐量即使是4bit量化版本也能在保持高性能的同时显著降低内存占用性能对比数据后端吞吐量模型大小PyTorch/MPS (sentence-transformers)1.53 docs/s2.28 GBMLX bf162.71 docs/s2.28 GBMLX 8-bit1.66 docs/s1.21 GBMLX 4-bit1.65 docs/s0.64 GB这些性能数据来自项目中提供的compare_backends.py工具开发者可以在自己的Apple设备上复现这些测试。快速开始使用指南 要在您的项目中使用Nemotron-3-Embed-1B-BF16-4bit只需按照以下简单步骤操作首先克隆仓库git clone https://gitcode.com/hf_mirrors/mlx-community/Nemotron-3-Embed-1B-BF16-4bit安装必要的依赖pip install mlx mlx-lm transformers numpy huggingface_hub使用以下Python代码进行文本嵌入import sys from huggingface_hub import snapshot_download path snapshot_download(mlx-community/Nemotron-3-Embed-1B-BF16-4bit) sys.path.insert(0, path) from nemotron3_embed_mlx import load, encode model, tokenizer load(path) query encode(model, tokenizer, [What is the refund policy?], input_typequery) passage encode(model, tokenizer, [Full refunds are available within 14 days of purchase.], input_typepassage) print(float(query[0] passage[0])) # 输出余弦相似度注意查询需要添加query: 前缀文档需要添加passage: 前缀。可以通过input_type参数自动添加这些前缀。如何选择适合您的版本 ❓项目提供了多个版本您可以根据需求选择bf16版本最高吞吐量适合对速度要求高的场景8-bit版本平衡速度和内存占用1.21GB大小4-bit版本最小内存占用(0.64GB)适合资源受限环境同时保持99.3%的NDCG性能您可以通过项目中的benchmark_mteb.py工具在自己的数据集上评估不同版本的性能。许可证信息 Nemotron-3-Embed-1B-BF16-4bit基于NVIDIA的原始模型构建采用OpenMDW-1.1许可证。完整的许可证信息可以在项目根目录的LICENSE文件中找到。这个项目是社区独立转换的成果不隶属于NVIDIA或得到其认可。原始模型仅提供vLLM (CUDA)和PyTorch路径本仓库填补了MLX框架的空白并提供了自包含的实现。【免费下载链接】Nemotron-3-Embed-1B-BF16-4bit项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/Nemotron-3-Embed-1B-BF16-4bit创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
从PyTorch到MLX：Nemotron-3-Embed-1B-BF16-4bit转换背后的四大技术突破
从PyTorch到MLXNemotron-3-Embed-1B-BF16-4bit转换背后的四大技术突破【免费下载链接】Nemotron-3-Embed-1B-BF16-4bit项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/Nemotron-3-Embed-1B-BF16-4bitNemotron-3-Embed-1B-BF16-4bit是一款专为Apple Silicon优化的高效嵌入模型它通过MLX框架实现了从PyTorch的无缝转换同时带来了四大关键技术突破让开发者在苹果设备上也能享受到高性能的文本嵌入体验。突破一架构重构实现双向注意力编码 原始的Ministral3Model架构是一个因果解码器而mlx-lm和mlx-embeddings并不直接支持这种结构。为了解决这个问题开发者对模型架构进行了深度重构。核心改动包括复用了mlx-lm中Ministral3因果语言模型实现中的注意力机制、yarn RoPE和llama_4_scaling移除了因果掩码代之以键填充掩码将模型转变为双向编码器这一改动使得模型能够更好地理解文本的上下文关系为高质量嵌入生成奠定基础实现这一突破的核心代码集中在nemotron3_embed_mlx.py文件中特别是NemotronEmbedModel类的__call__方法其中构建了新的注意力机制。突破二精准量化技术实现4bit高效存储 模型采用了MLX affine 4-bit量化技术group_size64在保持性能的同时大幅降低了模型大小。这一技术突破使得模型从原始的2.28GB缩减到仅0.64GB存储需求减少了72%。量化参数配置可以在config.json中找到quantization: { group_size: 64, bits: 4, mode: affine }尽管进行了深度量化但模型性能损失极小。在NDCG10指标上保持了99.3%的性能保留率Recall10保持了98.7%实现了存储效率和性能的完美平衡。突破三优化的池化与归一化策略 为了确保嵌入质量模型采用了优化的均值池化和L2归一化策略采用均值池化mean pooling方法聚合 token 嵌入在fp32精度下执行池化和归一化操作避免了bf16精度可能导致的累积误差最终嵌入向量经过L2归一化处理确保向量具有统一的尺度这一处理流程在代码中的实现如下h self.norm(h).astype(mx.float32) m attention_mask[:, :, None].astype(mx.float32) emb (h * m).sum(axis1) / m.sum(axis1) return emb / mx.linalg.norm(emb, axis-1, keepdimsTrue)突破四Apple Silicon原生优化实现性能飞跃 ⚡通过MLX框架实现的原生优化模型在Apple Silicon上展现出卓越性能与上游PyTorch/MPS路径相比相同精度下MLX路径速度提升1.8倍在M1 Pro上bf16精度下达到2.71 docs/s的吞吐量即使是4bit量化版本也能在保持高性能的同时显著降低内存占用性能对比数据后端吞吐量模型大小PyTorch/MPS (sentence-transformers)1.53 docs/s2.28 GBMLX bf162.71 docs/s2.28 GBMLX 8-bit1.66 docs/s1.21 GBMLX 4-bit1.65 docs/s0.64 GB这些性能数据来自项目中提供的compare_backends.py工具开发者可以在自己的Apple设备上复现这些测试。快速开始使用指南 要在您的项目中使用Nemotron-3-Embed-1B-BF16-4bit只需按照以下简单步骤操作首先克隆仓库git clone https://gitcode.com/hf_mirrors/mlx-community/Nemotron-3-Embed-1B-BF16-4bit安装必要的依赖pip install mlx mlx-lm transformers numpy huggingface_hub使用以下Python代码进行文本嵌入import sys from huggingface_hub import snapshot_download path snapshot_download(mlx-community/Nemotron-3-Embed-1B-BF16-4bit) sys.path.insert(0, path) from nemotron3_embed_mlx import load, encode model, tokenizer load(path) query encode(model, tokenizer, [What is the refund policy?], input_typequery) passage encode(model, tokenizer, [Full refunds are available within 14 days of purchase.], input_typepassage) print(float(query[0] passage[0])) # 输出余弦相似度注意查询需要添加query: 前缀文档需要添加passage: 前缀。可以通过input_type参数自动添加这些前缀。如何选择适合您的版本 ❓项目提供了多个版本您可以根据需求选择bf16版本最高吞吐量适合对速度要求高的场景8-bit版本平衡速度和内存占用1.21GB大小4-bit版本最小内存占用(0.64GB)适合资源受限环境同时保持99.3%的NDCG性能您可以通过项目中的benchmark_mteb.py工具在自己的数据集上评估不同版本的性能。许可证信息 Nemotron-3-Embed-1B-BF16-4bit基于NVIDIA的原始模型构建采用OpenMDW-1.1许可证。完整的许可证信息可以在项目根目录的LICENSE文件中找到。这个项目是社区独立转换的成果不隶属于NVIDIA或得到其认可。原始模型仅提供vLLM (CUDA)和PyTorch路径本仓库填补了MLX框架的空白并提供了自包含的实现。【免费下载链接】Nemotron-3-Embed-1B-BF16-4bit项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/Nemotron-3-Embed-1B-BF16-4bit创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
