2025_NIPS_Preserving LLM Capabilities through Calibration Data Curation: From Analysis to Optimizati

文章主要内容总结该研究聚焦大语言模型（LLM）后训练压缩中校准数据的作用，核心解决“如何通过校准数据筛选保留模型关键能力”的问题。通过系统分析校准数据的组成特性（序列长度、样本数量、数据源、格式）和领域相关性（语言、主题、推理难度）对模型能力的影响，发现激活空间的代表性和多样性是决定校准数据质量的核心因素。基于此，提出三阶段校准数据筛选框架COLA，通过数据集选择、数据处理、样本筛选三个步骤，最大化激活空间的代表性和多样性，最终在通用和特定部署场景中，均能有效提升剪枝、量化等压缩方法对模型复杂推理（数学、代码生成）等关键能力的保留效果。文章创新点系统性探究校准数据的多维度影响：首次全面分析组成特性和领域相关性对LLM多类能力（尤其是高阶推理能力）的影响，突破以往单一维度研究的局限。揭示核心影响机制：提出激活空间的代表性和多样性是校准数据最优性的根本决定因素，通过频谱分析验证该机制。提出通用校准数据筛选框架COLA：三阶段流程（数据集选择-数据处理-样本筛选）可与现有压缩方法正交集成，无需修改压缩逻辑即可提升性能。实证验证泛化性：在LLaMA3、Qwen2.5系列模型及多种压缩方法（SparseGPT、AWQ等）上验证，在通用和特定部署场景均表现优异。翻译部分（Markdown格式）Abstract后训练压缩已成为缩减大语言模型（LLM）规模、提升推理效率的广泛应用方法。在剪枝、量化等各类压