1. 项目概述从量子物理到机器学习的桥梁在机器学习领域我们常常把模型当作一个“黑箱”数据输入结果输出但模型内部如何工作、为何有效、何时会失效往往难以解释。这种不可解释性是阻碍AI在金融、医疗等关键领域深度应用的核心障碍之一。近年来一个源于量子物理的数学工具——张量网络正以其独特的“白盒”特性为破解这一难题提供了全新的视角。张量网络最初是为了高效模拟量子多体系统而发展起来的。它通过一种巧妙的数学结构将指数级复杂的量子态用多项式级复杂度的张量网络来表示。这种表示不仅高效而且其“表示能力”——即网络能精确描述何种复杂度的量子态——可以通过纠缠熵的标度律来严格刻画。这启发了研究者能否将这种清晰、可解释的物理框架迁移到机器学习中用来建模和理解数据分布量子概率机器学习正是这一思想的产物。其核心是将数据的联合概率分布编码成一个满足量子概率诠释的量子多体态。生成张量网络则是实现这一编码的具体模型例如采用矩阵乘积态的形式。这个项目要探讨的核心就是在这种框架下模型的“表示能力”和“泛化能力”如何随着模型复杂度、数据规模等关键因素变化并揭示其背后普适的数学规律——标度律。理解这些标度律就如同掌握了模型的“生长说明书”。它能告诉我们增加模型的参数量子通道数χ模型的性能会以何种规律提升需要多少数据训练样本数N才能充分训练一个模型模型在训练集上表现优异表示能力强和在未知数据上表现良好泛化能力强的边界在哪里这些问题的答案对于设计高效、可靠且可解释的机器学习模型至关重要。本文将深入拆解这一前沿研究不仅解释其核心原理更会结合实操经验探讨其背后的直觉、实现细节以及未来可能的应用方向。2. 核心概念与理论基础拆解要理解量子概率机器学习中的标度律我们必须先打好几个基础什么是张量网络和矩阵乘积态什么是量子概率诠释以及机器学习中常说的表示能力和泛化能力在这个框架下具体指什么2.1 张量网络与矩阵乘积态从指数爆炸到多项式复杂度想象一下你要描述一个由M个粒子或特征组成的量子系统。最直接的方法是为系统的每一个可能状态分配一个概率幅。如果每个粒子有d种状态例如自旋向上或向下d2那么整个系统的可能状态总数是d^M。当M很大时比如一张28x28的MNIST图片M784d^M是一个天文数字直接存储或计算是完全不可能的。这就是所谓的“指数墙”问题。张量网络提供了一种突破“指数墙”的优雅方法。它不直接存储整个巨大的概率幅向量而是将这个向量分解为一系列较小张量的收缩。矩阵乘积态是其中最简单、最经典的一维张量网络形式。一个MPS将整个量子态|Ψ⟩表示为|Ψ⟩ Σ_{s1...sM} Σ_{a1...aM-1} A^{[1]}_{s1 a1} A^{[2]}_{s2 a1 a2} ... A^{[M]}_{sM aM-1} |s1...sM⟩这里每个A^{[m]}是一个三阶张量其下标sm对应第m个物理自由度即特征am-1和am是虚拟索引其维度χ被称为“键维数”或“量子通道数”。虚拟索引就像胶水将相邻的张量连接起来。关键点在于复杂度存储整个量子态需要O(d^M)的内存而存储一个MPS只需要O(M * d * χ^2)。只要χ不需要随M指数增长我们就能用多项式资源表示指数复杂度的对象。在物理中χ的大小与系统的纠缠熵相关在机器学习中χ控制了模型的容量和复杂度。注意在实操中χ的选择是精度与计算开销的权衡。χ太小模型容量不足无法捕捉数据中的复杂关联χ太大不仅计算变慢还可能引入过拟合风险。通常需要从较小的χ如8, 16开始实验根据验证集性能逐步增加。2.2 量子概率诠释将概率视为“测量”在经典概率论中一个概率分布P(x)就是一个非负函数且所有可能事件x的概率之和为1。在量子概率框架下我们引入了一个量子态|Ψ⟩。一个样本x例如一张图片的像素向量通过一个“量子特征映射”被映射为一个量子乘积态|x⟩。那么样本x出现的概率由玻恩定则给出P(x) |⟨x|Ψ⟩|^2这里⟨x|Ψ⟩是量子态|Ψ⟩在基矢|x⟩上的投影即内积其模的平方就是概率。这要求量子态|Ψ⟩是归一化的即⟨Ψ|Ψ⟩ 1从而保证所有样本的概率之和为1Σ_x P(x) 1。量子特征映射是将经典数据注入量子框架的桥梁。一个常用的映射是|x⟩ ⊗_{m1}^M [ cos(θπ x_m/2) |0⟩ sin(θπ x_m/2) |1⟩ ]其中x_m是归一化到[0,1]的特征值|0⟩和|1⟩是量子比特的两个基态。超参数θ控制着映射的“正交性”。当θ1且数据是二值0或1时不同样本映射出的量子态是严格正交的⟨x|y⟩0若x≠y。对于灰度图像等非二值数据即使θ1不同样本的态一般也不正交。2.3 表示能力与泛化能力机器学习的两大支柱在任何机器学习任务中我们都会关心两个核心能力表示能力模型拟合或“记住”训练数据的能力。在量子概率框架下这体现为模型GTN态|Ψ⟩能够为训练集{x^(n)}赋予高概率即最小化训练集上的负对数似然损失L_train - (1/N) Σ_n ln P(x^(n))。泛化能力模型对未见过的测试数据做出准确预测或生成合理样本的能力。这体现为模型在测试集上也能保持较低的负对数似然损失L_test。一个理想的模型应该在两者之间取得平衡。仅有高表示能力低L_train而泛化能力差高L_test是典型的过拟合。而两者都高则说明模型既没学好训练数据也无法推广是欠拟合。标度律研究的目标就是定量揭示L_train和L_test如何随模型复杂度χ、数据维度M、数据量N等关键变量变化从而为我们理解和控制这两种能力提供理论依据和实用指南。3. 正交性灾难未经训练模型的“失效”标度在深入训练后的模型之前我们先看一个反直觉的基准情况一个完全未经训练、参数随机初始化的生成张量网络GTN。研究发现用这样的模型去评估数据无论是训练集还是测试集的似然其负对数似然损失L会随着特征数量M线性增长L ≃ k M const.这意味着对于高维数据M很大模型分配给任何样本的概率P(x) exp(-L)会指数级地小到可以忽略不计。模型几乎认为所有样本都是“不可能”出现的。这显然不是一个有用的生成模型。3.1 正交性灾难的物理根源这一线性标度律的根源被称为量子多体物理中的“正交性灾难”。它描述了一个深刻的现象在高维希尔伯特空间中随机选取的两个量子态几乎总是近似正交的。更准确地说两个不同量子态|Ψ⟩和|Φ⟩的内积大小通常会随着系统尺寸M指数衰减|⟨Ψ|Φ⟩| ~ k^M, 其中 0 k 1。将k^M代入负对数似然的定义L -ln |⟨x|Ψ⟩|^2我们立刻得到L ~ -2M ln k这正是关于M的线性函数。为什么MPS也会表现出这种正交性我们可以从MPS的正交形式来理解。通过规范变换我们可以将MPS置于一种“左正则”或“右正则”形式使得除中心张量外的所有张量都满足等距条件。当比较两个不同的随机MPS时从左到右收缩它们共享的虚拟索引每一步收缩都会引入一个小于1的收缩因子。经过M步这样的收缩最终的内积就是这M个小于1的因子的乘积从而导致指数衰减。3.2 实验验证与影响在原论文的图2(a)中作者在Fashion-MNIST数据集上验证了这一点。他们计算了“类间”NLL即用类别A的GTN去评估类别B的样本。结果清晰地显示L与M呈现出完美的线性关系且斜率k几乎不随GTN的键维数χ变化。这强有力地证明了正交性灾难的普适性它与模型的具体复杂度无关是高维希尔伯特空间几何性质的直接体现。实操心得这个现象为模型初始化提供了重要启示。如果你随机初始化一个GTN或其他基于量子态表示的模型在训练初期它的输出概率会极其微小梯度也可能非常小或不稳定“梯度消失”。在实际训练中可能需要采用特定的初始化策略或者使用预热学习率来帮助模型逃离这个“高损失高原”。4. 信息增益与标度律的修正训练如何改变一切训练的目的就是将这个几乎与数据无关的随机量子态|Ψ_rand⟩扭转为能够反映数据真实分布的目标态|Ψ_data⟩。这个过程可以看作是通过数据提供的“信息”压制正交性灾难的影响。4.1 负二次修正项的涌现研究发现经过训练后在“类内”情况下即用类别A的GTN评估类别A的样本NLL的标度律发生了关键变化从单纯的线性增长变为包含一个负的二次修正项L ≃ β M - α M^2 γ其中α, β, γ 0。这个公式是本文最核心的发现之一。如何理解这个负二次项线性项 (β M)它仍然部分反映了高维空间固有的正交性趋势。即使经过训练模型也不可能让所有样本的概率都为1不同样本之间必然存在某种程度的“可区分性”这部分由线性项捕获。负二次项 (-α M^2)这是信息增益的直接体现。训练过程使模型学会了数据中的规律和关联。对于属于同一类别的样本模型学会了它们之间的“相似性”。这种相似性抵消了一部分正交性表现为损失随M增长的速度变慢甚至在高维时可能使损失下降。α的大小直观地衡量了模型从数据中提取有效信息、抑制正交性灾难的强度。在原论文图2(b)中作者展示了在Fashion-MNIST上类内NLL确实完美地符合这个带二次修正的标度律。当M较小时线性项主导随着M增大负二次项的作用逐渐显现使得损失曲线偏离线性增长并向下弯曲。4.2 标度系数与模型、数据的关系更深入的分析揭示了系数α, β, γ与模型复杂度χ、训练样本数N之间的定量关系与键维数χ的对数关系α ≃ p_α ln χ q_αβ和γ也有类似关系。这意味着模型表示能力的提升α增大与χ呈对数关系而非线性或指数关系。这是一个非常重要的“收益递减”定律盲目增加模型宽度χ带来的性能提升是越来越慢的。这为模型设计提供了定量指导当增加χ带来的性能提升小于计算成本增加时就达到了一个性价比的临界点。与训练样本数N的关系附录中的图A3表明α, β, γ等系数会随着训练样本数N的增加而变化并且训练集和测试集上的系数值会随着N增大而逐渐收敛。当两者收敛时意味着训练数据已相对充分。两者的偏差可以用来判断训练数据是否充足或者模型是否过于复杂。将上述关系代入修正标度律可以得到NLL与χ的直接关系L ≃ p_L ln χ q_L其中p_L -p_α M^2 p_β M p_γ。这证实了NLL随χ呈对数下降即模型性能随复杂度对数提升。图3(d)验证了这一关系。4.3 作为过参数化判据的系数偏差过参数化是现代深度学习中的常见现象模型参数远多于训练样本以至于可以完美拟合训练数据甚至记住噪声但泛化性能可能下降。在该框架下过参数化有一个清晰的信号。观察图3(a)-(c)当χ较小时约χ30训练集和测试集上拟合得到的α、β、γ系数都遵循相同的对数增长趋势。但当χ继续增大约χ30测试集的系数开始偏离训练集的系数曲线而训练集的系数仍保持原有的对数趋势。这揭示了什么对于训练集增加χ持续地提升了模型的表示能力拟合能力这体现在训练集损失系数持续按对数规律改善。对于测试集增加χ最初也提升了泛化能力但超过某个阈值后泛化能力的提升速度放缓甚至停滞系数曲线偏离而表示能力仍在提升。这种训练集与测试集标度系数的“分岔”正是过参数化的一个明确、定量的标志。它比单纯观察训练/测试损失曲线是否收敛或发散更为敏感和本质。注意事项在实际模型调优中我们可以监控不同χ下在验证集上拟合得到的α系数或其他系数的变化趋势。一旦发现其增长趋势明显偏离训练集上的对数趋势就可以判断当前χ可能已经过大导致了过参数化风险应考虑停止增加模型复杂度或引入更强的正则化。5. 正交性、量子概率诠释与模型能力的三角关系量子特征映射中的正交性参数θ是连接量子概率诠释的严格性和模型实际表现的一个关键旋钮。研究这一关系能让我们更深刻地理解模型能力的内在约束。5.1 正交性的两面性我们回顾一下量子特征映射|x_m⟩ cos(θπ x_m/2)|0⟩ sin(θπ x_m/2)|1⟩。当θ1且数据二值化此时对于不同的样本x≠y有⟨x|y⟩0即映射是严格正交的。这完美满足了量子概率诠释的归一化条件所有样本概率之和为1。但是这带来了一个严重问题如果一个测试样本y不在训练集中由于它与所有训练样本正交模型会赋予它零概率P(y)|⟨y|Ψ⟩|^20导致测试集NLL发散泛化能力为0。这是一种极端的过拟合。当θ减小样本态之间的正交性减弱⟨x|y⟩不再为零。这实际上违反了严格的量子概率归一化条件因为现在Σ_x P(x) 1。然而有趣的事情发生了训练集NLL会反常地降低甚至低于理论最小值ln N同时测试样本也能获得非零概率从而使得测试准确率有可能提升见图5(b)插图。5.2 在非二值数据上的实践意义对于像灰度图像这样的非二值数据每个像素有256个灰度级如果我们想用两能级系统qubit来编码严格的正交性要求每个像素映射到256维的量子态这在实践中是灾难性的维度爆炸。因此使用d2的QFMθ1本身就意味着我们主动放弃了严格的归一化条件。图5(c)(d)的实验表明对于灰度Fashion-MNIST数据即使θ1由于特征值连续样本态也不正交因此训练NLL可以低于ln N。但随着特征数M增大由于COO样本态会逐渐趋向正交NLL会趋近ln N同时测试准确率会提升。这说明对于非二值数据通过增加特征数M或采用附录III中的多自旋编码增加H来增强正交性反而有助于提升泛化能力。核心洞见在量子概率机器学习中存在一个微妙的权衡。完全遵守量子概率诠释严格正交、严格归一化可能导致泛化能力为零而适度违反它降低正交性虽然从纯概率论角度看是“不严谨”的却可能换来模型在实际任务上更好的泛化性能。这为模型设计提供了一个新的维度我们可以将θ或编码维度H作为超参数来调节“理论纯洁性”与“实践有效性”之间的平衡。6. 实操指南如何在自己的任务中探索标度律理论研究最终要服务于实践。如果你想在自己的数据集或模型上验证或应用这些标度律以下是一些具体的操作步骤和注意事项。6.1 实验设置与数据准备模型选择与实现核心模型实现一个基于矩阵乘积态的生成张量网络。你需要编写MPS的前向传播函数计算给定样本的振幅⟨x|Ψ⟩和反向传播函数用于训练。关键参数键维数χ。你需要准备一系列χ值如8, 16, 32, 64, 128进行实验。优化器通常使用带梯度裁剪的Adam优化器。由于涉及张量收缩确保你的自动微分框架如PyTorch, JAX支持张量运算。数据预处理归一化将特征值归一化到区间[0, 1]内以适应QFM中的角度参数。构建不同M为了研究标度律L(M)你需要同一数据集下不同特征维度M的子集。常用方法是中心裁剪。例如对于28x28的图像M784你可以裁剪出中心24x24 (M576)、20x20 (M400)等区域。确保裁剪区域包含有信息的部分。数据集划分标准训练集/测试集划分。为了研究L(N)还需要能够从训练集中随机抽取不同数量N的子集进行训练。6.2 训练与评估流程训练循环对于每一组固定的参数(χ, M, N)训练你的GTN模型最小化训练集上的负对数似然损失L_train。损失记录在训练结束后分别在训练集和测试集上计算NLL损失。标度律拟合对于L(M)关系固定χ和N改变M。将得到的一系列(M, L)数据点分别用线性函数L kM b对于类间损失或未训练模型和二次函数L βM - αM^2 γ对于类内损失进行最小二乘拟合。提取关键系数k, α, β。对于系数与χ的关系固定M和N改变χ。将得到的(χ, α)等数据点用函数α p_α ln χ q_α进行拟合。注意χ通常取2的幂次在对数坐标下呈均匀分布。对于系数与N的关系固定χ和M改变N。观察α等系数如何随N变化以及训练/测试系数曲线何时收敛。6.3 常见问题与排查技巧在实际操作中你可能会遇到以下问题问题现象可能原因排查与解决思路训练损失不下降或震荡1. 学习率过高或过低。2. 随机初始化导致梯度消失正交性灾难初期。3. 梯度爆炸常见于深度MPS或大χ。1. 实施学习率网格搜索或使用学习率预热。2. 尝试Xavier或He初始化在张量元素上或使用小的随机正交矩阵初始化MPS张量。3. 实施梯度裁剪clipnorm检查张量收缩的数值稳定性。拟合的二次项系数α为负值这不符合物理预期应为正。可能原因是1. M的取值范围太小二次项效应未显现。2. 模型未充分训练。3. 数据噪声过大或M子集构建不合理。1. 确保M的取值范围足够宽最好能跨越一个数量级如从几十到几百。2. 增加训练轮数确保损失已收敛。3. 检查数据裁剪是否破坏了数据结构尝试不同的裁剪策略或使用下采样。L(χ) 不满足对数关系1. χ的取值范围或间隔不合适。2. 模型容量未得到有效利用欠参数化区域。3. 过参数化区域性能饱和。1. 确保χ取值在2的幂次上如4,8,16,32,64,128并在半对数坐标横轴为lnχ下观察是否线性。2. 在很小的χ如2,4时模型可能过于简单标度律尚未建立。可忽略这些点或从χ8开始分析。3. 在很大的χ时性能可能接近上限。关注中间区域的线性关系。训练/测试系数偏差不明显1. 任务过于简单或数据分布简单不易过拟合。2. 模型复杂度χ尚未达到过参数化区间。3. 使用了强正则化如权重衰减。1. 尝试更复杂的数据集或任务。2. 继续增大χ观察偏差是否出现。3. 如果使用了正则化可以尝试减弱或取消以观察“纯净”的标度行为。6.4 结果分析与洞见提取当你成功拟合出各项标度律后可以从以下几个角度解读结果评估模型效率通过分析α与χ的对数关系斜率p_α你可以量化该模型架构从增加宽度中获益的效率。比较不同模型结构如TTN, PEPS的p_α可以指导你选择更高效的网络结构。指导数据收集通过分析系数如α随训练样本数N收敛的情况你可以估算充分训练该模型所需的最小数据量。当训练/测试系数曲线基本重合时意味着增加更多数据对提升该模型能力收益甚微。诊断模型状态观察训练与测试的α(χ)曲线。如果两者在某个χ值开始分岔那么该χ值就是你当前任务和数据集下的过参数化临界点。在设计模型时选择略低于该临界点的χ可以在保证性能的同时最大化计算效率。理解任务本质比较不同类别数据拟合得到的k值线性标度斜率。k值反映了类别间的“固有区分度”。k值越大说明不同类别在特征空间中的“量子态”越正交任务可能越简单k值越小类别间重叠度越高任务越具挑战性。这个框架将机器学习的经验性调参部分转化为了可测量、可分析的物理问题。通过运行一系列系统性的实验并拟合标度律你不仅能优化当前模型更能深化对“模型-数据”相互作用本质的理解。这正是一个“白盒”机器学习范式所追求的目标。
张量网络与量子概率机器学习：从正交性灾难到标度律的模型能力解析
1. 项目概述从量子物理到机器学习的桥梁在机器学习领域我们常常把模型当作一个“黑箱”数据输入结果输出但模型内部如何工作、为何有效、何时会失效往往难以解释。这种不可解释性是阻碍AI在金融、医疗等关键领域深度应用的核心障碍之一。近年来一个源于量子物理的数学工具——张量网络正以其独特的“白盒”特性为破解这一难题提供了全新的视角。张量网络最初是为了高效模拟量子多体系统而发展起来的。它通过一种巧妙的数学结构将指数级复杂的量子态用多项式级复杂度的张量网络来表示。这种表示不仅高效而且其“表示能力”——即网络能精确描述何种复杂度的量子态——可以通过纠缠熵的标度律来严格刻画。这启发了研究者能否将这种清晰、可解释的物理框架迁移到机器学习中用来建模和理解数据分布量子概率机器学习正是这一思想的产物。其核心是将数据的联合概率分布编码成一个满足量子概率诠释的量子多体态。生成张量网络则是实现这一编码的具体模型例如采用矩阵乘积态的形式。这个项目要探讨的核心就是在这种框架下模型的“表示能力”和“泛化能力”如何随着模型复杂度、数据规模等关键因素变化并揭示其背后普适的数学规律——标度律。理解这些标度律就如同掌握了模型的“生长说明书”。它能告诉我们增加模型的参数量子通道数χ模型的性能会以何种规律提升需要多少数据训练样本数N才能充分训练一个模型模型在训练集上表现优异表示能力强和在未知数据上表现良好泛化能力强的边界在哪里这些问题的答案对于设计高效、可靠且可解释的机器学习模型至关重要。本文将深入拆解这一前沿研究不仅解释其核心原理更会结合实操经验探讨其背后的直觉、实现细节以及未来可能的应用方向。2. 核心概念与理论基础拆解要理解量子概率机器学习中的标度律我们必须先打好几个基础什么是张量网络和矩阵乘积态什么是量子概率诠释以及机器学习中常说的表示能力和泛化能力在这个框架下具体指什么2.1 张量网络与矩阵乘积态从指数爆炸到多项式复杂度想象一下你要描述一个由M个粒子或特征组成的量子系统。最直接的方法是为系统的每一个可能状态分配一个概率幅。如果每个粒子有d种状态例如自旋向上或向下d2那么整个系统的可能状态总数是d^M。当M很大时比如一张28x28的MNIST图片M784d^M是一个天文数字直接存储或计算是完全不可能的。这就是所谓的“指数墙”问题。张量网络提供了一种突破“指数墙”的优雅方法。它不直接存储整个巨大的概率幅向量而是将这个向量分解为一系列较小张量的收缩。矩阵乘积态是其中最简单、最经典的一维张量网络形式。一个MPS将整个量子态|Ψ⟩表示为|Ψ⟩ Σ_{s1...sM} Σ_{a1...aM-1} A^{[1]}_{s1 a1} A^{[2]}_{s2 a1 a2} ... A^{[M]}_{sM aM-1} |s1...sM⟩这里每个A^{[m]}是一个三阶张量其下标sm对应第m个物理自由度即特征am-1和am是虚拟索引其维度χ被称为“键维数”或“量子通道数”。虚拟索引就像胶水将相邻的张量连接起来。关键点在于复杂度存储整个量子态需要O(d^M)的内存而存储一个MPS只需要O(M * d * χ^2)。只要χ不需要随M指数增长我们就能用多项式资源表示指数复杂度的对象。在物理中χ的大小与系统的纠缠熵相关在机器学习中χ控制了模型的容量和复杂度。注意在实操中χ的选择是精度与计算开销的权衡。χ太小模型容量不足无法捕捉数据中的复杂关联χ太大不仅计算变慢还可能引入过拟合风险。通常需要从较小的χ如8, 16开始实验根据验证集性能逐步增加。2.2 量子概率诠释将概率视为“测量”在经典概率论中一个概率分布P(x)就是一个非负函数且所有可能事件x的概率之和为1。在量子概率框架下我们引入了一个量子态|Ψ⟩。一个样本x例如一张图片的像素向量通过一个“量子特征映射”被映射为一个量子乘积态|x⟩。那么样本x出现的概率由玻恩定则给出P(x) |⟨x|Ψ⟩|^2这里⟨x|Ψ⟩是量子态|Ψ⟩在基矢|x⟩上的投影即内积其模的平方就是概率。这要求量子态|Ψ⟩是归一化的即⟨Ψ|Ψ⟩ 1从而保证所有样本的概率之和为1Σ_x P(x) 1。量子特征映射是将经典数据注入量子框架的桥梁。一个常用的映射是|x⟩ ⊗_{m1}^M [ cos(θπ x_m/2) |0⟩ sin(θπ x_m/2) |1⟩ ]其中x_m是归一化到[0,1]的特征值|0⟩和|1⟩是量子比特的两个基态。超参数θ控制着映射的“正交性”。当θ1且数据是二值0或1时不同样本映射出的量子态是严格正交的⟨x|y⟩0若x≠y。对于灰度图像等非二值数据即使θ1不同样本的态一般也不正交。2.3 表示能力与泛化能力机器学习的两大支柱在任何机器学习任务中我们都会关心两个核心能力表示能力模型拟合或“记住”训练数据的能力。在量子概率框架下这体现为模型GTN态|Ψ⟩能够为训练集{x^(n)}赋予高概率即最小化训练集上的负对数似然损失L_train - (1/N) Σ_n ln P(x^(n))。泛化能力模型对未见过的测试数据做出准确预测或生成合理样本的能力。这体现为模型在测试集上也能保持较低的负对数似然损失L_test。一个理想的模型应该在两者之间取得平衡。仅有高表示能力低L_train而泛化能力差高L_test是典型的过拟合。而两者都高则说明模型既没学好训练数据也无法推广是欠拟合。标度律研究的目标就是定量揭示L_train和L_test如何随模型复杂度χ、数据维度M、数据量N等关键变量变化从而为我们理解和控制这两种能力提供理论依据和实用指南。3. 正交性灾难未经训练模型的“失效”标度在深入训练后的模型之前我们先看一个反直觉的基准情况一个完全未经训练、参数随机初始化的生成张量网络GTN。研究发现用这样的模型去评估数据无论是训练集还是测试集的似然其负对数似然损失L会随着特征数量M线性增长L ≃ k M const.这意味着对于高维数据M很大模型分配给任何样本的概率P(x) exp(-L)会指数级地小到可以忽略不计。模型几乎认为所有样本都是“不可能”出现的。这显然不是一个有用的生成模型。3.1 正交性灾难的物理根源这一线性标度律的根源被称为量子多体物理中的“正交性灾难”。它描述了一个深刻的现象在高维希尔伯特空间中随机选取的两个量子态几乎总是近似正交的。更准确地说两个不同量子态|Ψ⟩和|Φ⟩的内积大小通常会随着系统尺寸M指数衰减|⟨Ψ|Φ⟩| ~ k^M, 其中 0 k 1。将k^M代入负对数似然的定义L -ln |⟨x|Ψ⟩|^2我们立刻得到L ~ -2M ln k这正是关于M的线性函数。为什么MPS也会表现出这种正交性我们可以从MPS的正交形式来理解。通过规范变换我们可以将MPS置于一种“左正则”或“右正则”形式使得除中心张量外的所有张量都满足等距条件。当比较两个不同的随机MPS时从左到右收缩它们共享的虚拟索引每一步收缩都会引入一个小于1的收缩因子。经过M步这样的收缩最终的内积就是这M个小于1的因子的乘积从而导致指数衰减。3.2 实验验证与影响在原论文的图2(a)中作者在Fashion-MNIST数据集上验证了这一点。他们计算了“类间”NLL即用类别A的GTN去评估类别B的样本。结果清晰地显示L与M呈现出完美的线性关系且斜率k几乎不随GTN的键维数χ变化。这强有力地证明了正交性灾难的普适性它与模型的具体复杂度无关是高维希尔伯特空间几何性质的直接体现。实操心得这个现象为模型初始化提供了重要启示。如果你随机初始化一个GTN或其他基于量子态表示的模型在训练初期它的输出概率会极其微小梯度也可能非常小或不稳定“梯度消失”。在实际训练中可能需要采用特定的初始化策略或者使用预热学习率来帮助模型逃离这个“高损失高原”。4. 信息增益与标度律的修正训练如何改变一切训练的目的就是将这个几乎与数据无关的随机量子态|Ψ_rand⟩扭转为能够反映数据真实分布的目标态|Ψ_data⟩。这个过程可以看作是通过数据提供的“信息”压制正交性灾难的影响。4.1 负二次修正项的涌现研究发现经过训练后在“类内”情况下即用类别A的GTN评估类别A的样本NLL的标度律发生了关键变化从单纯的线性增长变为包含一个负的二次修正项L ≃ β M - α M^2 γ其中α, β, γ 0。这个公式是本文最核心的发现之一。如何理解这个负二次项线性项 (β M)它仍然部分反映了高维空间固有的正交性趋势。即使经过训练模型也不可能让所有样本的概率都为1不同样本之间必然存在某种程度的“可区分性”这部分由线性项捕获。负二次项 (-α M^2)这是信息增益的直接体现。训练过程使模型学会了数据中的规律和关联。对于属于同一类别的样本模型学会了它们之间的“相似性”。这种相似性抵消了一部分正交性表现为损失随M增长的速度变慢甚至在高维时可能使损失下降。α的大小直观地衡量了模型从数据中提取有效信息、抑制正交性灾难的强度。在原论文图2(b)中作者展示了在Fashion-MNIST上类内NLL确实完美地符合这个带二次修正的标度律。当M较小时线性项主导随着M增大负二次项的作用逐渐显现使得损失曲线偏离线性增长并向下弯曲。4.2 标度系数与模型、数据的关系更深入的分析揭示了系数α, β, γ与模型复杂度χ、训练样本数N之间的定量关系与键维数χ的对数关系α ≃ p_α ln χ q_αβ和γ也有类似关系。这意味着模型表示能力的提升α增大与χ呈对数关系而非线性或指数关系。这是一个非常重要的“收益递减”定律盲目增加模型宽度χ带来的性能提升是越来越慢的。这为模型设计提供了定量指导当增加χ带来的性能提升小于计算成本增加时就达到了一个性价比的临界点。与训练样本数N的关系附录中的图A3表明α, β, γ等系数会随着训练样本数N的增加而变化并且训练集和测试集上的系数值会随着N增大而逐渐收敛。当两者收敛时意味着训练数据已相对充分。两者的偏差可以用来判断训练数据是否充足或者模型是否过于复杂。将上述关系代入修正标度律可以得到NLL与χ的直接关系L ≃ p_L ln χ q_L其中p_L -p_α M^2 p_β M p_γ。这证实了NLL随χ呈对数下降即模型性能随复杂度对数提升。图3(d)验证了这一关系。4.3 作为过参数化判据的系数偏差过参数化是现代深度学习中的常见现象模型参数远多于训练样本以至于可以完美拟合训练数据甚至记住噪声但泛化性能可能下降。在该框架下过参数化有一个清晰的信号。观察图3(a)-(c)当χ较小时约χ30训练集和测试集上拟合得到的α、β、γ系数都遵循相同的对数增长趋势。但当χ继续增大约χ30测试集的系数开始偏离训练集的系数曲线而训练集的系数仍保持原有的对数趋势。这揭示了什么对于训练集增加χ持续地提升了模型的表示能力拟合能力这体现在训练集损失系数持续按对数规律改善。对于测试集增加χ最初也提升了泛化能力但超过某个阈值后泛化能力的提升速度放缓甚至停滞系数曲线偏离而表示能力仍在提升。这种训练集与测试集标度系数的“分岔”正是过参数化的一个明确、定量的标志。它比单纯观察训练/测试损失曲线是否收敛或发散更为敏感和本质。注意事项在实际模型调优中我们可以监控不同χ下在验证集上拟合得到的α系数或其他系数的变化趋势。一旦发现其增长趋势明显偏离训练集上的对数趋势就可以判断当前χ可能已经过大导致了过参数化风险应考虑停止增加模型复杂度或引入更强的正则化。5. 正交性、量子概率诠释与模型能力的三角关系量子特征映射中的正交性参数θ是连接量子概率诠释的严格性和模型实际表现的一个关键旋钮。研究这一关系能让我们更深刻地理解模型能力的内在约束。5.1 正交性的两面性我们回顾一下量子特征映射|x_m⟩ cos(θπ x_m/2)|0⟩ sin(θπ x_m/2)|1⟩。当θ1且数据二值化此时对于不同的样本x≠y有⟨x|y⟩0即映射是严格正交的。这完美满足了量子概率诠释的归一化条件所有样本概率之和为1。但是这带来了一个严重问题如果一个测试样本y不在训练集中由于它与所有训练样本正交模型会赋予它零概率P(y)|⟨y|Ψ⟩|^20导致测试集NLL发散泛化能力为0。这是一种极端的过拟合。当θ减小样本态之间的正交性减弱⟨x|y⟩不再为零。这实际上违反了严格的量子概率归一化条件因为现在Σ_x P(x) 1。然而有趣的事情发生了训练集NLL会反常地降低甚至低于理论最小值ln N同时测试样本也能获得非零概率从而使得测试准确率有可能提升见图5(b)插图。5.2 在非二值数据上的实践意义对于像灰度图像这样的非二值数据每个像素有256个灰度级如果我们想用两能级系统qubit来编码严格的正交性要求每个像素映射到256维的量子态这在实践中是灾难性的维度爆炸。因此使用d2的QFMθ1本身就意味着我们主动放弃了严格的归一化条件。图5(c)(d)的实验表明对于灰度Fashion-MNIST数据即使θ1由于特征值连续样本态也不正交因此训练NLL可以低于ln N。但随着特征数M增大由于COO样本态会逐渐趋向正交NLL会趋近ln N同时测试准确率会提升。这说明对于非二值数据通过增加特征数M或采用附录III中的多自旋编码增加H来增强正交性反而有助于提升泛化能力。核心洞见在量子概率机器学习中存在一个微妙的权衡。完全遵守量子概率诠释严格正交、严格归一化可能导致泛化能力为零而适度违反它降低正交性虽然从纯概率论角度看是“不严谨”的却可能换来模型在实际任务上更好的泛化性能。这为模型设计提供了一个新的维度我们可以将θ或编码维度H作为超参数来调节“理论纯洁性”与“实践有效性”之间的平衡。6. 实操指南如何在自己的任务中探索标度律理论研究最终要服务于实践。如果你想在自己的数据集或模型上验证或应用这些标度律以下是一些具体的操作步骤和注意事项。6.1 实验设置与数据准备模型选择与实现核心模型实现一个基于矩阵乘积态的生成张量网络。你需要编写MPS的前向传播函数计算给定样本的振幅⟨x|Ψ⟩和反向传播函数用于训练。关键参数键维数χ。你需要准备一系列χ值如8, 16, 32, 64, 128进行实验。优化器通常使用带梯度裁剪的Adam优化器。由于涉及张量收缩确保你的自动微分框架如PyTorch, JAX支持张量运算。数据预处理归一化将特征值归一化到区间[0, 1]内以适应QFM中的角度参数。构建不同M为了研究标度律L(M)你需要同一数据集下不同特征维度M的子集。常用方法是中心裁剪。例如对于28x28的图像M784你可以裁剪出中心24x24 (M576)、20x20 (M400)等区域。确保裁剪区域包含有信息的部分。数据集划分标准训练集/测试集划分。为了研究L(N)还需要能够从训练集中随机抽取不同数量N的子集进行训练。6.2 训练与评估流程训练循环对于每一组固定的参数(χ, M, N)训练你的GTN模型最小化训练集上的负对数似然损失L_train。损失记录在训练结束后分别在训练集和测试集上计算NLL损失。标度律拟合对于L(M)关系固定χ和N改变M。将得到的一系列(M, L)数据点分别用线性函数L kM b对于类间损失或未训练模型和二次函数L βM - αM^2 γ对于类内损失进行最小二乘拟合。提取关键系数k, α, β。对于系数与χ的关系固定M和N改变χ。将得到的(χ, α)等数据点用函数α p_α ln χ q_α进行拟合。注意χ通常取2的幂次在对数坐标下呈均匀分布。对于系数与N的关系固定χ和M改变N。观察α等系数如何随N变化以及训练/测试系数曲线何时收敛。6.3 常见问题与排查技巧在实际操作中你可能会遇到以下问题问题现象可能原因排查与解决思路训练损失不下降或震荡1. 学习率过高或过低。2. 随机初始化导致梯度消失正交性灾难初期。3. 梯度爆炸常见于深度MPS或大χ。1. 实施学习率网格搜索或使用学习率预热。2. 尝试Xavier或He初始化在张量元素上或使用小的随机正交矩阵初始化MPS张量。3. 实施梯度裁剪clipnorm检查张量收缩的数值稳定性。拟合的二次项系数α为负值这不符合物理预期应为正。可能原因是1. M的取值范围太小二次项效应未显现。2. 模型未充分训练。3. 数据噪声过大或M子集构建不合理。1. 确保M的取值范围足够宽最好能跨越一个数量级如从几十到几百。2. 增加训练轮数确保损失已收敛。3. 检查数据裁剪是否破坏了数据结构尝试不同的裁剪策略或使用下采样。L(χ) 不满足对数关系1. χ的取值范围或间隔不合适。2. 模型容量未得到有效利用欠参数化区域。3. 过参数化区域性能饱和。1. 确保χ取值在2的幂次上如4,8,16,32,64,128并在半对数坐标横轴为lnχ下观察是否线性。2. 在很小的χ如2,4时模型可能过于简单标度律尚未建立。可忽略这些点或从χ8开始分析。3. 在很大的χ时性能可能接近上限。关注中间区域的线性关系。训练/测试系数偏差不明显1. 任务过于简单或数据分布简单不易过拟合。2. 模型复杂度χ尚未达到过参数化区间。3. 使用了强正则化如权重衰减。1. 尝试更复杂的数据集或任务。2. 继续增大χ观察偏差是否出现。3. 如果使用了正则化可以尝试减弱或取消以观察“纯净”的标度行为。6.4 结果分析与洞见提取当你成功拟合出各项标度律后可以从以下几个角度解读结果评估模型效率通过分析α与χ的对数关系斜率p_α你可以量化该模型架构从增加宽度中获益的效率。比较不同模型结构如TTN, PEPS的p_α可以指导你选择更高效的网络结构。指导数据收集通过分析系数如α随训练样本数N收敛的情况你可以估算充分训练该模型所需的最小数据量。当训练/测试系数曲线基本重合时意味着增加更多数据对提升该模型能力收益甚微。诊断模型状态观察训练与测试的α(χ)曲线。如果两者在某个χ值开始分岔那么该χ值就是你当前任务和数据集下的过参数化临界点。在设计模型时选择略低于该临界点的χ可以在保证性能的同时最大化计算效率。理解任务本质比较不同类别数据拟合得到的k值线性标度斜率。k值反映了类别间的“固有区分度”。k值越大说明不同类别在特征空间中的“量子态”越正交任务可能越简单k值越小类别间重叠度越高任务越具挑战性。这个框架将机器学习的经验性调参部分转化为了可测量、可分析的物理问题。通过运行一系列系统性的实验并拟合标度律你不仅能优化当前模型更能深化对“模型-数据”相互作用本质的理解。这正是一个“白盒”机器学习范式所追求的目标。
