【协作算法】2 凸性分析与方法学精要

智能计算优化理论：凸性分析与方法学精要1 优化问题的核心框架1.1 决策变量与目标函数1.1.1.1 优化的本质优化问题的本质在于寻找一组决策参数，使得某个评价指标达到极值。设目标函数将决策向量映射为单一实数值，决策向量的维度决定了问题的复杂程度。当维度为一维时，问题退化为单变量优化；当维度大于等于二维时，决策变量构成向量，问题升格为多变量优化。在机器学习场景中，神经网络的权重矩阵、支持向量机的超平面系数本质上均为高维决策变量。1.1.1.2 代价函数与适应度函数目标函数依优化方向不同而具有不同称谓。当问题指向最小化时，通常称为代价函数或损失函数；当指向最大化时，称为适应度函数。二者可通过严格的数学变换相互转化。符号反转法指出，最小化一个函数等价于最大化其相反数。倒数法指出，在函数值为正的前提下，最小化一个函数等价于最大化其倒数。若仅关注最优解的位置而非最优值本身，则无需后续修正。在深度学习实践中，极大似然估计要求最大化数据似然函数，而神经网络框架通常设计为最小化目标，因此训练目标常设为负对数似然，即通过符号反转将最大化问题嵌入最小化框架。1.2 优化问题的分类体系1.2.1.1 无约束优化无约束优化问题仅包含目标函数本身。此类问题在微积分中已有成熟解法：对可微函数求梯度并令其为零，解得的驻点通过二阶信息判别为极小值、极大值