个人笔记机器学习2

回归问题RegressionLocal minimum 在linear regression问题中不会遇到convex 凸函数图像向下凸只有一个最低点没有局部坑梯度下降一定能找到全局最优解当λ越大说明考虑smooth的regularization的那一项影响力越大找到的function就越平滑。λ越大的时候training data的error越大这是合理的因为λ越大我们就越倾向于考虑参数本来的值而减少考虑了errorλ越大的时候考虑的error就越小越平滑的function受到noise的影响会越来越小对noise会不那么sensitivetesting data的performance就会通常越来越好。但是也不能太平滑太平滑就是一条水平线就没有价值了反而testing set上表现又变的糟糕了。因此如何去调这个λ需要自己决定。不用在regularization的时候考虑bias因为bias只会让function上下移动而不影响平滑程度分类问题Classification比较常见的做法是不同的class可以share同一个covariance matrixcovariance matrix首先是跟feature size的平方成正比的当feature size很大的时候其实covariance matrix增长会很快在这个情况下如果把两个不同高斯分布给到不同的covariance matrix那你的model 参数可能会太多了model 参数多你的variance就大也就是容易overfitting。 所以可以故意给到同样的covariance matrix强迫共用这样就可以用到较少的parameters来进行model。