用近似点梯度计算lasso问题
什么是近似点梯度法：
近似点梯度法是一种用于优化损失函数的数值计算方法，它结合了梯度下降
方法与随机梯度下降方法的优点，且可以解决bounded 范围内的优化问题。近似
点梯度法的工作原理就是，先随机选取一个点，对该点进行梯度估计，之后再近似该点的梯度，实现对损失函数的优化。
Lasso 问题：
Lasso 问题是指 l1 正则化和 l2 正则化两种惩罚方式的结合。Lasso 问题旨在通
过简化模型结构，使其更为有效，避免模型过拟合，并且减少需要估计参数的数量。Lasso 可以到具有更少参数，更强的泛化能力的模型，用于训练集上的模型估计。
使用近似点梯度计算Lasso 问题：
1、首先，选取一个初始向量（w），即模型的参数向量，并计算出与之相对
应的损失函数值；
2、然后，选取一个点作为优化的起点，并计算出该点的梯度；
3、其次，对点进行改变，形成近似梯度，获得近似值；
4、接着，更新参数向量w，求出新的参数向量，同时计算出新的损失函数值；
5、之后，不断重复第二步至第四步，从而使得损失函数达到最小值。直至收
正则化解决什么问题敛为止。
综上，使用近似点梯度计算Lasso问题的核心思想是，利用梯度下降法，通过
一个随机点及近似梯度更新参数向量，最终达到最小化损失函数的目的。

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。