一个自动调节参数3阶收敛的抛物线法公式
1.  抛物线法公式
抛物线法生成的公式可以表示为：Ti+1=Ti-α[f′（Ti）/|f′（Ti）|]+γ[2f（Ti-1）-f （Ti）-f（Ti-2）]/f′（Ti），其中零分布[-1,1]上的正则参数α和γ分别可以考虑为
α≤1/（2L）和γ≤2/（3L），E（Ti）为损失函数有关的函数，f（Ti）=E（Ti）-minE和L为损失函数的Lipschitz恒定。
2.  自动调节参数正则匹配公式
自动调节参数3阶收敛的抛物线法公式采用自适应调参法，即算法内部通过某种方式参数调节法（例如贪心法和随机搜索算法）来实现参数自动调节。
3.  3阶收敛
抛物线法具有3阶收敛的优点，即能够3阶导数下降。收敛可以以两种形式定义：静态收敛（τ1=τ2=τ3=0)和动态收敛（τ3=PHI（τ1，τ2）)。τ1∈[0，1]是算法调参时
的参数，τ2∈[0，1]是算法收敛时的参数，τ3表示算法能够到最优解的概率，通
过调节τ1和τ2的值可以改变τ3的值。
4.  抛物线法的优点
（1）可以加快收敛速度，因为它有3阶收敛，能够更快地求解损失函数；
（2）可以减轻不可微处，因为抛物线法有一步微分的能力，能够更好地处理损失
函数中的不可微处；
（3）可以自动调节参数，抛物线法通过内部的参数调节算法，可以自动地更新参数，使得收敛更快。
5.  结论
抛物线法具有3阶收敛，可以加快收敛速度；它能够减轻不可微处；还可以自动调节参数，使得算法收敛更快。自动调节参数3阶收敛的抛物线法具有较高的效率，可以满足现代深度学习领域算法调参自动化的需求。

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。