RLS
RECURSIVE LEAST SQUARE ESTIMATION
递归/迭代最小二乘估计
1.最小二乘算法简介
最小二乘算法基于确定性思想，该算法讨论怎样根据有限个观测数据来寻滤波器的最优解，即求如下图这样具有M个抽头的横向滤波器的最优权向量。
最小二乘算法的目的就是通过最小化误差向量的模的平方和，即最小化，来求解得到最优权向量：
由于：
其中：
滤波器阶数：M
样本点数：N
误差向量：
期望向量：
数据矩阵：
由此可以得到：
化简得：
要求J的最小值，首先要得到J关于的梯度：
再令▽J=0得：
上式被称为「确定性正则方程」。
当M<N-M+1时，若方阵AHA是非奇异（可逆）的，则可以得到确定性正则方程的解：
上式也被称为最小二乘(LS)解。
而向量被称为对期望响应向量的最小二乘估计，简称LS估计。
2.递归最小二乘（RLS）算法
在(2)式中，涉及矩阵AHA的求逆运算，运算量较大，递归最小二乘(RLS)算法就是用迭代算法代替矩阵求逆达到降低运算量的目的。
将数据矩阵AH做如下扩展：
定义输入数据数据的时间相关矩阵：
定义时间互相关向量为
于是，如式(1)所示的确定性正则方程变成下式：
正则化最小二乘问题
(3)式就是「N时刻的确定性正则方程」。
将N时刻变为任意时刻n，并引入遗忘因子λ（0<λ<1），则、z和(3)式变成如下所示：
注：（n）中引入δλnI是为了使（n）可逆。
令P(n)=-1（n），接下来需要的事情就是求出的迭代公式，推导过程较为繁琐，在此不再展开，直接给出最后的迭代公式。
其中：
可以看到（n）迭代式中的变量P(n)、（n）、（n）都是可以迭代求解的。
RLS算法步骤：
「1.初始化：」
「2.n=1,2,...,N时，做如下迭代运算：」
「3.令n=n+1，重复步骤2。」

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。