基于最小二乘法的数据处理问题研究综述
————————————————————————————————作者：————————————————————————————————日期：
基于最小二乘法的数据处理问题研究综述
摘要：对基于最小二乘法的数据处理方法进行了介绍。首先对传统最小二乘法基本原理进行了介绍，然后根据例子来说明怎样运用传统最小二乘法来解决实际辨识问题。而且本文针对传统最小二乘存在的缺陷进一步阐述了一些改进型最小二乘法，综述了最小二乘法的研究现状，最后对最小二乘的发展趋势做了预测。
关键字：最小二乘法数据处理改进型最小二乘法发展趋势
1引言
在科学实验中经常要把离散的测量数据转化为直观的便于研究的曲线方程，即曲线拟合[1]。由于在实验室或实际应用中，误差是不可避免的，所以为了不把原有离散数据中的误差引入，人们经常用拟合来确定模拟函数。拟合方法不要求模拟函数通过已知离散的点，而追求的是所有点到模拟函数达到某种误差指标的最小化，是一种整体上的逼近性质。最小二乘法是解决这类曲线拟合中一种较为常用的方法，根据最小二乘法的定义[2]：“最小二乘法是一种数学优化技术，它通过最小化误差的平方和寻数据的最佳函数匹配。”最小二乘法是从误差拟合角度对回归模型进行参数估计或系统辨识，因此最小二
乘在参数估计、系统辨识以及预测、预报等众多领域中得到极为广泛的应用。
本文在阐述最小二乘法理论的基础上对于其在实际问题中的辨识应用做了简单介绍，并指出实际应用中存在的不足，列举了几种改
进型的最小二乘算法来进行优化比较，最后给出了最小二乘法的发展趋势。
2 最小二乘法的理论基础及应用
2.1最小二乘法的理论基础
最小二乘法作为一种传统的参数估计方法，早已经被大家所了解。 然而大多同学对最小二乘法的认识都比较模糊，仅仅把最小二乘法理解为简单的线性参数估计。 事实上，最小二乘法在参数估计、系统辨识以及预测、预报等众多领域都有着广泛的应用[3]。特别是针对动态系统辨识的方法有很多[4]，但其中应用最广泛，辨识效果良好的就是最小二乘辨识方法，研究最小二乘法的应用在就要对其基本原理有较为深刻的理解。
下面是一般的最小二乘法问题：求实系数线性方程组
11112211211222221122
.
........00......0n n n n m m mn n m b b b a x a x a x a x a x a x a x a x a x ++-++-++-⎧+=⎪+=⎪⎨⎪⎪+=⎩          （1）    方程组可能无解。即很可能不存在一组实数x 1,x 2,……,x n 使
2112120()i i in n i
m
i a x a x a x b =++⋯+-=∑    （2） 恒成立。因此我们转而求其次，设法到实数组 x 1，x 2，…，x n 使误差的平方和最小，这样的 x 1，x 2，…，x n 称为方程组的最小二乘解，这样问题就叫最小二乘法问题[5]。
2.2 最小二乘法的应用举例
理论只有被利用才能体现其价值意义，下面我就以系统辨识中的最小二乘法的例子为大家讲讲怎样在实际中应用最小二乘法解决辨识问题。
考虑如下图1中的线性系统：
()()()()()() 11
11正则匹配到第一个关键字就停止
a b
n a n b
z k a z k a z k n bu k b u k n e k +-++-=-++-+
L L L L（3）
其中，u(k)为系统激励信号，y(k)为系统输出，e(k)为模型噪声。
其系统模型如图1所示：
图1 SISO的系统模型结构图
其中G(z-1)是系统函数模型，N(z-1)为有噪声系统模型，e(k)为白噪声v(k)经过系统函数为N(z-1)的系统后的输出[6]。通常
()()
()()
()
()
11
11
11
,
B z D z
G z N z
A z C z
-
-
--
--
==（4）
式中：
()
()
112
12
112
12
1a
a
b
b
n
n
n
n
A z a z a z a z
B z b z b z b z
-
-
--
-
---
⎧=++++
⎪
⎨
=+++
⎪⎩
L
L
（5）
()
()
112
12
112
12
1c
c
d
d
n
n
n
n
C z c z c z c z
D z d z d z b z
-
---
-
---
⎧=++++
⎪
⎨
=+++
⎪⎩
L
L
（6）

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。