第50卷第7期2019年7月
中南大学学报(自然科学版)
Journal of Central South University(Science and Technology)
V ol.50No.7
Jul.2019基于U曲线法的半参数模型中正则化参数确定
周岩1，靳奉祥2，梁庆华3，马德鹏4
(1.山东科技大学资源与土木工程系，山东泰安，271019；
2.山东建筑大学测绘地理信息学院，山东济南，250101；
3.中煤科工集团重庆研究院有限公司，重庆，400039；
4.山东农业大学水利土木工程学院，山东泰安，271018)
摘要：针对半参数模型补偿最小二乘估计中正则化参数合理确定的问题，研究一种正则化参数确定方法即
U曲线法，基于该方法确定合适的正则化参数，能够有效地控制残差范数与信号范数之间的平衡，得到较准确的参数估值；通过仿真算例分析，将基于U曲线法确定正则化参数的半参数模型的参数估计解和其他方法进行比较，研究结果表明：模拟的系统误差为周期性时，应用L曲线法、U曲线法确定的正则化参数进而求得的参数估值与其真值差值向量的范数分别为4.6324×10−4和3.4970×10−4；当模拟的系统误差呈线性周期性时，应用L曲线法和U 曲线法确定的正则化参数进而求得的参数估值与其真值差值向量的范数分别为7×10−4和4×10−4，故采用U曲线法确定的正则化参数所求得的参数估值的精度比L曲线法的高，能较好地将观测值中的系统误差分离出来。
关键词：半参数模型；正则化参数；L曲线法；U曲线法
中图分类号：P22文献标志码：A文章编号：1672-7207(2019)07-1696-08
Determination of regularization parameter in semiparametric
model based on U curve method
ZHOU Yan1,JIN Fengxiang2,Liang Qinghua3,MA Depeng4
(1.Department of Resources and Civil Engineering,
Shandong University of Science and Technology,Tai'an271019,China;
2.College of Surveying and Geo-Informatics,Shandong Jianzhu University,Jinan250101,China;
3.CCTEG Chongqing Research Institute,Chongqing400039,China;
4.School of Water Conservancy and Civil Engineering,Shandong Agricultural University,Tai'an271018,China)
Abstract:To solve the problem of the regularization parameter in the semiparametric model,the U curve method was researched as a regularization parameter selection method.By determining the appropriate regularization parameters,the balance between the residual part and the smoothness part was better controlled,and more accurate parameter estimation was obtained.Through the simulation examples and real examples,the parametric estimation solution of the semiparametric model based on the U curve method to determine the regularization parameters was compared with other methods.The results show that when the simulated system error is periodic,the parameter estimation is obtained by
收稿日期：2018−09−26；修回日期：2018−12−19
基金项目(Foundation item)：国家自然科学基金资助项目(51574156)；山东省高等学校科研计划项目(J18KA195)；泰安市科技发展计划(引导计划)项目(2018GX0031)；山东省自然科学基金资助项目(ZR20
正则化最小二乘问题19PD016)(Project(51574156)supported by the National Natural Science Foundation of China;Project(J18KA195)supported by the Higher Educational Science and Technology Program of Shandong Province;Project(2018GX0031)supported by the Development Program for Science and Technology of Tai'an(Guidance Program);
Project(ZR2019PD016)supported by the Natinal Science Foundation of Shandong Province)
通信作者：马德鹏，博士，从事试验数据处理研究；E-mail:**************
DOI:10.11817/j.issn.1672-7207.2019.07.024
第7期周岩，等：基于U曲线法的半参数模型中正则化参数确定
using the regularized parameters determined by U-curve method and L-curve method respectively,and the norm of the difference vector between it and its true value is respectively4.6324×10−4and3.4970×10−4.When the simulated system error is linear periodicity,the parameter estimation is also obtained by using the regularized parameters determined by U-curve method and L-curve method respectively,and the norm of the difference vector between it and its true value is respectively7×10−4and4×10−4.By comparison,the accuracy of parameter estimation by using
the regularized parameters determined by U-curve method is better than that by L-curve method,and the U-curve method can better separate the systematic errors from the observed values.
Key words:semiparametric model;regularization parameter;L curve method;U curve method
半参数模型是20世纪80年代初发展起来的一种回归模型，它是将系统误差或者建模近似引起的模型偏差视为非随机参数，采用补偿最小二乘估计法，得到参数和非参数的估值[1−3]，因此，半参数模型广泛地应用于模型精化和减弱系统误差方面[4−5]。半参数模型补偿最小二乘估计中，关键的因素在于如何确定合适的正则化参数α及正则化矩阵R[6]。在测量平差中，正则化矩阵R可根据实际情况按自然样条光滑法、时间序列的特性、先验方差的特性以及观测量之间的某种距离来确定，而正则化参数α的确定方法目前主要有GCV法、L曲线法[7−13]等。GCV法在理论上能够获取最优的正则化参数，但有时GCV函数的变化平缓，定位其最小值有困难。HANSEN等[14−15]用L 曲线法确定病态问题中的岭估计参数，并详细介绍了L曲线法的基本思想和相关性质；FISCHER等[16−17]在用半参数回归模型处理大地测量数据时，将L曲线法引入半参数模型中确定正则化参数，并进行了相关证明。现有文献表明，L曲线法可以比较容易地获得正则化参数，并且能够得到比较精确的解，但L曲线法在求解过程可能不收敛。U曲线法是根据定义的U(α)函数，即以构成L曲线法的基于正则化参数α>0的信号范数与残差范数为基础，由信号范数的倒数与残差范数的倒数之和组成，以U(α)为纵轴，α为横轴所表示的曲线[18]，其形态接近U型，共包括3个组成部分：左边和右边部分几乎是“垂直”的，中间部分几乎是“水平”的，曲线上到原点距离最小
的点对应的α或者曲线左侧曲率最大点对应的α即为所确定的正则化参数。通过上述分析，本文作者在简要介绍L曲线法的基础上，详细分析U曲线法，并阐述其相关特性，同时，分别采用L曲线法和U曲线法对模拟数值算例进行求解，通过参数、非参数估计解及单位权中误差的相互对比来分析U曲线法和L曲线法的异同。
1确定正则化参数的L曲线法
由半参数回归模型L=BX+S+Δ，可得误差方程式为
V=B X+S-L(1)根据补偿最小二乘准则V T PV+αS T R S=min，按照求条件极值的拉格朗日函数法，构造如下函数：Φ=V T PV+αS T R S+2K T(B X+S-L-V)(2)式中：K为拉格朗日常数；α为正则化参数；R为正则化矩阵。
对式(2)求导，并令∂Φ∂V=0，∂Φ∂S=0及∂Φ∂X=0，则有
ì
í
î
ï
ï
K=PV
K=-αR S
B T K=0
(3)
得
é
ëê
ù
ûú
B T PB B T P
PB P+αR
é
ë
ê
ù
û
ú
X
S
=éëêùûú
B T PL
PL
(4)
这里正则化矩阵R正定或者半正定，则可求得参数、非参数估计解及单位权中误差，如下式所示[20]：ì
í
î
ï
ï
ï
ï
ï
ï
ï
ï
ï
ï
X=(B T PB)-1B T P(L-S)
S=(
-1B T P)-1(P-PBN-1B T P)L σ0=
H(α)=J+(I-J)B[]
B T P(I-J)B-1B T P(I-J) J=(P+αR)-1P
(5)
在半参数模型补偿最小二乘估计中，确定正则化参数和正则化矩阵尤为重要，本文在选取正则化矩阵R=G T G的基础上，重点研究不同的正则化参数确定方法对参数估值的影响。
L曲线法是基于正则化参数α的残差范数V n(α)=(L-B X-S)T P(L-B X-S)和信号范数S n(α)=S T R S所表示的曲线，二者都是正则化参数α
的函数，选择不同的α，便得到不同的点(V
n
(α)，
S
n
(α))，较为直观的形式就是以S
n
(α)为横轴，以V
n
(α)为纵轴作图，经拟合得到1条曲线。该曲线包括2个典型部分，分别是“水平”和“垂直”部分，越“水
平”部分对应的是正则化参数越小，主要由S
n
(α)控
1697
第50卷
中南大学学报(自然科学版)制；越“垂直”的部分对应的正则化参数越大，主要由V n (α)控制；将所得到的类似字母L 的曲线称为L 曲线。从图1观察信号范数和噪音范数之间是否取得了平衡，或两者是否出现了过大或过小的情况，因此，L 曲线法顾及了拟合和光滑之间的平衡，拐点处的值所对应的“角”即为所求的正则化参数的最优解。选取最后的正则化参数值有2种标准：一是选取离原点最近的拐点；二是选取曲率k 最大的点。
2确定正则化参数的U 曲线法
定义
U (α)=
1x (α)+
1
y (α)
(6)
式中：α>0；x (α)和y (α)分别与L 曲线法中V n (α)和S n (α)的定义相同。
从图2可见U 曲线包含3个典型部分：1)U 曲线在左边部分和右边部分近似垂直。2)U 曲线中间部分近似水平。
3)垂直部分对应的正则化参数是代表了V n (α)和S n (α)分别各自主导部分。水平部分对应的正则化参数表征V n (α)和S n (α)较接近。
由于x (α)和y (α)分别等同于L 曲线里定义的V n (α)和S n (α)，故式(6)可以表示为
U (α)=
1V n (α)+1
S n (α)
(7)
对式(7)求导得
U '(α)=(
1V n (α)+1
S n (α)
)'=-S n '(α)(V n 2(α)-αS n 2(α))
V n 2(α)S n 2(α)
(8)
1)在L 曲线法中，随着α增大，V n (α)是单调递增函数，S n (α)是单调递减函数，即在式(8)中，
-S n '(α)>0。由于V n (α)是单调递增函数，S n (α)是单
调递减函数，根据式(7)和(8)可知，当α较小时，占控制部分的是αS n 2(α)，即V n 2(α)-αS n 2(α)<0；当α较大时，占控制部分的是V n 2(α)，即V n 2(α)-αS n 2(α)>0，所以，U (α)是先减小后增大。
当V n (α)和S n (α)这2部分平衡时，通过U (α)曲线可知U (α)接近水平部分，因此，曲线呈U 状，两端近似竖直，中间近似水平。
2)正则化参数的选择。方法a ：
U (αD )2+αD 2=min
(9)
式中：αD 为曲线上的点到原点的距离最小时对应
的α。
方法b ：
K =
|
|U
''
(αK )(1+U '2(αK ))2/3
(10)
式中：αK 为曲线左侧曲率最大时对应的α。
3
算例分析
3.1
模拟算例1
设已知P 1~P 4这4个观测点上的重力异常观测值L
及其坐标，如表1所示。观测误差方差
D Δ=(0.03)2
Ι，试估计已测点重力异常Δg [19]。
物理大地测量中很早就用最小二乘配置法得到重
力异常最佳估计值，下面用半参数模型的方法来研究重力异常。在许多地区，重力异常不仅包含随机部分
S ，而且包含系统部分BX ，故重力异常观测方程可写为半参数模型。已有的采用半参数模型求解的文献中，把正则化参数α取为1[20]，也有的采用L 曲线法对正则化参数取值。在这里，采用本文所提出的U
曲
图1
典型的L 曲线示意图
Fig.1
Schematic diagram of typical L
curve
图2
典型的U 曲线示意图
Fig.2
Schematic diagram of typical U curve
1698
第7期
周岩，等：基于U 曲线法的半参数模型中正则化参数确定
线法选取正则化参数，并同L 曲线法进行比较，同时注意到在重力异常的求解中协方差函数是距离的某种函数，因此，本文中的正则化矩阵采用简单的距离函数，即
Mx =|
|
||||
||
|||
|
|||
|10046.49.930.646.410020.233.19.920.210014.730.633.114.7
100(11)
函数模型中，重力异常包含随机异常和系统异常2部分。系统部分一般表示为坐标(x,y )的线性函数：T i =a 0+a 1(x i -x
ˉ)+a 2(y -y ˉ);i =1,2,⋯,n (12)式中：(x
ˉ,y ˉ)为已测点坐标的平均值，x ˉ=460，y ˉ=300，故式(12)可表示为
BX =|
|
|||||||||||
|
|||||
|1x 1-x 0y 1-y 01x 2-x 0
y 2-y 0⋮
⋮⋮1x n -x 0
y n -y 0|
|
|
|||||||||a 0a 1a 2
(13)
按照半参数模型解算：
L =BX +S +Δ(14)
式中：B =|
|
|
|||||
||||||
||1  1.8  1.81
-0.211-3.2-1.61
1.6-1.2；
L =|-0.55
-0.23
0.58
-1.8|T
。
L 曲线法与U 曲线法确定正则化参数的示意图如图3和图4所示，2种方案计算的重力异常估值差异的比较见表2。
图3所示为纵轴V n (α)与横轴S n (α)的关系图，根据其对应的方法得到最佳α的取值，α=1.85。图4所示为定义的U (α)函数(纵轴)与正则化参数α(横轴)的关系图。从图3和图4可以看出U 曲线法比L 曲线法在得到最佳α的取值上计算量要小，而且更直观。
由表2可以看出：U 曲线法确定的正则化参数使
参数估计解的精度要比L 曲线法的高，U 曲线法计算的重力异常估计结果较接近于文献[19]中的结果，这说明在此算例中，U 曲线法求得的正则化参数的可靠性要比L 曲线法的高。3.2
模拟算例2（周期性系统误差）设L =BX +S (t i )+Δ，B =(B i,j )
100×2
，B i,1=t i ，
B i,2=(t i )2
，S (t i )=3sin (t i )sin (3t i )，t i =2π(i -1)/100，X =[1
0.25]T
，Δ~(0,1)[20]；i =1,2,⋯,100。
表1
重力异常观测值及其位置
Table 1Observations of gravity abnormity and its locations
点号P 1P 2P 3P 4
L /(10−5m·s −2)
−0.55−0.230.58−1.80
x /km 6.44.41.46.2
y /km 4.84.01.4
1.8
图3
L 曲线法确定的正则化参数α
Fig.3Determining regularization parameter αaccording to
L-curve
method
图4
U 曲线法确定的正则化参数α
Fig.4
Determining regularization parameter αaccording to
U-curve method
表2
2种方案计算的重力异常估值差异的比较
Table 2Comparison of value difference of gravity anomaly between two calculate solutions
方法L 曲线法U 曲线法
α1.850.90
Δg
[−0.5887−0.18100.5601−1.7905]T [−0.5701−0.20300.5669−1.7937]T
σ01.140.19
1699
第50卷
中南大学学报(自然科学版)该算例模拟的是周期性系统误差，采用基于正则化矩阵的补偿最小二乘法求解，R 矩阵由相邻两观测点模型误差之差的平方和形式确定，设计以下2种方案：方案1，采用L 曲线法确定正则化参数；方案2，采用U 曲线法确定正则化参数。
这2种方案计算的模拟系统误差的估值与残差估值分别见图5和图6(模拟的残差为模拟参数的真值与模拟系统误差的值代入误差方程得到，半参数估计残差为模拟参数的估值与模拟系统误差的估值代入误差方程得到，下同)。计算所得的X 估值与模拟X 真值
差异的比较如表3所示。
从图5(a)和图6(a)可以看出：当模拟的系统误差呈周期性时，L 曲线法和U 曲线法确定的正则化参数都使得模拟的系统误差与模拟系统误差的估值变化的
趋势基本一致，但U 曲线法确定的正则化参数解算得到的系统误差的估值与其真值的吻合程度要比L 曲
线法的高。从图5(b)和图6(b)可以看出：L 曲线法和U 曲线法确定的正则化参数同样也使得半参数估计残差与模拟残差变化的趋势基本一致，并且半参数模型解算观测值的残差经t 检验，也都以大于95%的概率服从正态分布。这是由于半参数模型能够将观测值中的系统误差分离出来，减弱其对观测值的影响，从而得到较可靠的参数估值；同时，U 曲线法确定的正则化参数解算得到的半参数估计残差与模拟残差的吻合程度也比L 曲线法的高。
从表3可知：L 曲线法和U 曲线法确定的正则化参数差别不大，都能使所求结果与真值较接近，均提
高了半参数模型解的精度。但通过进一步对比分析发
(a)半参数模型非参数估计；(b)半参数模型残差图
1─模拟的系统误差；2─系统误差估值；3─模拟的残差；4─半参数估计残差。
图6
U 曲线法确定正则化参数α(周期性系统误差)
Fig.6
Determination of regularization parameter αaccording to U-curve method (system error of
periodicity)
(a)半参数模型非参数估计；(b)半参数模型残差图
1─模拟的系统误差；2─系统误差估值；3─模拟的残差；4─半参数估计残差。
图5
L 曲线法确定正则化参数α(周期性系统误差)
Fig.5
Determination of regularization parameter αaccording to L-curve method(system error of periodicity)
1700

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。