Advances in Applied Mathematics 应用数学进展, 2023, 12(7), 3338-3343 Published Online July 2023 in Hans. /journal/aam  /10.12677/aam.2023.127332
赋相对权比的Tikhonov 正则化方法及其 在岭估计中的应用研究
张  丽，何  焱，陈文玉，穆永洪，张  俊*
贵州大学矿业学院测绘教研室，贵州 贵阳
收稿日期：2023年6月21日；录用日期：2023年7月16日；发布日期：2023年7月25日
摘
要
Tikhonov 正则化准则是解决不适定问题的通用方法，当稳定泛函确定后，确定正则化参数就成为Tikhonov 正则化方法应用的核心问题。针对正则化参数通常需要在一个较大正实数范围内搜索而导致效率不高的问
题，提出赋相对权比的正则化方法，并推导了新准则下的正则化解的表达式。新方法将正则化参数限定在[0, 1)区间，将事先难以确定上界的搜索问题转换为一个在较小的、具有明确上下界的优化搜索问题。对岭估计岭参数确定的数值试验结果表明，新方法与原Tikhonov 正则化准则具有等价性，但新方法具有更高的计算效率。
关键词
Tikhonov 正则化法则，相对权比，病态性，岭参数，L-曲线法
Research on Tikhonov Regularization
Method with Relative Weight Ratio and Its Application in Ridge Estimation
Li Zhang, Yan He, Wenyu Chen, Yonghong Mu, Jun Zhang *
Surveying and Mapping Department, College of Mining, Guizhou University, Guiyang Guizhou
Received: Jun. 21st , 2023; accepted: Jul. 16th , 2023; published: Jul. 25th
,
2023
Abstract
The Tikhonov regularization criterion is a universal method for solving ill posed problems. Once
*
通讯作者。
张丽 等
the stable functional is determined, determining the regularization parameters becomes the core problem in the application of the Tikhonov regularization method. To address the problem of low efficiency caused by the need to search for regularization parameters within a large range of posi-tive r
eal numbers, a regularization method with relative weight ratio is proposed, and the expres-sion of regularization solution under the new criterion is derived. The new method limits the re-gularization parameters to the interval of [0, 1), transforming a search problem that is difficult to determine an upper bound in advance into an optimization search problem with a smaller and clear upper and lower bound. Numerical experiments on the determination of ridge parameters in ridge estimation show that the new method is equivalent to the original Tikhonov regularization criterion, but has higher computational efficiency.
Keywords
Tikhonov Regularization Method, Relative Weight Ratio, Ill-Posed, Ridge Parameter, L-Curve Method
Copyright © 2023 by author(s) and Hans Publishers Inc.
This work is licensed under the Creative Commons Attribution International License (CC BY 4.0).
/licenses/by/4.0/
1. 引言
在大地测量和地球物理反演中，病态不适定问题广泛存在[1] [2] [3] [4] [5]，岭估计是病态平差模型处理中总最常用的方法[6] [7] [8] [9]。岭估计应用中的核心问题是确定岭参数，不同的岭参数会导致解的巨大差异[10]。从Tikhonov 正则化准则出发，可以导出不适定问题解的统一表达式[11]，岭估计作为病态不适定平差方法，也可由Tikhonov 正则化方法导出。但鉴于利用Tikhonov 正则化方法求解时，一般需要在一个较大正实数空间搜索正则参数，从而降低了参数求解效率。考虑到Tikhonov 正则化准则本质上是顾及了残差与待估参数之间的平衡关系，本文提出一种赋相对权比的Tikhonov 正则化方法，新方法将正则化参数(岭参数)限制在[0, 1)区间，大大缩小了正则参数的搜索范围，只需设置合适的步长，无需改变搜索上界，一次性即可搜索到最优正则参数。岭估计数值试验算例结果表明，新方法与原Tikhonov 正则化方法在一定条件下具有等价性，但新方法具有更高的计算效率。
2. 赋相对权比的正则化方法及其在岭估计中的应用
2.1. 赋相对权比的正则化方法及其原理
设有以下模型
L BX P =+∆                                    (1)
上式中，L 为观测向量，X 为待求参数，B 为系数矩阵，P 为观测值权阵，∆为误差向量，通常满足
()
210~0,N P σ−∆，其中2
σ为单位权方差。通常情况下，利用最小二乘准则可获得式(1)的参数最优估值为： ()
1
T T LS ˆX B PB B PL −=                                (2)
但是，当平差系统病态时，(2)式抗干扰能力急剧下降，经典最小二乘估值变得很不稳定。Tikhonov 正则化方法是针对不适定问题提出来的，对于秩亏和病态模型均十分有效[11]。为使式(1)具有唯一和稳定的解，构造准则函数如下：
张丽 等
()
()2,P
X L BX L
X ααΦ=−+Ω                            (3)
能使(3)式取得极小值的参数ˆX
即为Tikhonov 正则化解。 式(3)中，()X Ω称为稳定泛函，它的作用是通过选择待估参数的某种函数将不适定问题转化为适定
问题[12]；α称为正则参数或光滑参数，起到平衡准则函数(),X L αΦ右端两项的作用；2P
•
表示加权谱
范数。
在实际应用中，()X Ω可根据具体问题取不同形式，最常取法为
()2
T T T X X GX X G GX X P X Ω=
==                          (4)
其中，T X P G G =。在()
()2,min P
X L BX L
X ααΦ=−+Ω=下求得参数估值为
()()
1
T
T ˆX
X
B
PB P B PL αα−=+                              (5)
上式即为线性病态模型(1)的Tikhonov 正则化解。由于在原法矩阵T N B PB =的主对角元上增了一项
X P α，从而使法矩阵特征值较小的状况得到有效改善，提高了解的稳定性。
(5)式是在P X 和正则参数均得到确定的情况下才能真正实现消除病态性的目的。本文假定P X 已经确定的情况下，讨论α如何选择的问题。通常，α需要在某种规则下，通过搜索得到，如GCV 法[12]，岭迹法[6]，L-曲线法[13] [14]，U 曲线法等[15]。但无论哪种方法，均需在一个较大正实数范围搜索最佳正则参数，这对于大型数值问题很不利。为此，我们提出一种改进的正则参数确定方法。具体思路：考虑到光滑参数α在Tikhonov 正则化准则中的主要作用是平衡(3)式右端两个部分，故考虑对式(3)右端两项都赋予正则参数。显然，为保持二者的平衡关系，右端两部分的正则参数之和必为1才合理，这使得正则参数具有了相对权比的意义。本文称这种方法为赋相对权比的Tikhonov 正则化方法，其对应准则为：
()()212,min P
X L BX L
X αααΦ=−+Ω=                        (6)
利用自由极值求解算法，易得在准则(6)条件下参数估值
()()
1
T T 112ˆX X B PB P B PL αααα−=+                            (7)
上式中1α和2α称为相对权比，须满足121αα+=。(7)式即为参数估值的赋相对权比的Tikhonov 正则化解的表达式。当121,0αα=≠时，(7)式与(5)式等价；当121,0αα==时，(7)式与(2)式等价。可见，原Tikhonov 正则化准则是赋相对权比的Tikhonov 正则化准则的特殊形式，在一定条件下二者具有等价性。
2.2. 赋相对权比的Tikhonov 正则化准则条件下的岭估计
当平差系统正常时，利用最小二乘估计可以获得参数的最优估计，但是当平差系统病态时，最小二乘估计无法获取参数的准确解，有时参数估值甚至是扭曲的[16]。造成病态性的原因是法矩阵至少有一个特征值很小[6]，故可以设法改变法矩阵特征值数值状况达到消除病态性的目的。岭估计在法矩阵的主对角线元素上统一加上一个常数k ，从而改善了法矩阵的奇异性[6] [17]。式(1)参数的岭估计为：
()()
1
T
T ˆX
k B
PB kI
B PL −=+                              (8)
其中，0k >称为岭参数，在平差系统病态时，存在0k >使得()()
()LS
ˆMSE MSE X k X <，即系统病态时， 岭估计优于最小二乘估计。
比较式(8)和式(5)可知，岭估计实际上是在X P I =时Tikhonov 正则化解，为方便搜索岭参数(正则参数)，可将利用(7)式推求的岭估计参数表达式写为成下形式：
张丽 等
()()()()
1
T T ˆ11X B PB I
B PL αααα−=−−+                        (9)
上式中α的本质意义同(3)式。
2.3. 利用L-曲线法确定岭参数
L-曲线法是Hansen [13]于1992年提出的一种针对离散线性不适定问题中正则参数的确定方法，目前，被公认为是一种比较好的正则参数确定方法[10]。以岭估计为例，其原理如下：假定已求得参数的岭
估计值为ˆX α，则以2
ˆlog X α
作为纵坐标，2
log P AX L α−作为横坐标，通过选择足够数目的不同的α，
便相应地得到一系列由()2
2
log ,log P AX L X αα−组成的点对，将这些点拟合成一条曲线，则该曲线上曲
率最大的点对应的α值即为所求的最优正则化参数，因为该曲线形状酷似“L ”，故这种方法被称为L-
曲线法。
3. 算例及分析
3.1. 算例说明
为验证本文方法的正确性和有效性，取10 × 6的Hilbert 矩阵作为系数矩阵B ，取参数真值 []T
1 1 1 1 1 1X =，
则观测量真值为L BX = ，具体数值列于表1。由于Hilbert 矩阵是公认的严重病态矩阵， 本例法矩阵条件数高达  6.0 × 1012，属于非常严重的病态问题。本文在观测量真值中模拟一组大小为
()
4~0,1.010N −∆×的随机误差。以参数估计向量与参数真值之差的范数ˆX
∆和参数估值的均方误差()
ˆMSE X
作为参数估计优劣的衡量指标，采用3种方案进行参数估计，相关结果列于表2。
Table 1. Observed values L
and coefficient matrix B  表1. 观测值L
及系数阵B    B
L  1 0.5 0.3333 0.25 0.2 0.1667    2.45 0.5 0.3333 0.25 0.2 0.1667 0.1429    1.5929 0.3333 0.25 0.2 0.1667 0.1429 0.125    1.2179 0.25 0.2 0.1667 0.1429 0.125 0.1111 0.9956 0.2 0.1667 0.1429 0.125 0.1111 0.1 0.8456 0.1667 0.1429 0.125 0.1111 0.1 0.0909 0.7365 0.1429 0.125 0.1111 0.1 0.0909 0.0833 0.6532 0.125 0.1111 0.1 0.0909 0.0833 0.0769 0.5873 0.1111 0.1 0.0909 0.0833 0.0769 0.0714 0.5337 0.1
0.0909
0.0833
0.0769
0.0714
0.0667
正则化的直观理解
0.4893
具体3种参数估计方案如下： 方案1：最小二乘估计。
方案2：按(8)式参数表达式并利用L-曲线法确定岭参数的岭估计。 方案3：按(9)式参数表达式并利用L-曲线法确定岭参数的岭估计。
张丽 等
Table 2. Comparison of the results of various schemes 表2. 各种方案结果比较
方案 ()ˆMSE X
ˆX
∆ 岭参数 方案1    5.5 × 103 32.5 无 方案2    3.06    1.3    1.341 方案3
3.06
1.3
0.573
3.2. 算例结果分析
1) 表2结果显示，方案1结果的均方误差和参数估值差值的范数远远大于方案2和方案3，这说明当平差系统病态时，经典最小二乘估计变得非常不稳定，仅非常小的扰动时即导致其参数解的巨大变化。但是，岭估计结果的均方误差和参范数都很小，说明系统病态时，岭估计很好地消除了病态性对参数估值的影响。
2) 表2中方案2的岭参数等于1.341，方案3的岭参数(相对权比)为0.573，对照式(7)可知，相当于
2120.573,10.427ααα==−=，此时，设Tikhonov 正则化准则中()X Ω与2
BX L −之间的相对权比的比
值为C ，则方案2和方案3中相应C 值分别为： 2
1.341
1.3411C ==方案和2310.573  1.3410.427C αα===方案，说明由式(3)和式(6)给出的两种Tikhonov 正则化 准则实际上式等价的。但是，显然，在事先不知道正则参数搜索上界时，式(3)准则需要不断调整搜索上界以获取最优正则化参数，但式(7)仅需以一定步长在0~1之间搜索，无需变换搜索区间即可一次性获得全局最优的正则化参数。
4. 结论
当平差系统病态时，Tikhonov 正则化准则是一种有效的数据处理方法。但是通常，Tikhonov 正则化方法需要在一个较大的不确定范围搜索正则化参数，本文提出赋相对权比的正则化准则将正则参数的搜索范围限制在区间[0, 1)，大大缩小了正则参数的选取范围。并以岭估计为例，不仅验证了新方法的正确性，而且也阐明了新方法与原Tikhonov 正则化方法在一定条件下具有等价性。
基金项目
1) 贵州省大学生创新创业训练计划项目：病态不适定数据处理方法及其在测量中的应用研究，贵大(省)创字(2022) 085号；
2) 贵州大学省级本科教学内容和课程体系改革项目：《大地测量学》课程思政教学改革与实践(2021020)；
3) 贵州大学测绘工程国家级一流本科专业建设项目。
参考文献
[1] Xiong, X., Li, Z. and Li, J. (2022) On an Iterative Fractional Tikhonov—Landweber Method for Ill-Posed Problems.
Journal of Inverse and Ill -Posed Problems , 30, 323-330. /10.1515/jiip-2019-0038 [2] 刘斌, 龚健雅, 江万寿, 等. 基于岭参数的谱修正迭代法及其在有理多项式参数求解中的应用[J]. 武汉大学学报
(信息科学版), 2012, 37(4): 399-402. [3] 唐隆基, 李文. 关于解地球物理中病态方程的若干问题[J]. 地球物理学报, 1995, 38(1): 105-114.
[4] 王乐洋, 陈涛, 邹传义. 病态乘性误差模型的加权最小二乘正则化迭代解法及精度评定[J]. 测绘学报, 2021,

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。