㊀㊀第４５卷㊀第８期测㊀绘㊀学㊀报V o l．４５,N o．８㊀２０１６年８月A c t aG e o d a e t i c ae tC a r t o g r a p h i c aS i n i c a A u g u s t,２０１６引文格式：林东方，朱建军，宋迎春，等．正则化的奇异值分解参数构造法[J]．测绘学报,２０１６,４５(８):８８３Ｇ８８９．D O I:１０．１１９４７/j．A G C S．２０１６．２０１５０１３４．
L I ND o n g f a n g,Z HUJ i a n j u n,S O N GY i n g c h u n,e t a l．C o n s t r u c t i o nM e t h o d o f R e g u l a r i z a t i o n b y S i n g u l a rV a l u eD e c o m p o s i t i o n o fD e s i g n M a t r i x[J]．A c t aG e o d a e t i c a e tC a r t o g r a p h i c aS i n i c a,２０１６,４５(８):８８３Ｇ８８９．D O I:１０．１１９４７/j．A G C S．２０１６．２０１５０１３４．正则化的奇异值分解参数构造法
林东方，朱建军，宋迎春，何永红
中南大学地球科学与信息物理学院，湖南长沙４１００８３
C o n s t r u c t i o n M e t h o do fR e g u l a r i z a t i o nb y S i n g u l a rV a l u e
D e c o m p o s i t i o no f
D e s i g nM a t r i x
L I ND o n g f a n g,Z H UJ i a n j u n,S O N GY i n g c h u n,H EY o n g h o n g
S c h o o l o fG e o s c i e n c e sa n d I n f oＧp h y s i c s,C e n t r a l S o u t hU n i v e r s i t y,C h a n g s h a４１００８３,C h i n a
A b s t r a c t:T i k h o n o v r e g u l a r i z a t i o n i n t r o d u c e s r e g u l a r i z a t i o n p a r a m e t e r a n d s t a b l e f u n c t i o n a l t o i m p r o v e t h e i l lＧc o n d i t i o n．W h e n t h e s t a b l e f u n c t i o n a l e x p r e s s e da s t w oＧn o r mc o n s t r a i n t,t h e r e g u l a r i z a t i o nm e t h o d i s t h e s a m ea s r i d g e e s t i m a t i o n．T h ea n a l y s i so f t h ev a r i a n c ea n db i a so f t h e r i d g ee s t i m a t i o ns h o w s t h a t r i d g e e s t i m a t i o n i m p r o v e d t h e i l lＧc o n d i t i o n b u t i n t r o d u c e dm o r e b i a s．T h e e s t i m a t i o n r e l i a b i l i t y i s l o w e r e d．W e g e t t h a t c o r r e c t t h e l a r g e r s i n g u l a r v a l u e s c a n n o t d e c r e a s e t h ev a r i a n c ee f f e c t i v e l y b u t i n t r o d u c e dm o r eb i a s, c o r r e c t i n g t h e s m a l l e r s i n g u l a r v a l u e s c a n d e c r e a s e t h e v a r i a n c e e f f e c t i v e l y．W e c h o o s e t h e e i g e n v e c t o r s o f t h e s m a l l e r s i n g u l a r v a l u e s t o c o n s t r u c t t h e r e g u l a r i z a t i o nm a t r i x．I t c a n a d j u s t t h e c o r r e c t i o n o f t h e s i n g u l a r v a l u e s,d e c r e a s e t h e v a r i a n c ea n db i a s e sa n d f i n a l l yg e t am o r e r e l i a b l e e s t i m a t i o n．
K e y w o r d s:r e g u l a r i z a t i o n s o l u t i o n;r i d g e e s t i m a t i o n;r e g u l a r i z a t i o nm a t r i x;s i n g u l a r v a l u e;e i g e n v e c t o r s F o u n d a t i o n s u p p o r t:T h eN a t i o n a l N a t u r
a l S c i e n c e F o u n d a t i o n o f C h i n a(N o s．４１５３００３２１;４１４７４００８)
摘㊀要:T i k h o n o v正则化法引入正则化参数和稳定泛函来改善矩阵的病态性.稳定泛函表示为参数的二范约束时，正则化矩阵为单位阵的正则化法即为岭估计法.通过对岭估计的方差与偏差进行分析可知，岭估计改善矩阵病态性的同时也过度地引入了偏差，降低了解的可靠性，对较大奇异值的修正不能有效地减小估计的方差，却引入了偏差，而对较小奇异值的修正可有效地减小估计的方差.因此，选择较小奇异值特征向量构造正则化矩阵，调节各奇异值的修正，可有效减小参数估计的方差，减少偏差的引入，得到更为可靠的参数估计.通过试验证明了该方法的有效性.
关键词：正则化法；岭估计；正则化矩阵；奇异值；特征向量
中图分类号:P２０７㊀㊀㊀㊀文献标识码:A㊀㊀㊀㊀文章编号:１００１Ｇ１５９５(２０１６)０８Ｇ０８８３Ｇ０７
基金项目：国家自然科学基金(４１５３００３２１;４１４７４００８)
㊀㊀病态问题是大地测量数据处理中经常会遇到的棘手问题，广泛存在于G P S快速定位[１Ｇ２]㊁G P S 水汽层析㊁卫星重力延拓[３]及I n S A R形变监测等领域.当模型出现病态时，观测数据的微小变化常常会造成难以估计的巨大变化，估值极不稳定，很难得到可靠的参数估计.这种情况下，测量数据处理常
用的最小二乘估计虽然仍是无偏估计，但已不是最优估计[４].针对病态问题，学者们提出了一系列改善估计质量的有偏估计方法[５Ｇ７]，如岭估计法㊁截断奇异值法㊁T i k h o n o v正则化法等，其中应用最广泛的是T i k h o n o v正则化法.
T i k h o n o v正则化法通过正则化参数和正则化矩阵作用于原病态矩阵来改善矩阵的病态性，得到参数更为可靠的稳定解.其中正则化参数与正则化矩阵的确定至关重要，正则化参数起到平衡病态矩阵与正则化矩阵的作用，反映了正则化矩阵的权重大小，正则化矩阵则是对病态矩阵的修正.国内外学者针对正则化法的研究多集中于正则化参数的选取上，提出了许多有效的正则化参数确定方法，如岭迹法㊁G C V(广义交叉核实)
A u g
u s t ２０１６V o l ．４５N o ．８A G C S h t t p :ʊx b ．s i n o m a p
s ．c o m 法[８]㊁L 曲线法[９
Ｇ１０]㊁方差分量估计法[１１
]等，但针对正则化矩阵的研究较少.一些学者提出将参数
的后验协方差阵的逆矩阵作为正则化矩阵[１２
]，则
正则化矩阵可视为待定参数的权重，但是待定参数并非观测值，也没有实际意义上的权重.也有一些学者提出利用未知参数的先验信息的确定正则化矩阵，如在卫星定位和重力场反演中，有的利
用了模糊度参数的特性[１３
]，有的利用了反映位系数统计规律的K a u l a 规则[１
４]
，这些方式多针对参数包含先验信息的情形.处理病态问题常用的岭估计法中，正则化矩阵为单位阵，即稳定泛函为参数的二范约束的正则化法的特例.岭估计法在改善矩阵病态性的同时也过多地引入了偏差，降低了解的可靠性.因此，正则化矩阵的有效形式仍需进一步研究.本文通过分析岭估计的方差与偏差，提出基于较小奇异值特征向量构造正则化矩阵的方法，在有效减小方差的同时，减少偏差的引入，得到更可靠的稳定解.
１㊀解算病态问题的正则化方法
对于经典测量观测模型
L ＋V ＝A X
(１)其最小二乘估计及估计的协方差为
^X ＝(A T P A )－１A T P L
(２
)c o v ^X ()＝σ２
０A T P A (
)－１(３
)由于权矩阵P 可进行单位化，为了方便推
导，设权矩阵P 为单位阵，对系数矩阵A 进行奇
异值分解可得[
１５]
A m ˑn
＝U m ˑ
m ㊀S m ˑn ㊀G n ˑn (４)S n ˑm
T ＝λ１
０
００ ００⋱００ ００
０λn
０ ０éëêêêêù
ûú
ú
ú
ú(５
)协方差矩阵的迹是各参数估计的方差之和,
可以整体反映参数估计方差的大小，由式(３)和式(５
)得到最小二乘估计的整体方差为D ^X ()＝t rc o v ^X ()[]＝σ２０ðn
i ＝１１λ２
i æ
èçöø
÷(６)式(５)中,λ１＞λ２＞ ＞λn 为设计矩阵的奇异值，若方程病态，则λ１远大于λn ,λn 为接近于零的较
小值.由式(６)可以看出，较小的奇异值会对估计的方差造成严重影响，估计方差被较小的奇异值严重放大，这导致最小二乘估计极不可靠，已无法得到参数的准确估值.
为了提高估计的稳定性,T i k h o n o v 正则化方
法在经典最小二乘平差准则的基础上加入稳定泛函约束条件，并引入正则化因子调节两部分的平衡，使不适定问题转化为适定问题.正则化准则
表示为[
７]
Φ＝V T P V ＋αΩX ()＝m i n (７
)式中,ΩX ()称为稳定泛函，起到稳定化的作用;α为正则化参数，起着平衡准则函数中两部分的作
用.ΩX ()的选择常常提示出问题的特性[７
]，不
同的病态问题可能具有不同类型的稳定泛函.目
前大地测量领域中一般取ΩX ()＝X T R X [１
６]，其中R 为对称非负定，称为正则化矩阵.则正则化准则可表示为
Φ＝V T P V ＋αX T R X ＝m i n (８
)ΩX ()的不同形式通过正则化矩阵R 的不同
形式来反映，在参数包含先验信息时，文献[１７]建议依据参数的先验信息采用选权拟合的方法确定
R .对于单频G P S 的快速定位，文献[１３]
提出先对法方程矩阵进行奇异值分解，利用奇异值分解后的矩阵构建R ，该方法利用了G P S 定位位置参数与模糊度参数的不同特性.
在参数不包含先验信息时，大地测量中常将稳定泛函取为参数的二范约束，即取R ＝I ，正则化准则即为
Φ＝V T P V ＋αX T X ＝m i n
(９
)平差的结果为
^X ＝(A T P A ＋αI )－１A T P L
(１０
)这就是常用的岭估计法.这时稳定泛函为
ΩX ()＝X T R X ＝X T X .
正则化法是一种有偏估计方法，其在改善法
方程病态性的同时不可避免地引入了偏差[１５
]，在
法方程病态性得到有效改善的情况下，偏差的引入却降低了参数估计的可靠性.目前，针对正则化方法的研究主要集中于正则化参数的选取上，而对正则化矩阵的研究较少.良好的正则化矩阵可有效改善矩阵的病态性，最大程度地减少偏差的引入，使病态问题解算具有更高的可靠性，正则化矩阵的选取对病态问题的解算具有重要意义.
２㊀正则化矩阵的构造方法研究
２．１㊀岭估计方差与偏差分析
岭估计法可看作是正则化矩阵为单位阵的正则化方法，可有效减小参数估计的方差，改善解的稳定性.依据协方差传播律可得岭估计协方差计
算公式为[
１８Ｇ１９]４
８８
第８期
林东方，等：正则化的奇异值分解参数构造法
c o v ^X ()＝σ２０A T P A ＋αI (
)－１A T P A A T P A ＋αI ()－１(１１
)协方差矩阵迹可以在整体上反映估计量方差
大小，由协方差公式可得矩阵迹为
D ^X ()＝t r σ２０A T P A ＋αI (
)－１A T P A A T P A ＋αI ()－１[](１２)对方阵A T P A 进行特征值分解可得
A T
P A ＝G ΛG T
＝ðn
i ＝１
G i Λi G T i
(１３
)式中，特征值Λi ＝λ２
i ,
即法方程系数矩阵的特征值是观测方程系数矩阵奇异值的平方，而特征值
Λi 的特征向量即是λi 的右奇异向量.将式(
１３)代入式(１２
)
可得㊀D ^X ()＝t r σ２０A T P A (
)－１ðn
i ＝１
G i Λi G T
i ＋(([αðn
i ＝１
G i G T
i )
)
－
１A T P A ＋αI ()－１]＝
σ
２０
ð
n i ＝１
Λi
Λi ＋α()２
(１４
)岭估计为有偏估计，其偏差计算公式为[
１５
]b i a s ^X α()()２＝α２A T P A ＋αI ()－１X X T A T P A ＋αI ()－１
(１５
)
对式(１５
)进行特征值分解化简并求迹得t r b i a s ^X α()()２[]＝ðn
i ＝１
X T G i
α２
Λi ＋α()
２
G T
i X (１６
)由式(１４)
可见，岭估计通过修正法方程矩阵的特征值来减小估计的方差，提高解的稳定性.由于正则化矩阵为单位
阵，正则化参数对各特征值均进行修正，修正程度均为正则化参数α.由式(１６)可知，岭估计在降低估计方差的同时也引入了偏差，偏差大小与正则化参数和正则化矩阵息息相关，在正则化参数确定时，正则化矩阵影响正则化法对特征值的修正作用，可使正则化法对特征值有选择的修正，进而调节偏差的引入.
由于模型病态，设计矩阵的条件数较大，最大特征值与最小特征值之间相差几个数量级，而正则化参数α多为远小于最大特征值的较小值，由
式(１４)和式(１６)可见对较大特征值的修正不会有效降低估计的方差，反而更多地引入了偏差.因此有选择性地使正则化法仅对较小的特征值进行修正，可有效降低参数估计的方差，同时减少正则化法对偏差的引入.
正则化几何因子
２．２㊀基于小奇异值特征向量构造正则化矩阵
由式(６
)可以看出，参数的估计方差可以看作是各特征值引起的方差分量之和，其中特征值越小，对方差影响越大，引起的方差分量越大.因此，病态性的影响主要体现在较小的特征值对方
差的放大.由于Λi ＝λ２
i ,
特征值对方差的影响可表示为奇异值对标准差的影响
s t a ＝σ０１λ１,σ０１λ２, ,σ０
１
λn
{}
(１７)由式(１７
)可见，奇异值越小，对标准差的影响越大，其标准差分量在集合中占的比重也越大，病态矩阵的奇异值中常会出现多个较小的奇异值,
因此这些较小的奇异值引起的标准差分量之和占据了标准差的绝大部分.依据病态矩阵较大奇异值与较小奇异值差值较大的特性，设定小奇异值
标准差分量之和占标准差比重达到９５％以上时，这些奇异值为影响严重的小奇异值，应对其进行正则
化以缓解对标准差的影响，判定条件可表示为
ðn
i ＝k σ０λi ȡ９５％ðn
i ＝１
σ０
λi (１８)奇异值矩阵S 中,λ１＞λ２＞ ＞λk ＞ ＞λn ,
λk 为判定小奇异值的分界值,
选取小奇异值对应的特征向量构造正则化矩阵
R ＝ðn
i ＝k
G i G T
i
(１９
)构造新正则化矩阵后的正则化方法可表示为
^X －L ２＋α^X T R ^X ＝m i n (２０)^X ＝A T P A ＋αðn
i ＝k
G i G T i ()A T P
L (２１
)２．３㊀构造新正则化矩阵的正则化法方差与偏差
分析
㊀㊀将新正则化矩阵代入式(１４
)可得正则化法的方差矩阵迹为
D ^X ()＝t r σ
２０
A T
P
A ()－
１ðn
i ＝１
G i
Λi G T
i
＋
(([αðn
i ＝k
G i G
T
i
))－
１A T
P
A ＋αðn
i ＝k
G i G T
i
()－
１]＝σ２０ðk －
１i ＝１１Λi ＋ðn
i ＝k Λi Λi ＋α()２éëêêùû
úú(２２)将新正则化矩阵代入式(１６
)得正则化法偏差计算公式
t rb i a s ^X α()()２
＝
ðn
i ＝k
X T
G i α２Λi ＋α()２G T
i X (２３)由式(２２)
可以得出，基于较小奇异值特征向量构造的正则化矩阵，可使正则化法仅对法方程
矩阵较小的特征值进行修正，保持较大特征值不
５
８８
A u g
u s t ２０１６V o l ．４５N o ．８A G C S h t t p :ʊx b ．s i n o m a p
s ．c o m 变，有效降低了参数估计的方差.比较式(１６)与式(２３)可以得出，式(２３)恒小于式(１６)，新正则化法较岭估计法减少了偏差的引入.因此，基于较小奇异值特征向量构造正则化矩阵是理论上可行的正则化矩阵构造方法，可有效降低正则化估计的方差，减少偏差，提高参数估计的稳定性和可靠性.
观测方程的病态性多是由于观测条件较差或过度地参数化所引起的，由于观测信息不足以估计所有参数，造成部分参数的估计方差较大，估计不稳定.对观测方程的系数矩阵进行奇异值分解，分析病态性在特征向量的空间影响可知，病态性对估计方差的影响集中体现在较小的奇异值对方差的放大上，较大的奇异值未对方差造成不良影响.通过选择较小的奇异值对应的特征向量，构造正则化矩阵，可对较小的奇异值进行补充修正，由于奇异值分解将信息不足部分集中体现在较小的奇异值上，对较小奇异值的补充修正可更高效地降低方差，而保留信息充足的较大的奇异值部分可减少信息的损坏，进而减少估计的偏差，因此相比于岭估计法的无差别补充，降低方差更高效，引入的偏差更少.
２．４㊀新正则化法与截断奇异值法的比较分析
截断奇异值法是基于奇异值分解技术的病态方程的一种直接解法，其原理是将较小的奇异值删除，保留较大的奇异值进行解算.设截断参数为k ，将式(５
)中S 较大的奇异值求逆，较小的奇异值取０得
S T ＝D －１
１
k －１ˑk －１
０
０D ２n －k ＋１ˑn －k ＋１
＝０éë
êê
êù
ûúú
ú
(２４
)则病态方程的截断奇异值解法为
^X ＝G S T U T L
(２５)由式(２５
)可得截断奇异值法协方差矩阵迹计算公式为
D ^X ()＝t r σ２０G S T U T U S G T ()＝σ２０ðk －
１i ＝１１Λ
i æèçöø÷(２６)截断奇异值法的偏差计算公式为
b i a s ^X ()＝E ^X ()－X ＝G S T U T U S G T X －X
(２７)t r b i a s ^X ()()２
＝ðn
i ＝k
X T G i G T
i X
(２８
)
比较式(２２)与式(２６)
可以得出，新正则化法与截断奇异值法均是通过处理病态矩阵的小奇异值来降低参数估计的方差；而不同之处在于，新正
则化法是对较小的奇异值进行修正，而截断奇异值法是将较小的奇异值删除.由式(２２)可以看出新正则化法在正则化参数调节下，其改善方差的效果与截断奇异值法相近.比较式(２３)与式(２８
)可知，式(２３)恒小于式(２８)，这表明对小奇异值修正引入的偏差要始终小于删除小奇异值引入的偏差，因而，新正则化法引入的偏差要小于截断奇异值法.此外，由式(２６)和式(２８)可以看出，截断奇异值法在截掉小奇异值后，其方差下降量和偏差引入量也已固定不可调节，而新正则化法可通过正则化参数进行调节，这表明在小奇异值的选择上，新正则化的可选空间更大，稳定性更高.因此，新正则化法相比于截断奇异值法具有一定的优势.３㊀算例分析
３．１㊀算例１
采用文献[２０]
模拟病态问题算例，法方程矩阵的条件数为１．２８５５ˑ１０
５
，严重病态.未知参数真值为X ＝１１１１１[]T ，在观测值中加
入N (０,０．２５)的随机噪声.对法矩阵进行奇异值分解并计算奇异值标准差分量，由图１可以看出,
后两个奇异值引起的标准差分量之和达到标准差的９９％，因此，选取后两个奇异值对应的特征向量构造正则化矩阵.分别采用岭估计法㊁截断奇异值法和构造正则化矩阵的正则化法进行平差解
算.确定正则化参数的方法主要有岭迹法㊁G C V 法和L 曲线法，但针对不同问题，还没有一种方法能够一致地优于另一种，将３种方法确定的正则化参数分别计算出来作为参考，由于岭迹法确定的岭参数具有很大的主观性，在选取岭参数的时候，岭参数值保留在了小数点后一位
.
图１㊀奇异值标准差分量
F i g ．１㊀S t a n d a r dd e v i a t i o n c o m p
o n e n t s ６
８８
第８期
林东方，等：正则化的奇异值分解参数构造法
表１㊀不同方法的参数估计结果T a b ．１㊀R e s u l t s o f d i f f e r e n t e s t i m a t i o n s
参数
真值L S 估计截断奇异值法岭迹法α＝０．４L 曲线法α＝０．５３３９岭估计新正则化法岭估计新正则化法参数值
１
－３．７２３９１．１８３８１．０９５４１．１０７７１．１１０２１．１２６５１３．２９６５０．４３４３０．４４６４０．４４３５０．４４４９０．４４１２１１．４６９９
０．８３１３０．８１７００．８３２５０．８１１５０．８３２２１１０．３６７３
０．６０１２０．７４６２
０．７５２５０．７０６６０．７１５０１－０．１３０６
１．２９１３１．２８４８１．２８６８１．２８５２１．２８８０ðΔX ０
㊀１７．９８８３㊀
１．６０８２
１．３７０６１．３６５９
１．４３２３
１．４２６１
㊀㊀由表１可以得出,
由于设计矩阵的病态性，经典最小二乘估计方差较大
，估计极不稳定，已得不到正确的参数估值.岭估计法㊁新正则化法以及截断奇异值法均可有效改善估计的稳定性，是有效的病态问题解算方法.其中新正则化法和岭估计法相比于截断奇异值法可靠性更高，参数估值更接近于真值.
在正则化参数由相同方法确定
时，新正则化法的估计结果优于岭估计法.由图２和图３可以看出，新正则化法的方差变化曲线与岭估计法的方差变化曲线基本一致，而偏差变化曲线的增幅要小于岭估计法.因此，基于较小奇异值特征向量构造正则化矩阵可使正则化法解算效果优于岭估计法，是一种行之有效的正则化矩阵构造方法.
图２㊀方差变化曲线F i g
．２㊀V a r i a n c e c u r v e s 图３㊀偏差变化曲线F i g
．３㊀B i a s c u r v e s ３．２㊀算例２
采用文献[１２]空间测边网算例，算例中包含９个已知点㊁两个未知点，未知点的模拟真值为(０,０,０)和(７,１０,－５).通过１９个等精度观测确
定两个未知点的坐标.根据观测值构造法方程，参数初值取为(０．５,－０．５
,０．５)与(７．５,９．５,－５．５)时，法矩阵的条件数为４１６４．１５，属于病态问题.分别采用岭估计法㊁截断奇异值法和新正则化法进行平差解算.应用正则化参数确定方法确定正则化参数.对法矩阵进行奇异值分解并计算奇异值标准差分量.由图４可知，后３个较小奇异值引起的标准差分量之和达到标准差的９６％，因此，选取后３个较小的奇异值对应的特征向量构造正则化矩阵.
图４㊀奇异值标准差分量
F i g ．４㊀S t a n d a r dd e v i a t i o n c o m p
o n e n t s ７
８８

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。