第八章正则化网络
8.0 引言
8.1 正则化理论(Regularization Theory)
8.2 Reproducing Kernel Hilbert Space (RKHS)
8.3 正则化网络(Regularization Networks)、SVM 和SRM
8.0 引言
模式识别中的“学习”的过程通常是ill-posed 问题：
一般没有唯一解；
复杂程度高的解很多时候是不稳定的(overfitting)。
8.0 引言
解决的办法：
Ockham’s razor （定性）;
正则化方法（定量）：
对函数集的复杂度加惩罚（与SVM 的思想类似）。
人工神经网络的学习就是ill-posed 问题：
正则化网络能够在一定程度上克服overfitting 问题。
8.1 正则化理论简介
8.1 正则化理论简介
问题的提出：
解方程：
解的稳定性：
y 的小扰动，是否对应x 的小扰动？
,
y Ax =.X x ∈.
Y y ∈.
:Y X A →算子
赋范空间
.
)(y y x x A ∆+=∆+小
小？
8.1 正则化理论简介
上述问题可表示为，求：
一般的有逆问题求f ：
y
y A A =−)(11−A Y
F A Hibert Y F Y y F f y Af →∈∈=:,，算子
空间是和
逆问题Well-posed 与ill-posed ：
Hadamard 关于well-posed 问题的定义： 存在性：对每个方程都有解f 。
唯一性：保证对每个方程都有唯一解f 。
稳定性：是连续映射，保证了解的稳定
性。y 的小扰动，对应f 的小扰动。
Y y ∈Y y ∈1
−A 不是well-posed 就称为ill-posed 。Hadamard ：y 总会有误差，ill-posed 问题不可解。
正则化理论(Tikhonov 1943,1963)：
有一大类问题，在Hadamard 意义下是ill-posed 问题，但可以出一个稳定的近似解。
Tikhonov 的思想：
不在整个空间上求解，把解限制在一个子集上求解，可能得到稳定解。
Y
y H f y Af ∈∈=,,f X F H ⊂8.1 正则化理论简介
Tikhonov 意义下的well-posed 问题：
存在一个集合满足：
对任意，都存在属于的解。
中的解是唯一的。
中的解是稳定的：限制在集合上是连续的。
与Hadamard 意义下well-posed 定义的联系：
二者等价如果：
F H ⊂Y H A y ⊂∈)(H H H 1−A Y H A ⊂)(Y
H A F H ==)(8.1 正则化理论简介
什么样的可能满足有稳定解的条件？
要求：限制在集合上连续。
定理（逆算子的稳定性）：
如果在紧集连续，则在上也连续。
怎样？
直接几乎不可能。
正则化方法：变为根据先验知识增加约束条件，称为假设空间。
H 1−A )(H A A X H ⊂1
−A )
(H A M H 8.1 正则化理论简介
例：矩阵方程：
等价问题：
,
y Ax =,n x ℜ∈,n y ℜ∈.
)(*n n ij a A =不可逆，在Hadamard 意义下是ill-posed 问题。
A )(min ˆ2
y Ax x
x
−=8.1 正则化理论简介
正则化方法：求，增加约束条件
最小化
，由Lagrange 乘子理论：
y
A I A A A y A y y A A A L T T 1*2
*2
**)())(()(−+=+−=λλ.)(ˆ1*y A I A A y A x
T T −+==λλ正则化
解：
µ
≤y A
*
2
*)(y
y A A −y A x
*
ˆ=
正则化方法与Ockham’s razor:
Ockham’s razor: “entities should not be multiplied beyond necessity ”.
正则化：
)).((min ˆ2
f y Af x
x
Φ+−=λλTrade off
Φ−)
(2
f y
Af 误差。
约束条件
根据先验知识，选择不同的假设空间，可以得到不同的正则化解。
我们希望解是“好的、光滑的”：
如：}
0,)(:{>≤Φ∈=µµf F f H 假设空间∫
∫
∞
∞
−∞
∞−=
Φ=
Φdx
x f f dx
x f f 2''22'1)()()()(8.1 正则化理论简介
实值函数的Fourier 变换和逆变
换：
Parseva 定理：1L f ∈∫
∫∞
∞
−∞
∞
−−=
=
ω
ωπ
ωωωd e
f x f dx
e x
f f x
j x j )(21
)()()(∫
∫
∞
∞
−∞
∞
−=
ω
ωπ
d f dx x f 2
2)(21
)(8.1 正则化理论简介
∫
∫
∫∫∫
∫
∫∫===
=Φ===
=Φ∞∞
−∞
∞−ω
ωωπ
ωω
ωπ
ωωωπ
ω
ωωπ
ωω
ωπ
ωωωπ
d K f d f d f dx x f f d K f d f d f dx x f f )
()
(21
1)(21)(21
)()()
()
(21
1)(21)(21)()(22
42
2
4
2''212
22
2
2
2'18.1 正则化理论简介
核函数：对称正函数的Fourier 逆变
换称为核函数。
如：)(ωK ∞→→≥x x K x K ,0)(,0)()
()()()/()sin()(11
)(21)()()(/1)(12/)(/1)(2/)(2
||2
/
2/4
3
2
2
2
2
2
Ω−−Ω+=⇔Ω=+=
⇔==⇔==⇔−==⇔−=−−−ωωωπωωωω
ωωωγσωσU U K x x x K K e x K e K e x K K x x K K x x K x x 8.1 正则化理论简介
正则化方法解决函数逼近问题：
样本：
待求函数：
约束条件：
).,(,),,(),,(2211n n y x y x y x L 0
,)
()
(212
>≤∫
µµωωωπ
d K f ∑=−n
i i i x f y f 1
2
))((，最小化
8.3 正则化网络,SVM 和SRM
定理：( Duchon,1977; Meinguet,1978; Wahba, 1977;  Madych and Nelson, 1990; Poggio and Girosi, 1989; Girosi, 1992)    假设是核函数的Fourier 逆变换。则最小化以下泛函的函数∑∫
∑==−=+−n
i i i n
i i
i
x x K x f d K f y x f 1
1
2
)
()(.
)
()(21)
)((αωωωπ
λ
λ有
)
(x f λ)(ωK )(x K 8.1 正则化理论简介
非线性问题的正则化：
正则化并非仅局限于解线性方程；
正则化思想可以应用于解非线性方程、解最优化问题等等。
对于这些问题，理论上严格分析的难度大大增加，但从应用角度出发，正则化的方法可以原封不动地应用。
8.2 重构核Hilbert 空间(RKHS)
8.2 重构核Hilbert 空间(RKHS)
Reproducing Kernel Hilbert Space (RKHS)是一种非常重要的数学工具，在与我们相关的领域，如小波分析、人工神经网络、SVM ，特别是在最近较为热门的Kernel machine 中都有相当的应用。
8.2 重构核Hilbert 空间(RKHS)
RKHS 在本章的作用在于，它揭示了一类函数表示问题，为什么在SVM 、RBF 网络中都出现了几乎相同的核函数，以及它们之间的内在联系。
8.2 RKHS
RKHS 定义：
函数空间是Hilbert 空间，上内积为：
若存在核函数且满足：
叫做重构核，称为重构核Hilbert 空间(RKHS)。
H H .
))(),((),(x x g x f g f =),,(y x K ,))(),,(()(y y f y x K x f =.
f ∀H ),(y x K H x K ∈⋅),(.x ∀
8.2 RKHS
RKHS 的例子：
连续小波变换诱导的RKHS:
正变换：
正则化可理解为一种罚函数法逆变换：
.
)(
)()(),(2
1∫−==−dx a
b
x x f a
f T b a F wav ψwavelets
.)(),(1)(2
1
∫∫−=−dadb a
b x b a F a C x f ψψ归一化常数
8.2 RKHS
.
)()(),(1),(21
21
∫∫
∫−′′−′′′′′=−−dx a
b x a b x a b d a d b a F a C b a F ψψψ
逆变换代入正变换：
重构核：
.)()(
),;,(2
1∫−′′−=′′−dx a b
x a b x a
b a b a K ψψRKHS 的内积：
.),(),(1
)),(),,((2
1
,dadb b a G b a F a C b a G b a F b a ∫∫
−=ψ
.
)),(),,;,((),(,b a b a F b a b a K b a F ′′′′′′=重构：
8.2 RKHS
构造重构核函数：
为什么构造重构核？
重构核函数在正则化网络、SVM 中有重要作用。
构造方法：
用线性无关的函数序列和正数序列构造：
（见下一节）
L ),(),(21x x φφL ,,21λλ.
)()(),(∑=n
n n n y x y x K φφλ重构核：
8.2 RKHS
内积：
∑=n
n n x x f ),
()(φα∑=n
n n x x g ),
()(φβ∑
=n
n
n
n x g x f .))(),((λβα对
满足内积条件：
∑≥=n n
n
x f x f .
0))(),((2λα.
0>n λ重构：
.)()()())(),,((∑∑
===n
n n n
n n
n n x f x x y f y x K φαλαφλ8.2 RKHS
例子：
上的RKHS:]2,0[π).
),2cos(),2sin(),cos(),sin(,1()}({0L x x x x x n n =≥φ.cos cos sin sin ),(1
1
0∑∑≥≥′++=n n
n n ny nx ny nx y x K λλλ,0>n λ.0>′n
λ满足：
的任意是重构核函
数。
),(y x K 8.2 RKHS
一种特殊情况：
,n n
λλ′=′L
,2,1=n .
)
(cos cos cos sin sin ),()(01
1
0∑∑∑∑∞
=−∞
=−≥≥≥=
−=′++=n n y x in n n n n n
n n e c y x n ny nx ny nx y x K λλλλ    <≥=−.
02
.02
n n c n n n λλ

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。