２０１９年１２月
第３７卷第６期
西北工业大学学报
ＪｏｕｒｎａｌｏｆＮｏｒｔｈｗｅｓｔｅｒｎＰｏｌｙｔｅｃｈｎｉｃａｌＵｎｉｖｅｒｓｉｔｙ
Ｄｅｃ．Ｖｏｌ．３７２０１９
Ｎｏ．６
ｈｔｔｐｓ：／／ｄｏｉ．ｏｒｇ／１０．１０５１／ｊｎｗｐｕ／２０１９３７６１３２０
收稿日期：２０１８⁃１０⁃２８
基金项目：国家自然科学基金（１１５７１０１１）资助
作者简介：张重阳（１９９４ ），女，西北大学硕士研究生，主要从事复杂网络及图模型研究㊂
基于图模型的Ｈｕｂ网络的结构学习
张重阳１，２，３，郭骁１，张海１
１．西北大学数学学院，陕西西安㊀７１０１２７；２．中国西安卫星测控中心，陕西西安㊀７１００４３；３．宇航动力学国家重点实验室，陕西西安㊀７１００４３；æèçöø
÷摘㊀要：聚焦于具有Ｈｕｂ的网络结构学习问题㊂在邻域选择框架下，基于Ｈｕｂ网络的特点在模型中加入Ｌ１和Ｌ２正则子，从而分别引入网络的稀疏性先验和Ｈｕｂ网络的组先验，使所得网络更容易产生Ｈｕｂ㊂对于所得模型，采用坐标下降法求解㊂模拟数据和实际数据实验表明所提模型在参数估计㊁模型选择方面的有效性和实用性，并说明了调控参数对模型的影响㊂关㊀键㊀词：图模型；网络；Ｈｕｂ；邻域选择
中图分类号：Ｏ２１２．４㊀㊀㊀文献标志码：Ａ㊀㊀㊀文章编号：１０００⁃２７５８（２０１９）０６⁃１３２０⁃０６㊀㊀近年来，图模型［１］成为人工智能㊁统计机器学习和生物信息等领域的研究热点㊂图模型是一类用图来表示随机变量联合概率分布的模型，它被广泛应用于建立各种相互作用的单元之间形成的网络结构，如基因调控网络㊁蛋白质网络㊁社交网络等㊂图模型的构成要素为节点和边，其中节点与随机变量对应，边与变量之间的条件依赖关系对应㊂具体的，
用二元组Ｇ＝（Ｖ，Ｅ）表示一个图，其中Ｖ代表节点，Ｅ代表连接节点的边的集合㊂根据边是否有方向，图模型分为无向图和有向图㊂本文聚焦于从数据中估计网络的结构，利用ｎ个服从Ｎｐμ，ð()的样
本
估计精度矩阵㊂为了构造可解释的图，众多学者提出将正则化思想应用到图模型的模型选择和参数估计问题中㊂Ｍｅｉｎｓｈａｕｓｅｎ等［２］提出了邻域选择方法，将图模型的正则化问题转化为求解ｐ个Ｌ１正则化［３］问题，证明了对于稀疏的高维图模型，邻域选择的变量选择具有一致性㊂Ｙｕａｎ等［４］提出了一种罚似然函数方法，称为ＧｒａｐｈｉｃａｌＬａｓｓｏ，使得精度矩阵转化为正定矩阵，可以同时进行模型选择和参数估计㊂Ｆｒｉｅｄｍａｎ等［５］提出了分块坐标下降法来求解ＧｒａｐｈｉｃａｌＬａｓｓｏ㊂
模型加入Ｌ１罚项从贝叶斯角度来讲等价于假
设每条边所对应参数分布相同，且独立于其他所有
边，说明图中大多数节点边数大致相等㊂这在真实网络中是不现实的㊂Ｂａｒａｂáｓｉ等［６］研究发现大多数真实网络为无标度网络，节点度分布服从幂律分布，大部分节点度很小，存在度非常大的少数节点，这种度非常大的节点称为中心点（Ｈｕｂ）㊂因此，研究有中心点的网络结构学习有实际意义㊂
本文聚焦于具有Ｈｕｂ网络的结构学习问题㊂在邻域选择框架下，为了使所得网络具有Ｈｕｂ，本文采
用Ｅｌａｓｔｉｃｎｅｔ［７］罚项㊂Ｅｌａｓｔｉｃｎｅｔ罚项兼有Ｌａｓｓｏ回归和岭回归的优点，既能达到变量选择的目的，又具有很好的组效应，从而使所得网络更容易产生Ｈｕｂ㊂对于所得正则化模型，采用坐标下降法求解模型㊂最后，模拟数据实验和实际数据实验均说明所提方法有效㊁实用㊂
１㊀基于Ｅｌａｓｔｉｃｎｅｔ的邻域选择模型
１．１㊀邻域选择方法（ｎｅｉｇｈｂｏｒｈｏｏｄｓｅｌｅｃｔｉｏｎ）
高斯图模型［８］是基于高斯分布假设的无向图模型㊂假设Ｘ＝（Ｘ１， ，Ｘｐ） Ｎｐμ，Σ()，其中μ为均值，Σ为协方差矩阵㊂Θ＝（θｉｊ）１ɤｉ，ｊɤｐ＝Σ－１表示协方差矩阵的逆矩阵，称为精度矩阵，则由马尔科夫性质，θｉｊ＝０表示变量Ｘｉ与Ｘｊ条件独立，同时对应节
第６期张重阳，等：基于图模型的Ｈｕｂ网络的结构学习
点ｉ和节点ｊ之间无边相连㊂
Ｘ＝（Ｘ１， ，Ｘｐ） Ｎｐμ，Σ()，则由多元正态分布的性质得给定除Ｘｉ以外的变量Ｘ－ｉ，Ｘｉ的条件分布为
Ｘｉ｜Ｘ－ｉ Ｎ（Ｘ－ｉθｉ，σ２ｉ）
式中，θｉ＝Σ－ｉ，－ｉ()－１
Σ－ｉ，ｉɪＲｐ－１，σ２ｉ
＝Σｉ，ｉ－Σ－ｉ，ｉΣ－ｉ，－ｉ()
－１
Σ－ｉ，ｉ，那么自然地可将Ｘｉ表示为Ｘ－ｉ
的线性函数，即
Ｘｉ＝Ｘ－ｉθｉ＋εｉ
（１）
式中，εｉ Ｎ（０，σ２ｉ）㊂令Θ＝Σ－１，则由分块矩阵求逆公式得
θｉ，ｉ＝σ－２ｉ，θ－ｉ，ｉ＝－σ－２ｉθｉ
因此，（１）式中回归系数向量θｉ中的非零元素与精度矩阵中对应列中的非零元素一致㊂假设有服从
Ｎ０，Σ()的ｎ个样本，即可估计网络的结构㊂经典的估计方法如最大似然估计和最小二乘估计所得参数不是稀疏的，因而往往对应完全连接的图㊂这样的网络并不能有效研究变量之间的相互关系，且仅限于样本个数ｎ大于维数ｐ的情形㊂当ｐ远大于ｎ时，通过引入稀疏性先验来降低参数的自由度，使得参数可估计，而且使所得网络是稀疏的，更具有可解释性㊂
关于高维高斯图模型，Ｍｅｉｓｈａｕｓｅｎ和
Ｂüｈｌｍａｎｎ基于（１）式提出了邻域选择方法，即用Ｌ１正则化方法估计（１）式中参数，得到每个节点的邻
居节点，如下
＾θ
ｉ＝ａｒｇｍｉｎθｉ
Ｘｉ－θｉＸ－ｉ ２＋λ θｉ １式中，为了方便，本文后面Ｘｉ表示的都是第ｉ个变量的ｎ个样本组成的向量，θｉ是变量Ｘ－ｉ的系数㊂但是这样得到的精度矩阵不具有对称性，为此，在ｐ个Ｌ１回归之后，需要将最终结果对称化㊂具体的，当θｉｊʂ０且θｊｉʂ０时，认为节点ｉ和节点ｊ有边连接，这称为ａｎｄ⁃ｒｕｌｅ；当θｉｊʂ０或θｊｉʂ０时，认为节点ｉ和节点ｊ有边连接，这称为ｏｒ⁃ｒｕｌｅ
㊂
１．２㊀Ｈｕｂ网络的估计如前言所述，Ｈｕｂ网络的特点是有少数节点度很大，因此，Ｈｕｂ网络对应的精度矩阵具有潜在组结构，每一行或每一列为一组㊂而基于Ｌ１的邻域选择方法并不具有组效应㊂为了使所得网络具有Ｈｕｂ，在基于Ｌ１的邻域选择框架下，又引入Ｒｉｄｇｅ罚项，
特别地，模型如下
＾θｉ＝ａｒｇｍｉｎθｉ
Ｘｉ－θｉＸ－ｉ ２＋λ２ θｉ ２２
＋λ１ θｉ １（２）
式中，θｉ是变量Ｘ－ｉ的ｐ－１维系数向量，其中每个分量是否为０决定其余节点与当前节点是否相连㊂λ１和λ２是调控参数㊂值得注意的是，（２）式中的正则项即为Ｅｌａｓｔｉｃｎｅｔ［７］正则项㊂Ｒｉｄｇｅ罚项的引入使得每一个节点对应的边自然地成为一组，Ｌ１罚项的引入使得组内具有稀疏性㊂且并没有提前假设哪个节点是Ｈｕｂ，由（２）式可以自动估计出网络的结构，从而度较大的几个节点即为网络的Ｈｕｂ㊂对于（２）式的求解，本文采用坐标下降法［９］㊂坐标下降算法的基本思想是依照某种固定顺序，在每步迭代中，保持其余系数不变，只更新一个坐标系数，更新完所有坐标后
进入下一步迭代，直至收敛㊂对于（２）式，每步更新均有显式解，故算法是高效的㊂
２㊀实㊀验
本节分别用真实网络数据和生成的２种网络比较Ｅｌａｓｔｉｃｎｅｔ（ａｎｄ⁃ｒｕｌｅ）㊁Ｅｌａｓｔｉｃｎｅｔ（ｏｒ⁃ｒｕｌｅ）㊁ＧｒａｐｈｉｃａｌＬａｓｓｏ㊁ＮｅｉｇｈｂｏｒｈｏｏｄＳｅｌｅｃｔｉｏｎ（ａｎｄ⁃ｒｕｌｅ）和ＮｅｉｇｈｂｏｒｈｏｏｄＳｅｌｅｃｔｉｏｎ（ｏｒ⁃ｒｕｌｅ）模型在参数估计㊁模型选择方面的效果，并说明调控参数对模型的影响㊂
２．１㊀模拟实验
为了评估模型的效果，考虑图模型的邻接矩阵
Ａ的２种生成机制㊂第一种生成带Ｈｕｂ点的网络㊂先随机选取Ｈｕｂ节点，令邻接矩阵中相关的行和列的元素等于１的概率是０．８，即每个节点与Ｈｕｂ点
连接的概率是０．８㊂接下来令Ａｉｊ＝Ａｊｉ＝１（ｉ＜ｊ）的概率是０．０２，即２个节点有边的概率是０．０２，Ａｉｊ与Ａｊｉ为邻接矩阵Ａ的元素，Ａｉｊ＝Ａｊｉ＝１表示节点ｉ和节点ｊ
有边相连㊂Ａｉｊ＝Ａｊｉ＝０表示节点ｉ和节点ｊ无边相连㊂第二种生成无标度网络㊂一个节点的度
是ｋ的概率服从幂律分布Ｐ（ｋ） ｋ－α，根据Ｂａｒａｂáｓｉ等［１０］提出的机制：增长性和优先连接性，直接生成邻接矩阵㊂对于生成的每个邻接矩阵Ａ，为了生成精度矩阵Θ，先构建一个对称矩阵Ｃ，当Ａｉｊ＝０时，Ｃｉｊ＝０，即节点ｉ和节点ｊ不相连，当Ａｉｊ＝１时，Ｃｉｊ的取值来自均匀分布Ｕ［１，２］，也可以取其他值㊂最后，令精度矩阵Θ＝Ｃ＋［０．１－λｍｉｎ（Ｃ）］Ｉｐ，λｍｉｎ（Ｃ）是Ｃ的最小特征值，Ｉｐ是ｐˑｐ的单位矩阵以确保Θ的特征值是正数㊂
按照第一种机制生成３组带Ｈｕｂ点的网络，样本个数ｎ都是２００，变量ｐ的个数分别是１００，２５０，
５００，对应Ｈｕｂ点的个数分别是３，５，１０㊂按照第二㊃
１２３１㊃
西㊀北㊀工㊀业㊀大㊀学㊀学㊀报第３７卷
种机制生成３组无标度网络㊂样本个数ｎ都是２００，变量ｐ的个数分别是１００，２５０，５００，对应Ｈｕｂ点的个
数分别是
３，５，１０㊂
图１㊀带Ｈｕｂ点的网络３组模拟结果
正则化一个5 5随机矩阵㊀㊀比较生成网络和用模型估计得到网络的一些指标衡量模型的效果㊂第一类带Ｈｕｂ点的网络实验结果如图１所示㊂由图１的结果可以看出Ｅｌａｓｔｉｃ
ｎｅｔ正则化模型对于带Ｈｕｂ点的网络的估计效果比其他３种模型都要好㊂第二类无标度网络实验结果如图２所示，由结果可以看出Ｅｌａｓｔｉｃｎｅｔ正则化模型对Ｈｕｂ点的估计效果比其他模型都好㊂
２．２㊀真实数据实验
本节将本文方法应用到肺癌的基因数据集，以检验模型的效果㊂这些原始数据可在ＮＣＢＩ（ｎａｔｉｏｎａｌｃｅｎｔｅｒｆｏｒｂｉｏｔｅｃｈｎｏｌｏｇｙｉｎｆｏｒｍａｔｉｏｎ）中下载㊂该数据集包含了７１２９个基因表达，这些基因是由肺癌患者和普通样本组成的９６个样本，本文随机选取７９个基因㊂研究表明Ｈｕｂ基因在肺癌基因调控网络中起着重要作用，特别是它们可能是肺癌进展的潜在生物标志物㊂因此，分析每个方法所发现的Ｈｕｂ是有意义的㊂让调控参数λ在一定范围内变动并拟合模型，记录在该范围内每个方法对应的每个基因度的总和㊂将提出的Ｅｌａｓｔｉｃｎｅｔ正则化模型应用到肺癌的基因数据㊂选择度排序为前１５
㊃
２２３１㊃
第６期张重阳，等：基于图模型的Ｈｕｂ网络的结构学习
个基因作为每种方法选择的潜在的Ｈｕｂ基因，结果如表１所示㊂ＧＬａｓｓｏ表示ＧｒａｐｈｉｃａｌＬａｓｓｏ，ＮｅｉＳｅｌ
（ａｎｄ）表示ＮｅｉｇｈｂｏｒｈｏｏｄＳｅｌｅｃｔｉｏｎ（ａｎｄ⁃ｒｕｌｅ），ＮｅｉＳｅｌ（ｏｒ）表示ＮｅｉｇｈｂｏｒｈｏｏｄＳｅｌｅｃｔｉｏｎ（ｏｒ⁃ｒｕｌｅ），Ｅｌｎｅｔ（ａｎｄ）表示Ｅｌａｓｔｉｃｎｅｔ（ａｎｄ⁃ｒｕｌｅ），Ｅｌｎｅｔ（ｏｒ）表示Ｅ⁃ｌａｓｔｉｃｎｅｔ（ｏｒ⁃ｒｕｌｅ）㊂
图２㊀无标度网络的３组模拟结果
表１　肺癌基因的选取结果
ＧＬａｓｓｏＮｅｉＳｅｌ（ａｎｄ）ＮｅｉＳｅｌ（ｏｒ）Ｅｌｎｅｔ（ａｎｄ）Ｅｌｎｅｔ（ｏｒ）
Ｈ２ＡＦＺ㊃ＳＬＣ２Ａ１㊃ＳＬＣ２Ａ１㊃Ｈ２ＡＦＺ㊃Ｈ２ＡＦＺ㊃
ＭＴＨＦＤ２㊃ＧＡＰＤＨ㊃ＤＰＹＳＬ２㊃ＭＴＨＦＤ２㊃ＭＴＨＦＤ２㊃
ＤＰＹＳＬ２㊃ＲＰＳ２３ＲＥＥＰ５㊃ＤＰＹＳＬ２㊃ＤＰＹＳＬ２㊃
ＲＥＥＰ５㊃ＬＤＨＡ㊃ＧＡＰＤＨ㊃ＰＳＭＢ５㊃ＰＳＭＢ５㊃
ＳＮＲＰＢ㊃ＲＥＥＰ５㊃ＬＤＨＡ㊃ＲＥＥＰ５㊃ＲＥＥＰ５㊃
ＳＬＣ２Ａ１㊃ＦＳＣＮ１㊃Ｈ２ＡＦＺ㊃ＳＮＲＰＢ㊃ＳＮＲＰＢ㊃
ＭＣＭ６㊃ＤＰＹＳＬ２㊃ＣＯＸ５ＡＳＬＣ２Ａ１㊃ＳＬＣ２Ａ１㊃
ＰＳＭＢ５ＣＯＸ５ＡＭＣＭ６㊃ＣＴＳＨＣＴＳＨ
ＰＣＮＡ㊃ＵＳＰ７㊃ＭＴＨＦＤ２ＬＤＨＡ㊃ＬＤＨＡ㊃
ＥＩＦ４Ａ３ＳＦ３Ｂ２ＰＳＭＢ５ＴＹＭＳ㊃ＴＹＭＳ㊃
ＬＤＨＡ㊃ＡＬＤＯＡ㊃ＡＬＤＯＡ㊃ＧＡＰＤＨ㊃ＧＡＰＤＨ㊃
ＴＹＭＳ㊃ＰＳＭＢ５ＰＣＮＡ㊃ＰＣＮＡ㊃ＰＣＮＡ㊃
ＣＯＸ５ＡＭＣＭ６㊃ＰＩＫ３Ｒ１㊃ＭＣＭ６㊃ＭＣＭ６㊃
ＳＰＴＢＮ１㊃ＰＩＫ３Ｒ１㊃ＣＹＢ５ＡＥＩＦ４Ａ３ＥＩＦ４Ａ３
ＰＯＬＲ２ＧＣＹＢ５ＡＥＩＦ４Ａ３ＲＦＴＮ１ＲＦＴＮ１
㊃３２３１㊃
西㊀北㊀工㊀业㊀大㊀学㊀学㊀报第３７卷
㊀㊀通过查阅文献发现，其中大部分基因已被证实与肺癌相关，用黑实心圆圈表示这些基因㊂从表１可以看出Ｅｌｎｅｔ（ａｎｄ）和Ｅｌｎｅｔ（ｏｒ）选出的１５个Ｈｕｂ基因中有１２个已经在相关文献中被证实，多于其余所有方法㊂从而说明在该数据集上，Ｅｌａｓｔｉｃｎｅｔ正则化模型表现更好㊂
图３㊀调控参数对模型的影响模拟结果
２．３㊀调控参数实验
Ｅｌａｓｔｉｃｎｅｔ的罚函数为岭回归罚函数和Ｌａｓｓｏ罚函数的凸线性组合，即α｜β｜１＋（１
－α）｜β｜２，０ɤαɤ１㊂α＝０时，Ｅｌａｓｔｉｃｎｅｔ即为岭回归；当α＝１时，Ｅｌａｓｔｉｃｎｅｔ即为Ｌａｓｓｏ回归㊂α表示的是Ｌ１范数惩罚项所占比例，实验中通过改变α的值控制调控参数，模拟实验中α的取值为０．００１㊂为了说明调控参数对模型的影响，改变模拟实验中α的值，生成ｎ＝２００，ｐ＝１００，Ｈｕｂ点的个数为３的带Ｈｕｂ点的网络，α分别取０．１，０．０１和０．０００５㊂结果如图３所示㊂可以看出α＝０．１时，模型的效果差异并不很明显，α＝０．０１时，只有估计Ｈｕｂ的边数这一组的效果有明显差异，α＝０．０００５时，模型的效果有明显差异，Ｅｌａｓｔｉｃｎｅｔ正则化模型对Ｈｕｂ点的估计效果比其他模型都好㊂
㊃４２３１㊃

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。