(19)中华人民共和国国家知识产权局
(12)发明专利说明书
(10)申请公布号 CN 113902131 A
(43)申请公布日 2022.01.07
(21)申请号 CN202111472023.9
(22)申请日 2021.12.06
(71)申请人 中国科学院自动化研究所
    地址 100190 北京市海淀区中关村东路95号
(72)发明人 骆正权 王云龙 孙哲南
(74)专利代理机构 11662 北京华夏泰和知识产权代理有限公司
    代理人 李永叶
(51)Int.CI
      G06N20/00(20190101)
      G06K9/62(20060101)
                                                                  权利要求说明书 说明书 幅图
(54)发明名称
      抵抗联邦学习中歧视传播的节点模型的更新方法
(57)摘要
      本公开涉及一种抵抗联邦学习中歧视传播的节点模型的更新方法，上述方法包括：获取数据节点对应的节点模型；计算数据节点的训练数据对应的类别特征分布均值和数量比率，根据节点模型、类别特征分布均值和数量比率，计算分布加权聚合模型；根据节点模型和分布加权聚合模型计算数据节点对应的正则化项；计算数据节点对应的类别特征分布方差，根据类别特征分布均值和类别特征分布方差，使用跨域特征生成器计算数据节点所需的特征分布层面对应的类别均衡补充项；根据分布加权聚合模型、正则化项和类别均衡补充项更新节点模型。采用上述技术手段，解决现有技术中，缺少解决联邦学习中歧视传播的方案的问题。
法律状态
法律状态公告日
法律状态信息
法律状态
2022-01-25
实质审查的生效
实质审查的生效
2022-01-07
公开
公开
2022-03-08
授权
发明专利权授予

权 利 要 求 说 明 书


1.一种抵抗联邦学习中歧视传播的节点模型的更新方法,其特征在于,包括:

获取数据节点对应的节点模型;

计算所述数据节点的训练数据对应的类别特征分布均值和数量比率,根据所述节点模型、所述类别特征分布均值和所述数量比率,计算分布加权聚合模型;

根据所述节点模型和所述分布加权聚合模型计算所述数据节点对应的正则化项;

计算所述数据节点对应的类别特征分布方差,根据所述类别特征分布均值和所述类别特征分布方差,使用跨域特征生成器计算所述数据节点所需的特征分布层面对应的类别均衡补充项;

根据所述分布加权聚合模型、所述正则化项和所述类别均衡补充项更新所述节点模型。



2.根据权利要求1所述的方法,其特征在于,计算所述数据节点对应的类别特征分布均值、数量比率和类别特征分布方差,包括










其中,
为类别特征分布均值,
为数量比率,
为类别特征分布方差,i为所述数据节点的序号,j为所述数据节点的样本数据的类别的序号,所述
节点模型包括:特征提取模块f
E
和预测模块f
P
,第i个节点模型的特征提取模块f
E
和预测模块f
P
分别对应的模型参数为
和
,
为第i个数据节点的第j种样本数据的输入向量,
为第i个数据节点的第j种样本数据的输出向量,f()为所述节点模型对应的函数,l()为所述节点模型对应的损失函数,n
i
为第i个节点模型所具有的所有的样本数据,T表示总共训练的轮次,
是节点i的训练数据集,
表示选取的样本数据都属于样本类别c下的数据,样本数据有多个样本类别。



3.根据权利要求1所述的方法,其特征在于,根据所述节点模型、所述类别特征分布均值和所述数量比率,计算分布加权聚合模型,包括:

根据所述类别特征分布均值和所述数量比率计算所述数据节点与其他数据节点之间对应的分布相似度距离;

从多个数据节点对应的多个节点模型中,选出第一预设数量的节点模型,根据所述分布相似度距离和所述第一预设数量的节点模型,计算分布加权聚合模型。




4.根据权利要求3所述的方法,其特征在于,根据所述类别特征分布均值和所述数量比率计算所述数据节点对应的分布相似度距离,包括:

定义
为数据节点P的第i种样本数据到数据节点Q第j种样本数据的距离;

定义f
ij
满足如下公式:




通过如下公式计算数据节点P的第i种样本数据到数据节点Q的j种样本数据对应的分布相似度距离EMD
PQ
:


;

其中,n
P
和n
Q
分别为第P个数据节点和第Q个数据节点所具有的所有的样本数据,
为第Q个数据节点的第j种样本数据的数量比率,
第P个数据节点的第i种样本数据的数量比率,
为第P个数据节点的第i种样本数据的类别特征分布均值,
为第Q个数据节点的第j种样本数据的类别特征分布均值,|| ||表示求二范数运算。




5.根据权利要求3所述的方法,其特征在于,从多个数据节点对应的多个节点模型中,选出第一预设数量的节点模型,根据所述分布相似度距离和所述第一预设数量的节点模型,计算分布加权聚合模型,包括:

通过如下公式计算第i个数据节点对应的分布加权聚合模型
:




其中,λ为常数,θ
i
为第i个节点模型对应的模型参数,θ
j
为第j个节点模型对应的模型参数,EMD
ji
为第i个数据节点与第j个数据节点对应的分布相似度距离,K为第一预设数量。



6.根据权利要求1所述的方法,其特征在于,根据所述节点模型和所述分布加权聚合模型计算所述数据节点对应的正则化项,包括:

通过如下公式计算第i个数据节点对应的在第t+1次更新中的正则化项
:




其中,
为第i个数据节点对应的分布加权聚合模型,
为第i个数据节点对应的第t+1次更新中的节点模型,
为第i个数据节点对应的第t次更新中的节点模型,||||表示求二范数运算。



7.根据权利要求1所述的方法,其特征在于,根据所述类别特征分布均值和所述类别特征分布方差,使用跨域特征生成器计算所述数据节点对应的类别均衡补充项,包括:

通过如下公式计算第i个数据节点对应的所述类别均衡补充项
:




其中,z为除第i个数据节点之外的其他数据节点的输入向量的特征向量,y为除第i个数据节点之外的其他数据节点的输出向量,l
i
()为第i个数据节点的节点模型对应的损失函数,
为第i个数据节点的关于输出向量y的类别特征分布均值,
为第i个数据节点的关于输出向量y的类别特征分布方差,K为第一预设数量,第i个节点模型的预测模块f
P
对应的模型参数为
,f
P
()分别为所述节点模型的预测模块f
P
对应的函数,
表示y满足
分布,
表示Z满足
分布,N()为正态分布,E[ ]表示数据点样本服从真实分布时的实际均值,Ê表示根据部分数据点样本计算得到的估计均值,ε是所述跨域特征生成器的参数,数据点样本包括:特征向量z和输出向量y。



8.根据权利要求1所述的方法,其特征在于,获取数据节点对应的节点模型之后,所述方法还包括:

初始化所述节点模型,并确认每一个所述数据节点对应的节点数据,执行如下循环:

步骤一:确定当前轮次,在所述当前轮次小于等于第一预设轮次时,执行步骤二,在所述当前轮次大于第一预设轮次时,执行步骤八;

步骤二:从所有的数据节点中确定第二预设数量的数据节点对应的节点模型;

步骤三:计算每一个数据节点对应的类别特征分布均值和数量比率,根据每一个数据节点对应的节点模型、类别特征分布均值和数量比率,计算每一个数据节点对应的分布加权聚合模型;

步骤四:使用每一个数据节点对应的所述分布加权聚合模型更新每个数据节点对应的节点模型;

步骤五:根据每一个数据节点对应的节点模型和分布加权聚合模型计算每一个数据节点对应的正则化项;

步骤六:计算每一个数据节点对应的类别特征分布方差,根据每一个数据节点对应的类别特征分布均值和类别特征分布方差,使用每个数据节点对应的跨域特征生成器计算每一个数据节点对应的类别均衡补充项;

步骤七:获取每个数据节点对应的跨域特征生成器所对应的生成器数据,根据每一个数据节点
对应的节点数据和生成器数据,使用模型优化公式更新每个数据节点对应的节点模型,并使用所述当前轮次加一的数值更新所述当前轮次,在所述当前轮次小于等于所述第一预设轮次时,执行步骤二,在所述当前轮次大于所述第一预设轮次时,执行步骤八,其中,更新每个数据节点对应的节点模型的次数为第二预设轮次;

步骤八:根据生成器优化公式更新每个数据节点对应的跨域特征生成器,结束循环。



9.根据权利要求8所述的方法,其特征在于,所述模型优化公式:











其中,
为第i个数据节点对应的第t+1次更新中的节点模型,
为第i个数据节点对应的第t次更新中的节点模型,η为所述节点模型的学习率,
是对
求
的导数,
是关于
的优化函数,
为第i个数据节点对应的在第t+1次更新中的正则化项,
为第i个数据节点对应在第t+1次更新中的所述类别均衡补充项,α为所述跨域特征生成器的学习率,n
i
为第i个节点模型所具有的所有的样本数据,f
E
()和f
P
()分别为所述节点模型的特征提取模块f
E
和预测模块f
P
对应的函数,
与
分别为第i个数据节点对应的第t+1次更新中的特征提取模块f
E
和预测模块f
P
,
K为第一预设数量,z为除第i个数据节点之外的其他数据节点的输入向量的特征向量,y为除第i个数据节点之外的其他数据节点的输出向量,l
i
()为第i个数据节点的节点模型对应的损失函数,
正则化可以理解为一种什么法为第i个数据节点的关于输出向量y的类别特征分布均值,
为第i个数据节点的关于输出向量y的类别特征分布方差,
为第i个数据节点的第j种样本数据的输入向量,
为第i个数据节点的第j种样本数据的输出向量,
表示y满足
分布,
表示Z满足
分布,N()为正态分布,E[ ]表示数据点样本服从真实分布时的实际均值,Ê表示根据部分数据点样本计算得到的估计均值,ε是所述跨域特征生成器的参数,数据点样本包括:特征向量z和输出向量y,β是所述跨域特征生成器的超参数。




10.根据权利要求8所述的方法,其特征在于,所述生成器优化公式:




其中,
为所述生成器,h()为非线性激活函数,z为除第i个数据节点之外的其他数据节点的输入向量的特征向量,y为除第i个数据节点之外的其他数据节点的输出向量,l
i
()为第i个数据节点的节点模型对应的损失函数,
为第i个数据节点的关于输出向量y的类别特征分布均值,
为第i个数据节点的关于输出向量y的类别特征分布方差,K为第一预设数量,第i个节点模型的预测模块f
P
对应的模型参数为
,f
P
()分别为所述节点模型的预测模块f
P
对应的函数,
表示y满足
分布,
表示Z满足
分布,N()为正态分布,E[ ]表示数据点样本服从真实分布时的实际均值,Ê表示根据部分数据点样本计算得到的估计均值,ε是所述跨域特征生成器的参数,数据点样本包括:特征向量z和输出向量y。

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。