(19)中华人民共和国国家知识产权局
(12)发明专利说明书
(10)申请公布号 CN 113901207 A
(43)申请公布日 2022.01.07
(21)申请号 CN202111078627.5
正则化英文
(22)申请日 2021.09.15
(71)申请人 昆明理工大学
    地址 650093 云南省昆明市五华区学府路253号
(72)发明人 严馨 佘朝阳 邓忠莹 王红斌 陈玮
(74)专利代理机构 53204 昆明人从众知识产权代理有限公司
    代理人 何娇
(51)Int.CI
      G06F16/35(20190101)
      G06F40/289(20200101)
      G06K9/62(20060101)
      G06N3/04(20060101)
      G06N3/08(20060101)
                                                                  权利要求说明书 说明书 幅图
(54)发明名称
      一种基于数据增强和半监督学习的药物不良反应检测方法
(57)摘要
      本发明涉及一种基于数据增强和半监督学习的药物不良反应检测方法，属于自然语言处理领域。本发明首先收集中文医疗社交媒体的语料，构建数据集；使用回译对未标注数据进行多次增强，对增强样本和原始样本进行标签预测生成人工标签；建立基于Mixup的药物不良反应检测模型，利用标注数据、未标注数据和增强数据对所述模型进行训练，获得训练好的药物不良反应检测模型，实现药物不良反应的检测任务。本发明减轻了标注数据不足带来的影响，并且提高了药物不良反应检测的准确性。
法律状态
法律状态公告日
法律状态信息
法律状态
2022-01-25
实质审查的生效
实质审查的生效
2022-01-07
公开
公开

权 利 要 求 说 明 书


1.一种基于数据增强和半监督学习的药物不良反应检测方法,其特征在于:所述方法包括:

Step1、首先收集中文医疗社交媒体的语料,构建数据集;

Step2、使用回译对未标注数据进行多次增强,得到增强数据,对增强样本和原始样本进行标签预测生成人工标签;

Step3、建立基于Mixup的药物不良反应检测模型,利用标注数据、未标注数据和增强数据对所述模型进行训练,获得训练好的药物不良反应检测模型;

Step4、利用训练好的模型进行药物不良反应的检测。



2.根据权利要求1所述的基于数据增强和半监督学习的药物不良反应检测方法,其特征在于,所述Step1的具体步骤如下:

Step1.1、收集中文医疗社交媒体内容,将包含药物的病情描述作为原始语料,对文本进行预处
理;

Step1.2、从所述的原始语料中随机选择部分数据进行人工标注,设定分类标签y∈{0,1},其中“0”表示不含有药物不良反应,“1”表示含有药物不良反应,得到标注数据集
为第i个标注样本的文本内容,
为第i个标注样本的标签,n是标注样本的数量;

Step1.3、从所述的原始语料中获取未标注数据集
为第i个未标注样本,m是未标注样本的数量。



3.根据权利要求1所述的基于数据增强和半监督学习的药物不良反应检测方法,其特征在于,所述Step2的具体步骤如下:

Step2.1、对于未标注数据集X
u
中的每一个样本
通过回译生成K个增强数据,
K表示中间语言的种类;

Step2.2、对于一个未标注数据样本
和它的K个增强数据
分别通过文本分类模型得到其预测结果
和

Step2.3、将原始样本和增强样本的预测结果进行加权平均:
使用锐化函数:
定义
即对未标注数据,其所有的增强样本与原始样本共享相同的标签。




4.根据权利要求1所述的基于数据增强和半监督学习的药物不良反应检测方法,其特征在于,所述Step3的具体步骤如下:

Step3.1、输入文本经过编码层得到文本的向量表示:

将标注数据集X
l
、未标注数据集
和增强数据集
合并成一个大型的数据集X=X
l
∪X
u
∪X
a
;

数据集中的每一个文本经过词嵌入编码后得到词序列的低维向量表示E=[e
1
,e
2
,...,e
n
],e
i
∈R
d
表示第i个词的词向量,d表示词向量的维度;


词向量表示经过BiLSTM层,计算词语在上下文中的向量表示:
将正向和逆向的LSTM输出
和e
i
拼接作为第i个词在序列中的隐藏状态表示:
拼接h
i
序列可得到词序列的隐藏状态表示:H=[h
1
;h
2
;...;h
n
];


自注意力层的注意力权重矩阵由两层感知器网络计算得到:A=softmax(W
s2
tanh(W
s1
H
T
)),W
s1
和W
s2
分别是注意力层的权重矩阵,d
a
、r是超参数,d
a
表示注意力层隐藏状态的维度,r是注意力机制的个数,文本表示矩阵由词序列的隐藏状态表示和注意力权重矩阵相乘得到:Z=AH,文本的向量表示z由矩阵Z中的r个向量拼接得到;

Step3.2、Mixup层进行插值操作:

先随机选取一个样本,然后将同批次的样本随机打乱后抽取另一个样本;

由λ~Beta(α,α),λ=max(λ,1-λ)得到混合因子λ,将随机选择的两个样本(z
i
,y
i
)和(z
j
,y
j
)
进行插值:

Step3.3、混合样本通过分类层获得预测值:

混合样本通过一个全连接层和softmax激活函数,得到样本包含药物不良反应的预测概率:
其中W和b分别是权重矩阵和偏置;

Step3.4、将预测结果和混合标签进行一致性正则化,使用二者的KL散度作为损失:

为了使模型对未标注数据预测出置信度更高的标签,使用未标注数据的预测结果的最小熵作为损失
式中γ表示边界超参数;

结合两种损失,计算总损失:L=L
Mixup
+γ
m
L
m
,使用Adam优化算法训练模型最小化损失,得到训练的模型。



5.根据权利要求1所述的基于数据增强和半监督学习的药物不良反应检测方法,其特征在于,所述Step4中,利用训练好的药物不良反应检测模型进行药物不良反应的检测,待检测的样本通过模型获得分类标签,将分类标签为不含有药物不良反应的数据丢弃。

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。