表⽰学习开放集问题解决——19年记录
论⽂题⽬unknown怎么处理
Learning a Neural-network-based Representation for Open Set Recognition——SDM19
论⽂链接
⽂章背景、解决问题：
本⽂提出了⼀种基于神经⽹络的表⽰来解决开放集识别问题。在这个表⽰实例中，来⾃同⼀个类的实例彼此接近，⽽来⾃不同类的实例则进⼀步分离。（⼀种基于神经⽹络的表⽰法和⼀种利⽤这种表⽰法进⾏开放集识别的机制）
开放集识别：并⾮所有类别在train期间都是已知的，并且系统需要适当地处理test期间可能出现的新的/未知类别的实例。
开放集识别系统分为两个类型：
（1）第⼀种类型提供了区分已知类实例和未知类实例的机制。
（2）第⼆类开放集识别系统除了识别未知的类实例之外，还提供了区分已知类的能⼒。
对于开放集识别，给定⼀组属于已知类实例，学习⼀种能够准确地将未知实例分类为已知类或unknown类之⼀的函数。
实现⽅案：
（a)学习表⽰：⽅法的⽬的是学习⼀种便于open set识别的表⽰。
神经⽹络中的隐层  可视为X向量的不同表⽰形式。（这个表⽰的作⽤是让同⼀类的实例更接近，不同类的实例更相距，这两个属性可以使已知类之间的较⼤空间，以供未知类的实例使⽤。）
表⽰⽅法：使⽤具有⾮线性投影的神经⽹络来学习这种表⽰。g可以是卷积层和完全连接层的组合，也可以是完全连接的层。
b) II-Loss Function:
⽬标是最⼤化不同类之间的距离(类间分离)，并将实例与类均值(类内扩展)的距离最⼩化。
intra_spread(类内的距离)：实例与类平均距离的平均值。
inter_sparation(类间的距离):⽤所有k个已知类之间最近的两类均值之间的距离来度量。
（c) ii-loss只是使得类间更⼤，类内更⼩，并未考虑分类的误差。
使⽤了cross-entropy loss。
在每⼀次训练迭代中，⾸先更新⽹络权重以最⼩化对ii-loss的影响，然后在单独的步骤中更新⽹络权重，
以最⼩化交叉熵损失。
(d)Outlier Score for Open Set Recognition:
在测试过程中，使⽤⼀个离点得分来表⽰⽹络预测⼀个实例x成为⼀个离点的程度。
e) Threshold Estimation
f) Performing Open Set Recognition
K+1个label（K个类别+1个unknown）
实验效果
报告ROC曲线下的⾯积(AUC)。该区域利⽤离点得分计算，并计算不同阈值下的真阳性率(TPR)和假阳性率(FPR)。⽤t检验来衡量AUC 值差异的统计学意义.
采⽤平均F-score来评价开放集识别性能
总结和思考
提出了⼀种学习基于神经⽹络的表⽰法的⽅法，该⽅法将同⼀类的实例更紧密地投射在⼀起，同时将不同类的实例投影得更远。 这两种属性导致在类之间的较⼤空间，以占据unknown类的实例从⽽促进开放集识别。该模型⾸先从每个节点的邻节点中抽取出固定数量的节点，然后再使⽤特定的⽅式来融合这些邻节点的信息（如直接对这些节点的特征向量求平均，或者将其输⼊到⼀个RNN中）。

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。