机器学习中的隐变量和隐变量模型
开篇
variable怎么记这篇博客算我⾃⼰给⾃⼰挖的⼀个坑，主要想讲讲机器学习中的隐变量，今天在推导EM算法，李航在统计学习⽅法中的EM引⼊中提到了隐变量的概念（latent variable），他提到了如果我们的概率模型的变量都是观测到的变量，那么给定数据，我们就可以使⽤极⼤似然估计法，或者其他估计法去估计参数，但是当模型有隐变量的时候，就该我们的EM算法闪亮登场了。这边我先介绍⼀下什么是隐变量。后续关于隐变量模型我将逐⼀续上。
隐变量
什么是隐变量呢，让我们先简单的说⼀下，我们估计算法在做的⼀些事情，我们要做的其实就是估算出概率模型的参数，概率模型是什么呢？你可以简单把它理解成⼀个分布，甚⾄说可以把它理解成⼀个函数，我们的估计算法就是为了求解出这些函数的参数⽽存在的。这边借⽤知乎上的⼀个例⼦，希望能够解释清楚隐变量是什么？
如果你站在这个⼈旁边，你⽬睹了整个过程：这个⼈选了哪个袋⼦、抓出来的球是什么颜⾊的。然后你把每次选择的袋⼦和抓出来的球的颜⾊都记录下来（样本观察值），那个⼈不停地抓，你不停地记。最终你
就可以通过你的记录，推测出每个袋⼦⾥每种球颜⾊的⼤致⽐例。并且你记录的越多，推测的就越准（中⼼极限定理）。然⽽，抓球的⼈觉得这样很不爽，于是决定不告诉你他从哪个袋⼦⾥抓的球，只告诉你抓出来的球的颜⾊是什么。这时候，“选袋⼦”的过程由于你看不见，其实就相当于是⼀个隐变量。隐变量在很多地⽅都是能够出现的。现在我们经常说的隐变量主要强调它的“latent”。所以⼴义上的隐变量主要就是指“不能被直接观察到，但是对系统的状态和能观察到的输出存在影响的⼀种东西”。所以说，很多⼈在研究隐变量。以及设计出各种更优(⽐如如可解释、可计算距离、可定义运算等性质)的隐变量的表⽰。
这边扯⼀下主题模型（LDA），它就是典型的隐变量模型，我这边稍微讲⼀下LDA⽂本建模的过程，以上帝掷骰⼦为例，上帝会通过掷骰⼦去选择⼀个主题，选择完主题后，上帝⼜会选择这个主题的⼀个骰⼦，去选择⼀个单词，那么摇来摇去，我们的⽂本就⽣成了。但是我们看到只是⽂本，⽽不知道上帝操作的过程。但是⽂本就是这样神奇的⽣成了，我们要怎么去猜测上帝的骰⼦呢。
如果到这⾥你还是没有对隐变量有个感性的认识，那我这边再贴⼀篇博客，主要是关于EM算法的，EM算法其实就是加了隐变量的参数估计算法，，这博客⾥⾯没有⼤批的公式，有的是对算法的感性认识，感性认识是⼀切算法理论的基础，希望⼤家能够有所收获，有问题欢迎留⾔。
隐变量模型
（未完，待我慢慢整理）
HMM模型
概率图模型中的⼀种模型，主要应⽤在序列标注的⼀些NLP任务。典型带有隐变量的模型，隐变量顾名思义就是我们观测不到的⼀类变量。HMM要解决的主要任务序列标注就是出隐变量。
更多的理论请看

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。