一些在文本数据量不够大的时候可用的一些实用方法
深度学习往往需要大量数据，不然就会出现过度拟合，本文作者提出了一些在文本数据量不够大的时候可用的一些实用方法，从而赋予小数据集以价值。
作为数据科学家，为你的问题选择正确的建模方法和算法应该是你最重要的技能之一。
几个月前，我致力于解决一个文本分类问题，关键在于判断哪些新闻文章与我的客户相关。
我只有一个几千条带标注的新闻数据集，所以我从简单的经典机器学习建模方法开始着手解决这个问题，例如用TF-IDF来做正则化的具体做法Logistic回归分类。
一般说来，这些模型适用于长文档（如新闻、博客文章等）的文本分类，然而在我这个任务上的执行效果却不尽如人意，仅仅略好于随机分类。
在研究了一番模型错在哪里之后，我发现词袋模型（bag of words）这种表示方法对于这个任务是不够的，我需要一个能深入理解文档语义的模型。
深度学习模型在需要深入理解文本语义的复杂任务上已经表现出了非常好的效果，例如机器翻
译，自动问答，文本摘要，自然语言推理等。
这看起来对我的任务而言是一个很完美的方法，但是为了训练深度学习模型通常需要数十万甚至数百万个被标记的数据，而我只有一个很小的数据集。怎么办呢？
通常，我们需要大量数据来训练深度学习模型目的在于避免过拟合。深度神经网络具有非常非常多的参数，因此如果没有用足够的数据去训练它们，它们往往会记住整个训练集，这就会导致训练的效果很好，但在测试集上的效果就很差了。
为了避免因缺乏大量数据而导致的这种情况，我们需要使用一些特殊的技巧！一击必杀的技巧！
在这篇文章中，我将展示一些由我自己开发或是我在文章、博客、论坛、Kaggle和其他一些地方发现的方法，看看它们是如何在没有大数据的情况下让深度学习更好地完成我的任务的。其中许多方法都基于计算机视觉中广泛使用的最佳实践。
一个小小的免责声明：我并不是一个深度学习方面的专家，这个项目也只是最初几个我用深度学习完成的大项目之一。这篇文章的所有内容都是对我个人经验的总结，有可能我的方法
并不适用你的问题。

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。