智能商品分类系统的设计与实现
作者:朱安东 石文玉
来源:《科技风》2022年第19期
        摘要:随着电子商务的兴起,网络购物平台发展迅猛,用户在使用网络平台购买商品时如何向用户提供有效信息,在面对大量商品信息时,平台如何对商品进行有效的分类是研究热点问题之一。本文采用基于深度学习的文本分类技术,在对商品信息文本进行清洗、分词后提取文本特征进行有效分类,结果表明该方法在查准率、召回率和F1measure方面都有着较好的性能指标。最后进行了系统的可视化界面设计。
        关键词:深度学习;RCNN;文本分类
        随着信息技术的飞速发展,移动互联网渗透到人们生活的方方面面,诸如京东等电商平台蓬勃发展,商品的种类越来越丰富,数量也越来越多。随着数字化时代的发展,各大电商平台也处于日益激烈的竞争中,如何在用户浏览网络页面时,提供一些有效信息,提升用户使用感是各大电商平台面对的一个重难点问题。面对大数据时代下大量的商品信息,如何对商品进行有效的分类是研究的热点问题之一。日益增长的商品种类和数量使得商家进行商品分类也越来越难,但若对商品进行了错误的分类或者未进行分类,都会导致客户无法快速查到想要购买的商品,降低成交量,久而久之商家平臺会被淘汰。传统的人工分类方法成本高、效率低且易出错等问题已经无法适应当下社会发展的趋势。随着大数据和人工智能技术
的发展,依托于计算机数据处理及分类技术设计出一种快速、准确的分类方法,将大量杂乱的文本信息利用算法进行自动分类,其方法可以有效地降低人工成本,提高效率和准确率,从而满足信息技术发展的各项需求。
        1 文本预处理
        从网络中获取的数据大多含有大量的噪声、比较粗糙,不能够直接用于计算机的文本分类使用,如直接使用将会耗费大量的训练和预测时间,也会影响到分类模型的性能。因此需要通过数据预处理技术,对相应文本进行清洗、分词、去除停用词等操作后才能使用。
        1.1 数据清洗
        对网络上获取的数据进行清洗,是提高系统使用数据质量的关键一步,需要较长时间操作。对文本进行数据清洗主要包括处理缺失值、冗余值和噪音[1],对于其两者的操作可以通过条件判断后直接删除整条数据。网络文本中的噪声处理主要包括将文本中的HTML符号、数字、换行等用空白替代,对URL或一些与语义无关的解释性语句用正则表达式将其过滤。常用的正则表达式匹配规则如表1所示。
        1.2 中文分词预处理
        中文在书写时没有使用分隔符将词进行分割,但是语言中的最小文字单位是词,因此为了便于对文本的语义进行理解,算法模型需要进行中文的分词预处理。在深度学习算法中,通过神经网络对文本特征进行自动提取,近年来越来越多的神经网络模型,如卷积神经网络、长短期记忆网络等被用于中文分词中。目前,在中文分词领域中开发出了一些性能较好的开源工具,如NIPIR分词系统、Jieba分词工具等。在本文中选用了Python的中文分词组件Jieba进行中文分词处理,其分词模式包括三种,如表2所示。
        2 循环卷积神经网络
        循环卷积神经网络(Recurrent Convolutional Neural Networks,RCNN)结合了卷积神经网络(CNN)[2]和循环神经网络(RNN)[3]的优点。卷积神经网络包括输入层、卷积层、池化层与全连接层,如图1所示。循环神经网络使用循环的操作把上一时刻的隐藏状态与当前时刻的序列输入当成此时的输入,从而更好地表达文本的上下文语义信息,如图2所示。而循环卷积神经网络中,循环卷积层代替了卷积层,从输入层中提取目标对象后使用变化的循环神经网络进行处理,从而进行特征的抽象提取。图3给出了以“新款女春装长针织衫”
为例的循环卷积神经网络模型结构图。从模型结构中来看,RCNN使用了CNN的最大池化层和RNN的循环结构的优点,减少了噪声并且提出了文本中的特征信息。
        3 模型介绍
        本文对商品标题进行特征提取时使用循环卷积神经网络的方法,首先在学习文本特征时将循环结构作为卷积层,得到词表示后进行最大池化处理,从而得到文本的向量表示,最后从输出层获得文本表示,如图4表示。
        3.1 卷积层
网页界面设计的网络系统有哪些        考虑到现在的网络平台为了能使商品被更多的用户搜索到,商家会为商品添加较长、较多的商品信息标签,用户在搜索商品时也会将自己的详细需求写入商品信息中,而中文中的词不是孤立的,词和词之间的关联往往也会和词的含义有关,因此本模型中采用双向长短时记忆网络(BLSTM)[4]来学习词的上下文表示。其中包括左上下文信息和右上下文信息。
        3.2 池化层
        本模型中使用卷积神经网络模型的方法,将学习到的所有词的表示统一进行最大池化的方式进行处理[5],该方法能够充分利用词的特征,减少文本噪声,从而使得获取的文本表示能够更大程度地作为文本的重要特征。
        3.3 输出层
        在获得文档表示后,像传统的神经网络模型一样,本模型使用全连接作为模型的输出层,最后通过概率函数来统计输出的文档属于哪一类的概率,从而计算模型的性能。
        4 实验结果与分析
        4.1 实验环境
        本实验是在本地计算机上进行的,具体的实验环境详情如表3所示。
        4.2 实验数据与统计分析
        本文使用的商品信息数据为网络开源数据,共有11369条,其中测试集有7639条,训练集有3730条。
        4.3 性能指标
        针对文本分类算法的性能指标有很多种,如查准率P(Precision)、召回率R(Recall)以及F1measure等。这些指标都和预测结果有关,以实际类别为A为例,预测结果有四种,如表4所示。其中TP为样本被正确预测到A类的数量,FN指不属于A类的样本被错误预测到A类的数量,TN为A类的样本被错误预测为其他类的数量,FP为不属于A类的样本被正确地预测为其他类的数量。

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。