基于文本挖掘的产品评价模型研究

Research on Evaluation Model of Products Based on Text Mining

摘要: 伴随着信息技术的飞速发展，产品评价也面临着越来越多的挑战，如产品更新换代速度快，产品复杂程度变高等，因此提供科学的评价体系，为商家和消费者的决策提供依据，实现商家和消费者的共赢显得尤为重要。基于此，本文以手机为代表的电子产品为研究对象，利用文本挖掘的知识和技术，提取了评价手机质量的六个评价指标：外观、屏幕、相机、系统、功能和电池，并确定各个指标的权重，接着利用ROSTCM6对评价指标进行情感分析，之后构造模糊综合评价模型对选取的对象进行综合评价。最后本文把中国品牌手机OPPO和国外品牌手机iPhone作为进行实证分析研究对象，对文本挖掘的流程及产品综合模糊评价模型进行验证，并对评价的结果进行科学性分析。

Abstract: With the rapid development of information technology, product evaluation is also facing more and more challenges, such as product update speed, product complexity, so providing a scientific evaluation system for business and consumers to provide a basis for decision-making, to achieve a win-win business and consumers is particularly important. Based on this, this paper takes the electronic product represented by mobile phone as the research object, uses the knowledge and technology of text mining to extract six evaluation indexes of the quality of the mobile phone: ap-pearance, screen, camera, system, function and battery, and determine the weight of each index, then use ROSTCM6 to carry on the emotional analysis to the evaluation index. Then the fuzzy comprehensive evaluation model is constructed to evaluate the selected objects. In the end, the Chinese brand mobile OPPO and the foreign brand mobile phone iPhone are used as the empirical research objects, and the process of text mining and the fuzzy evaluation model of the product are verified, and the results of the evaluation are scientifically analyzed.

1. 引言

商品评价是指生产厂家、商家或者消费者根据具体商品的性能、规格、材质、使用寿命、外观等商品的内在价值设定一个可量化或定性的评价体系，由消费者对商品使用价值进行评价的过程 [1] 。目前，互联网电子商城如亚马逊、京东等都在使用各自商品评价系统，但每个评价系统都有一个特性：过于关注消费者的评论或购物感受，并不能真实的反映消费者对某件商品的客观看法。这使得消费者对产品结构的认识及企业的决策有很大的局限性。

伴随着信息技术的飞速发展，产品评价也面临着越来越多的挑战，如产品更新换代速度快，产品复杂程度变高等。在产品评价过程中，产品评价指标的选择己经成为产品评价过程中最重要的部分，产品评价指标选取的合适与否，不但能影响产品评价的精确性，而且还能影响评价体系的科学性。科学评价方法的构建，可以为企业和顾客的决策提供依据，实现企业和顾客的共赢。

本论文借助文本挖掘的知识和技术对产品评价问题进行研究，能够精确的确定产品评价的指标体系，以及各个指标体系的权重，最后借助综合评价模型对产品进行模糊综合评价，确定了科学的评价体系。与传统的指标确定相比，利用大数据进行文本挖掘来确定指标体系，指标体系的确定更加科学合理，减少了人为确定指标体系的主观性；与传统的专家法确定权重相比，利用文本预处理过程中TF-IDF算法确定指标权重，更具有客观性，评价结果更加科学合理；与传统的产品评价相比，模糊综合评价可以避免一般评价的局限性，可以对产品的整体结构进行综合评价以及对产品结构特性进行层次分析。

2. 文献综述

2.1. 文本挖掘研究综述

文本挖掘的主要目的是自动的从非结构化文本中提取高质量的信息。在文献中可以看到文本挖掘的定义为：文本挖掘是指从大量非结构化的文本数据中抽取事先未知的、可理解的、最终可用的知识，同时运用这些知识更好的组织信息的过程。直观的说，当数据挖掘的对象完全由文本这种数据类型组成时，这个过程就称为文本挖掘 [2] 。自从文本挖掘理论提出之后，国内外学者、专家围绕其进行了大量的研究探讨，具体的研究成果如下：

Ananiadou S和Ke11DB等 [3] 采用文本挖掘的方式从生物医学发展情况出发对系统生物学模型进行分析。Scandariato R，和Walden J等 [4] 对软件组件的安全缺陷问题进行研究，提出了基于文本挖掘方法的软件组件安全漏洞预测模型。何薇和张剑等 [5] 提出一套基于文本挖掘的评价客户服务满意度的框架，实现不满意工单半自动化的识别以及不满意原因的识别。刘玉琴和朱东华等 [6] 利用文本挖掘技术挖掘隐含于专利数据库中内在的、客观的、定量的信息，提出了基于文本挖掘技术的产品技术成熟度预测方法。张荣玉 [7] 对航天工程技术风险文本分类进行研究，将文本挖掘的理论知识及方法引入到航天工程风险管理中，构建了基于文本挖掘的航天工程技术风险分类模型。

2.2. 产品评价研究综述

产品评价，是指生产厂家、商家或者消费者采用适当的方法，对商品的特性信息进行分析，最后得出商品的综合评价。目前国内外学者关于产品的评价研究取得了很大的成果，具体的研究成果如下：Yu Lian Fei和Xin Hou等 [8] 针对传统方法的不确定性、随机性和不精确性等问题，提出了一种基于模糊数学和统计学的云模型，该模型可以将产品的定性评价转化为定量评分。Xi X等 [9] 为减少产品质量评价中的主观偏见和不确定性，综合运用层次分析法，加权综合评价法和模糊综合评判法建立了一种新模型。Zhejun Gong和Sun Hu等 [10] 提出了一种以经济指标衡量产品结构柔性的产品组合柔性模型，讨论了柔性因素对产品组合柔性的影响。王兴元和宋一陵等 [11] 对名牌产品特性进行分析，利用层次分析法与模糊评价原理，建立了名牌产品的定量评价模型。张传芳和杨春玲等 [12] 以属性区间识别理论为基础，确立了高新技术产品量化指标体系，并建立了高新技术产品综合评价的属性区间识别模型。朱永梅和王明强等 [13] 基于协同设计的思想，提出了分布式协同环境下服务于产品整个生命周期的智能化、集成化产品评价决策模型，对评价的理论和评价体系进行了研究，并给出了产品综合评价的应用实例。

3. 基于文本挖掘的产品评价方法构建

3.1. 产品评价研究流程

由于互联网的高速发展，数据呈指数形式增长，数据爆发式增长给我们带来了大量数据知识财富，数据挖掘由此应运而生，而数据挖掘的分支文本挖掘更是挖掘领域中的一颗冉冉升起的新星，用其从文本数据库中提取、识别出高质量的信息。而这些信息不仅能为政府、企业、公益组织合理规划产品结构提供必要的支持与参考，也可以给个人日常生活的决策做正确的导向。本章将利用文本挖掘的知识和技术以及模糊综合评价模型，设计基于文本信息挖掘的产品评价研究流程框架，得到其流程框架如图1所示。

Figure 1. Process framework of product evaluation research

图1. 产品评价研究流程框架

3.2. 研究设计思路

3.2.1. 文本收集

全面、可靠以及真实的数据集的收集是执行文本挖掘过程的第一步，本文研究手机质量的评价问题，就必须使用手机评价文本信息库，而构成评价文本信息库中的数据全部来自于互联网且以网页的形式存在的，所以本研究利用网络爬虫软件来从网络上获取手机评价文本信息。目前存在的网络爬虫软件众多，我们通过大量的测试和比较，发现Python语言的爬虫框架Scrapy是一个抓取效率和精度非常高的Web抓取框架。本文首先选取中国手机市场销售量前9的手机品牌为数据获取的来源，手机品牌为：iPhone、OPPO、三星、华为、小米、魅族、一加、美图和努比亚，然后使用Python语言的爬虫框架Scrapy在京东商城中对所选取手机品牌最新机型的评论信息进行收集，共收集了用于手机评价指标提取的32,000条手机评价的语句，其中包含两款手机评价对象OPPO和iPhone各7000条手机评论。其中搜集到的OPPO手机评论如“OPPO手机颜色很漂亮，看着还是蛮高级的，另外拍照效果真心不错！”以及iPhone手机评论如“外观好看，拍照效果也不错。也有创新，系统生态延续了苹果的品质。缺点就是性价比太低，用户体验较差。(该评价仅限个人体验过的系统)”。

3.2.2. 特征的提取

搜集的文本信息要经过文本的预处理，而文本预处理的成功与否将直接影响到后面的特征提取与选择。本节主要借助R语言来对搜集到的手机评价文本数据集进行预处理。

首先要对搜集到的产品评价数据集进行清洗，去除一些无意义的网络标记以及出现的乱码，基于初步收集到的数据集，对文本进行初步的清洗，去除文本中出现的没有价值或价值含量极低的信息，它主要包括文本去重、短句删除。文本去重就是去除文本信息中信息重复的部分，由于从网络中获取的数据存在重复的信息，文本去重可以提高文本处理的效率，提高文本分析的准确性。短句删除是把长度小于或等于4个字符的文本资料删除，删除之后可以过滤掉很多对文章贡献极低的信息。

经过数据清洗后，手机评价数据集剩余31,378条有价值的手机评价，OPPO手机评价数据集剩余6873条有价值的手机评价，iPhone手机评价数据集剩余6902条有价值的手机评价。

中文分词是文本预处理过程的关键步骤之一。本文使用中国科学院计算技术研究所研制的汉语词法分析系统ICTCLAS进行分词。经过中文分词后还需要进行词性的标注，例如“第一次买美图手机”，进行分词处理和词性标注后我们得到“第一/m次/qv买/v美/b图/n手机/n”。经过中文分词与词性标注的处理我们得到很多产品特征词或者是属性词，这就是我们进行中文分词所希望得到的。

在利用R软件去除停用词之后，利用词频统计的方式统计出各个独立词的词组的频数，并过滤掉不表示产品特性的词组，留下表示产品特性的词组按照频数由高到低排列。手机评论信息经过文本预处理后得到的部分高频词及词频如表1所示。从中可以看出顾客对速度、流畅、系统等表示手机运行速度的和屏幕、拍照和外观等表示手机硬件设施的关注度非常高。

3.2.3. 评价指标的确定

文本信息经过预处理之后得到了产品属性词以及其频率的排序，我们从表1中可以看出表示产品属性词很多，如果我们把众多的产品属性词一一进行分析，那工作量将非常庞大，为了减少工作量并保证实验的有效性，本文选取词频高的产品属性词作为产品特征词。根据手机评论的特征词以及综合手机评价领域的文献，本文选取软件和硬件2个评价指标作为手机评价的一级指标，同时选取电池、功能、屏幕、外观、系统、相机等6个手机的特征词作为手机评价的二级指标。手机评价指标体系层次结构如图2所示。

Table 1. High frequency words and frequency

表1. 高频词及词频

Figure 2. Hierarchical structure chart of mobile phone evaluation index system

图2. 手机评价指标体系层次结构图

3.3. 产品综合评价

3.3.1. 指标的情感性分析

由于产品评价指标有不同的特性，而不同的特性有不同的属性词，所以要把不同的评价指标的属性词对应到其所属的特性中，即评价指标属性词分类。对于分类后的属性词，本文中利用机器分类器ROSTCM6中的情感分析来对各评价指标属性词的文本信息进行倾向性分析。文本挖掘情感挖掘有两个主要目标：第一，它决定给定的文本是否包含客观或主观的句子。客观句子表示它包含关于产品的事实信息时。主观句子代表个人对所需产品的情感。第二，提取消费者评论的观点并进行分类，其分为三类：积极情绪、中性情绪和消极情绪。本文对数据清洗后的iPhone和OPPO手机数据库进行情感性分析后，得到iPhone和OPPO手机的各指标的倾向分析结果分别如图3、图4所示。

由图3和图4显示可知：对于iPhone手机，在相机指标中积极情绪最多，而在屏幕指标中消极情绪最多；对于OPPO手机，在屏幕指标中积极情绪最多，而在系统指标中消极情绪最少。

3.3.2. 指标权重的确定

在对产品进行综合评价时，各评价指标所占的权重是不同的，权重选取的合适与否将会对综合评价结果的准确性产生影响。目前权重的确定方法有很多，如AHP法和德尔菲法等。本文采用文本预处理过程中TF-IDF算法以及综合有关专家意见确定了各评级指标的权重 $A_n$ 。 $A_n$ 是一个模糊子集，评价指标的

权重分配表示为： $A_n=\left(a_{n1},a_{n2},a_{n3},\cdots ,a_{nk}\right),\left(n=1,2,\cdots ,m\right)$ ，其中 $a_{nj}>0$ 且 ${\displaystyle {\sum }_{j=1}^k{a}_{nj}}$ 。

Figure 3. Analysis result of iPhone evaluation index tendency

图3. iPhone手机评价指标倾向分析结果

Figure 4. Analysis result of OPPO evaluation index tendency

图4. OPPO手机评价指标倾向分析结果

确定每个指标 $u_{nj}$ 对评价等级V的隶属度 $r_{nji}\left(j=1,2,\cdots ,k,i=1,2,\cdots ,s\right)$ 。然后得出指标集 $U_n$ 上子指标模糊关系矩阵 $R_n$ ，再对模糊矩阵进行合成运算，使其得出一级综合评价 $B_n$ ， $B_n=A_n\circ R_n=\left(b_{n1},b_{n2},\cdots ,b_{ns}\right),\left(n=1,2,\cdots ,m\right)$ 。

利用以上确定的指标权重 $A=\left(a_1,a_2,\cdots ,a_m\right)$ 和评价结果 $B_n$ ， $\left(n=1,2,\cdots ,m\right)$ ，得出单个指标评价矩阵

R如公式1所示，

$R=\left[\begin{array}{c}\begin{array}{c}{B}_1\\ B_2\end{array}\\ \begin{array}{c}⋮\\ B_m\end{array}\end{array}\right]=\left[\begin{array}{cc}\begin{array}{cc}{b}_{11}& b_{12}\\ b_{21}& b_{22}\end{array}& \begin{array}{cc}\cdots & b_{1s}\\ \cdots & b_{2s}\end{array}\\ \begin{array}{cc}⋮& ⋮\\ b_{m1}& b_{m2}\end{array}& \begin{array}{cc}⋮& ⋮\\ \cdots & b_{ms}\end{array}\end{array}\right]$ (1)

最后可以得出的综合评价结果B如公式2所示，

$\text{B}=\text{A}\circ \text{R}=\text{A}\circ \left[\begin{array}{c}\begin{array}{c}{B}_1\\ B_2\end{array}\\ \begin{array}{c}⋮\\ B_m\end{array}\end{array}\right]=\left(b_1,b_{21},\cdots ,b_s\right)$ (2)

从中可以看出，该模型存在两种模糊集，其一为评价指标集U上反映人们的偏好结构模糊权重向量，其二为反映人们价值观念的模糊关系矩阵R。

综上，在进行模糊综合评价时，本文采用文本预处理过程中TF-IDF算法，另外综合有关专家意见确定指标的权重，得出各指标的权重如表2所示。

Table 2. Distribution weight of each indicator

表2. 各指标的分配权重

3.3.3. 模糊综合评价

本文利用R语言的tm包为iPhone及OPPO手机的各指标的倾向分析结果做归一化处理，得到各评价指标所对应的数值如表3表示。

Table 3. Number corresponding to evaluation index

表3. 评价指标所对应的数值

从表3中可以看出，用户对OPPO手机的外观设计满意度最高，但是对于其电池和系统的满意度还是比较低的。相对于iPhone手机而言，OPPO手机在电池、系统方面满意度较低，在相机和外观等方面满意度较高。由此为OPPO手机的提供商提供了建议以及决策的依据，使其能够更好的满足大众的消费偏好。

据模糊评价模型，最终可计算综合评价结果B结果：Bo = 0.8726，Bi = 0.8766，Bo < Bi，表明iPhone手机综合质量较优于OPPO手机综合质量，但相差不大。

顾客和企业对评价结果进行综合分析，对其决策而言有非常重要的意义。

对于厂商：可以通过评价指标所对应的值找出顾客满意度低的指标，进而做出决策，改进创新使手机的性能更优，使性能更符合消费者的预期，本例中可以看出同时，OPPO手机在电池、系统等方面满意度较低，急需改进创新。而iPhone手机在系统功能等方面顾客的满意度较低，急需改进。

对于顾客：可以根据参考指标值和自己对手机的偏好特性进行选择，作为自己的决策的依据，例如，喜欢拍照的可以选择OPPO，对系统偏爱高的可以选择iPhone。

4. 结论

本文以现有的产品评价理论与基础为背景，研究了基于文本挖掘的电子产品模糊综合评价问题。本文针对互联网上大量手机质量评论，选取手机为研究对象，在京东商城上爬取文本评论形成了文本数据集。利用文本挖掘技术对数据集进行文本预处理，对手机特征进行提取，接着利用ROSTCM6对其进行情感分析，得出倾向性分析结果，之后通过构造产品的模糊评价模型对选取的评价对象进行综合评价并进行综合分析。并通过实际数据对文本挖掘的流程及产品综合模糊评价模型进行验证。但研究也存在部分缺陷，首先样本数量不足，文章只在京东商城上搜集9个手机品牌的32,000条评论信息，手机样本不够全面，样本的数量不够多。其次研究方法多采用常用的方法，为采用目前最先进的方法，产品特征提取和文本分类方法的准确性还有待提高。

致谢

本课题在选题及研究过程中得到张桂涛老师的悉心指导。张桂涛老师多次询问研究进程，并为我指点迷津，帮助我开拓研究思路，精心点拨、热忱鼓励。张老师一丝不苟的作风，严谨求实的态度，踏踏实实的精神，不仅授我以文，而且教我做人，虽历时三载，却给以终生受益无穷之道。

感谢我的同学何立峰、囤秀秀三年来对我学习、生活的关心和帮助。

最后，向我的父亲、母亲致谢，感谢他们对我的理解与支持。