基于Kano-IPA用户评测的AI智能英语学习类平台优化策略研究——以“思博乐学大学英语自主学习平台”为例
Research on Optimization Strategies for AI Intelligent English Learning Platforms Based on Kano-IPA User Evaluation—Taking “Sibolexue College English Autonomous Learning Platform” as an Example
摘要: 本文以提升AI智能英语学习类平台服务质量为目标,基于对“思博乐学”英语学习平台的用户调研,通过挖掘用户深层需求,识别平台服务质量关键要素,并利用整合Kano-IPA模型对平台进行测评及改进优先级排序。研究结果表明,AI智能英语学习类平台需优先改进的服务质量要素为“错误操作规避”、“提供帮助客服中心”、“界面布局结构清晰”等,需持续保持的服务质量指标依次为“信息资源易于检索”、“重要指标解释说明”等。最后根据分析结果提出了增加技术的有效性、简化操作、完善服务和指导用户学习等改进策略。对AI智能英语学习类平台的发展提供可资借鉴的参考,也可为相关研究提供理论和方法上的借鉴。
Abstract: This paper aims to enhance the service quality of AI intelligent English learning platforms. Based on user research conducted on the “Sibolexue” English learning platform, it delves into users’ deep-seated needs, identifies key factors influencing platform service quality, and utilizes an integrated Kano-IPA model to evaluate the platform and prioritize areas for improvement. The research findings indicate that the service quality elements requiring priority improvement on AI intelligent English learning platforms are “avoidance of incorrect operations”, “helpful customer service center”, and “clear interface layout and structure”. The service quality indicators that need to be consistently maintained are, in order, “ease of information resource retrieval” and “explanation of important indicators”. Finally, based on the analysis results, optimization strategies such as enhancing technological effectiveness, simplifying operations, refining services, and guiding users’ learning are proposed. This paper provides a valuable reference for the development of AI intelligent English learning platforms and offers theoretical and methodological insights for related research.
文章引用:李鹏飞, 马佳茹, 季旭, 王萌, 王亚楠, 马欣悦, 陈世杰. 基于Kano-IPA用户评测的AI智能英语学习类平台优化策略研究——以“思博乐学大学英语自主学习平台”为例[J]. 交叉科学快报, 2024, 8(4): 569-575. https://doi.org/10.12677/isl.2024.84073

1. 引言

近年来,现代教育模式向数字化方向发展。国家教育部颁布的《大学英语教学指南(2020版)》明确提出,要使课堂教学与网络学习无缝对接。在此背景下,众多AI英语学习类平台应运而生。AI技术赋能为英语学习类平台注入新动力,同时也使得用户的需求呈多元化发展。新兴平台如何被用户接纳,并持续使用,平台服务是否能够满足用户需求等值得重点探究。

2. 研究现状

关于英语学习平台的相关研究主要集中在平台用户满意度分析和功能技术开发等。如运用模糊层次分析法建立微信英语学习平台用户满意度评价体系[1]、基于技术接受模型信息构建理论和需求探索影响数字阅读平台用户体验的因素[2]、研究平台输出模块对应用型本科院校学生英语词汇能力的影响[3]、探究基于网络学习平台的大学英语课堂学生互动评价体系的应用方法与效能[4]、基于教育大数据的大学英语网络学习平台模型研究[5]等。整理可知,英语学习平台的研究已经成为信息教育时代重要的研究主题,但还存在平台服务质量指标体系构建不够细致,评价方法单一等不足。

近几年,Kano-IPA模型被广泛应用于多个领域,用以评价服务质量和用户需求。由狩野纪昭提出的Kano模型将产品或服务的特性分为基本型、期望型、魅力型、无差异型、反向型五类[6]。而IPA模型则是通过重要性–满意度矩阵将需要评估的产品或服务划分为四个象限,可科学有效地分析影响服务质量的因素和优先序。基于Kano和IPA各自的优势,Lin [7]将二者结合,在分类服务质量要素的同时,还可按照重要程度确定服务质量要素优化的顺序,解决了单独使用两种方法的不足。周烨[8]、翟运开[9]等多位学者将Kano-IPA模型应用于家具、医疗等多个行业。

基于以上研究现状分析,Kano-IPA模型可以更有效地针对AI智能英语学习平台的特性,弥补单一满意度评价的不足,从服务质量要素特性分类、重要度、满意度三维度进行全方位评价分析,且分析结果更直观,更能提供切实有效的优化策略。

3. 服务质量要素识别

鉴于AI技术的超前性,用户的“模糊需求”和“潜在需求”的比例较一般产品更高。为全面、精准地挖掘并分析用户需求,进而识别英语学习平台用户服务质量要素,特邀请思博乐学英语学习平台管理人员1名、资深用户2名、英语教学及服务质量研究方向的教授2名,通过深入访谈,充分考虑平台特性,并参考E-SERVQUAL量表,最后识别出思博乐学平台18个服务质量要素(见表1)。

Table 1. Service quality factors of Sibolexue English autonomous learning platform

1. 思博乐学英语自主学习平台服务质量要素

编号

服务质量要素

f1

界面布局结构清晰

f2

提供界面分级导航

f3

信息资源易于检索

f4

重要指标解释说明

f5

后台学习进度记录

f6

提供帮助客服中心

f7

文章内容篇幅自主调整

f8

个性化优质资源推广

f9

AI智能阅读水平分析

f10

个人化定制阅读强度

f11

学习伙伴交互共享

f12

操作流程便捷

f13

交互反馈良好

f14

错误操作规避

f15

界面简洁美观

f16

色彩柔和协调

f17

图标设计美观

f18

图表类型多样

4. 问卷设计与数据收集

4.1. 问卷设计

以识别出的英语学习平台服务质量要素为基础,按照Kano-IPA模型要求设计问卷。问卷主要包括两部分,第一部分为被调查人员的基本信息,包含性别、年龄、教育程度、平台使用频率等;第二部分为主调研部分,针对每个质量要素,按照Kano-IPA模型要求各设计3个问题,共54个问题。即按照Kano模型要求,从满足与否两个角度,分别设置正向与反向2个问题,按照IPA模型要求设置1个重要度问题。如:针对要素“AI智能阅读水平分析”,分别设置“如果满足此项要求,您的感受是?”、“如果不满足此项要求,您的感受是?”和“您认为此项的重要程度是?”共3个问题。

4.2. 数据收集

问卷调查主要通过线上和现场两种方式进行,共收回问卷260份,剔除无效问卷后,最终有效问卷数为249份,有效回收率83%。

5. 数据分析

5.1. 信、效度分析

采用克隆巴赫信度系数(Cronbach α系数值)作为信度衡量标准,正向问题(18个)信度系数α值为0.934,反向问题(18个)信度系数α值为0.915,重要度问题(18个)信度系数α值为0.907,均大于0.9,说明数据信度较高。效度检测运用KMO值和Bartlett检验,结果显示KMO值为0.858,大于0.8,表明效度良好。

5.2. Kano模型分析

首先对问卷收集的数据进行Kano模型分析,即对AI英语学习类平台服务质量要素进行归类汇总。统计得出,18项质量要素中无差异要素I为8项;魅力要素A为3项;必备要素M为2项,期望要素O为5项,详细分类见表2“Kano-IPA 模型分析汇总表”。

5.3. IPA模型分析

IPA模型主要通过平面坐标系来实现,以满意度为横坐标、重要性为纵坐标,并分别以重要性、满意度的平均值作为中轴线,构建二维象限,划分出4个象限区域。“重要度”数据由问卷中各指标的重要度问题数据分析得出,而“满意度”则通过Kano的CS系数运算得到,运算公式如下:

C S i = f a + f o f a + f o + f m + f i

通过统计分析与计算,最终得出各指标的“重要度”和“满意度”数值(见表2),以及各指标的象限分布(见图1)。

Figure 1. IPA matrix analysis diagram

1. IPA矩阵分析图

由IPA矩阵图(图1)可知,左上象限表示重要要素没有达到满意度的区域,需优先改进;左下象限为次要要素表现欠缺区,属次要改进区域;右上象限为满意度高的重要要素,需优先保持,右下象限为满意度高的次要要素,属次要保持象限。除f14“错误操作规避”要素外,其余质量要素均属优先保持和次要改进象限,明确的改进、保持优先序需进一步整合Kano-IPA模型得出。

5.4. Kano-IPA模型分析

整合Kano模型和IPA模型的最终目的是确定各质量要素的改进及保持优先排序。决策规则为:在Kano模型中,服务质量要素的优先级排序为:必备型(M) > 期望型(O) > 魅力型(A) > 无差异型(I);而对于同一Kano类别的质量要素,则使用IPA矩阵来确定优先级:改进象限为左上 > 左下,保持象限为右上 > 右下;对于同一Kano类别且处于同一IPA象限的质量要素,则要进一步分析重要度与满意度之比。通过此规则,最终确定质量要素的改进及保持优先排序结果如表2所示。

Table 2. Summary of Kano IPA model analysis

2. Kano-IPA模型分析汇总表

编号

Kano模型分类

当前满意度

感知重要度

改进策略

保持策略

f1

I无差异型

0.28

3.85

3

-

f2

I无差异型

0.38

4.00

9

-

f3

O期望型

0.43

4.51

-

2

f4

O期望型

0.40

4.40

-

1

f5

I无差异型

0.33

3.75

5

-

f6

M必备型

0.36

4.04

2

-

f7

O期望型

0.42

4.42

-

3

f8

I无差异型

0.38

3.94

10

-

f9

A魅力型

0.41

4.19

-

6

f10

A魅力型

0.42

4.28

-

7

f11

I无差异型

0.33

3.56

6

-

f12

I无差异型

0.36

3.73

7

-

f13

I无差异型

0.33

3.73

4

-

f14

M必备型

0.38

4.22

1

-

f15

O期望型

0.45

4.42

-

4

f16

O期望型

0.44

4.32

-

5

f17

I无差异型

0.38

4.07

8

-

f18

A魅力型

0.44

4.20

-

8

5.4.1. 改进策略的优先权:f14→f6→f1→f13→f5→f11→f12→f17→f2→f8

排在优先改进前5位的要素分别是f14“错误操作规避”、f6“提供帮助客服中心”、f1“界面布局结构清晰”、f13“交互反馈良好”、f5“后台学习进度记录”。此5项要素是影响用户对英语学习平台使用感受的关键要素,也是平台亟需改进的质量要素。分析5项要素的特性可知,由于平台技术或功能可能具有一定的超前性,用户的不熟练操作会引发错误,或使用不顺畅,进而影响使用感受,因此对规避错误,希望提供帮助客服和精确界面等显示出更高的需求。而“良好交互反馈”和“优化后台学习进度记录”等则反映出用户对更灵活、更有效的AI技术的需求。综上可知,增加技术的有效性、简化操作、完善服务或指导用户学习是AI英语学习类平台的整体优化改进方向。

5.4.2. 保持策略的优先权:f4→f3→f7→f15→f16→fp9→f10→f18

排在优先保持前5位的要素分别是f4“重要指标解释说明”、f3“信息资源易于检索”、f7“文章内容篇幅自主调整”、f15“界面简洁美观”、f16“色彩柔和协调”,表明用户对此5项要素的重视程度高,而平台在此方面提供的服务也能满足用户期望,是影响用户对平台整体满意度的正向关键要素,也是平台需继续保持高水平服务的要素。具体分析5项要素特性可知,平台需长期保持并持续优化信息服务、符合英语学习的特定功能和界面设计。

6. 研究启示

以“思博乐学”英语学习平台为例,通过整合Kano-IPA模型对平台服务质量要素进行评测,最终得出平台亟需改进的服务质量要素分别为“错误操作规避”、“提供帮助客服中心”、“界面布局结构清晰”、“交互反馈良好”、“后台学习进度记录”等;需持续保持的服务质量要素分别为“重要指标解释说明”、“信息资源易于检索”、“文章内容篇幅自主调整”等。综合分析调查结果可得出,平台需在增加技术的有效性、简化操作、完善服务和指导用户学习等方面进行优化改进。

在增加技术的有效性方面,平台应综合考虑用户对AI技术,特别是适合英语学习的AI技术和功能的期望与需求。除增加平台与用户智能交互水平外,可增加或完善利于英语学习的特殊功能。如采用情景模拟对话方式,创建沉浸式对话环境,辅助用户制定学习计划,监督计划执行,分析用户的语言习惯,定期词汇量测试、试卷智能分析等功能;在简化操作方面,平台需立足用户角度,充分考虑用户使用需求,在不影响功能使用的基础上,尽可能精简操作步骤,或者通过继续优化界面设计,添加互动教程及对主要操作进行提示说明,亦或者通过AI技术识别操作错误,进行及时提醒,以节省用户使用的时间成本;在完善服务和指导用户学习方面,平台可根据用户学习进度和风格,提供个性化的线上培训课程。也可对高校等集中用户举办线下培训,让用户深入了解平台功能,提高学习效果。同时需优化AI客服或增加人工客服,完善服务流程,及时解决用户使用过程中遇到的各类困难。

以上的研究结果和优化建议对“思博乐学”英语学习平台下一步发展和建设具有一定的指导意义,也可为类似的AI英语学习类平台提供可资借鉴的参考。在理论层面,对AI英语学习平台的服务质量要素识别,可为构建AI英语学习平台的服务质量评价指标体系提供有利参考;而整合Kano模型和IPA的研究方法可有效弥补以往相关研究中单一满意度评价的不足,是对相关研究的有效整合和补充。

本研究的局限性在于研究对象为具体的平台,识别的服务质量要素和最终的研究结果跟平台本身的特性和运营现状密切相关,其结果和优化建议不能直接应用于其他平台,但可为同类平台提供思路和方法上的指导。

基金项目

2019年聊城大学科研基金项目(项目名称:文化自信视域下鲁西地区产出性英语语音国际可理解性研究;项目编号:321021954)。

2023年校级大学生创新创业计划项目(项目编号:CXCY2023386)。

参考文献

[1] 杨少梅, 王婷, 李胜利. 基于模糊层次分析法的微信英语学习平台用户满意度综合评价——以水滴阅读为例[J]. 图书情报工作, 2019, 63(21): 97-98.
[2] 彭珂, 胡蓉, 朱庆华. 数字阅读平台的用户体验影响因素实证研究[J]. 数字图书馆论坛, 2015, 9(11): 3-4.
[3] 沈丹, 陆国君. 基于UNIPUS自主学习平台的“输出”对应用型本科院校学生英语词汇习得的研究效果[J]. 吉首大学学报(社会科学版), 2019, 40(2): 172-175.
[4] 彭卓, 互动分析视角下基于网络学习平台的大学英语课堂互动评价——以I平台为例[J]. 外语教育研究前沿, 2021, 4(4): 57-58.
[5] 王朋. 基于教育大数据的大学英语网络学习平台模型研究[J]. 海外英语, 2019, 20(4): 5-6.
[6] Kano, N., et al. (1984) Attractive Quality and Must-Be Quality. The Journal of Japanese Society for Quality Control, 41, 39-48.
[7] Lin, S.P. and Chan, Y.H. (2011) Enhancing Service Quality Improvement Strategies by Integrating Kano’s Model with Importance-Performance Analysis. International Journal of Services Technology & Management, 16, 28-48.
https://doi.org/10.1504/ijstm.2011.041976
[8] 周烨, 朱蓉, 李晓斌, 等. 基于KANO-IPA的无锡广场城市家具设计满意度研究[J]. 包装工程, 2024, 45(18): 192-201.
[9] 翟运开, 卫东乐, 路薇, 等. 考虑在线评论用户关注度的产品改进需求识别与分析——基于KANO-IPA模型[J]. 科技管理研究, 2023, 43(9): 95-104.