|
产品用户体验质量的模糊评价（1）——灰色关联分析
当设计进行多方案输出后，该怎么办？如何评估各个方案，如何对比分析各个方案中具体功能模块的用户体验，拍脑袋？No！我们需要更加量化精确的方式来确定各个方案的优劣，甚至于各个方案里相应功能模块的优劣，灰色理论为我们的多方案评估提供了理论依据。
灰色理论？
灰色系统理论属于研究信息部分清楚、部分不清楚并带有不确定性现象的应用数学学科。传统的系统理论，大多研究那些信息比较充分的系统。但是，对一些内部信息部分确知、部分不确知的系统，却研究得很不充分。灰色系统理论就是从这一空白中诞生的。在客观世界中，大量存在的不是白色系统(信息完全明确)也不是黑色系统(信息完全不明确)，而是灰色系统，包括了：社会系统、农业系统、经济系统、生态系统等抽象系统。
由于产品可用性质量的优劣通常由使用者进行主观评价，受个人的知识、经验、文化等许多已知和未知或者非确知的因素的影响很大，具有典型的灰色系统特征。因此运用灰色关联分析方法可以更为精确地对可用性测试的数据结果进行量化统计。
灰色系统评价的基本思路是：根据各比较数列集构成的曲线族，与参考数列构成的曲线间的几何相似程度来确定比较数列集与参考数列间的关联度。比较数列构成的曲线与参考数列构成的曲线的几何形状越相似，其关联度越大。
该怎么做？
- 在具体应用中，可以按照以下步骤来进行灰色关联分析：
- 确定主指标体系（如果有必要的情况下，可以从主指标下延伸出二级指标）。
- 获取各解决方案在步骤一确定的主指标体系下的评估分值。
- 确定各个指标的权值。
- 选取各项指标的最优者生成参考数列。
- 计算各比较数列与参考数列的关联系数。
- 根据各指标的权值与各解决方案的关联系数得出灰色关联度，从灰色关联度的大小就可以确定各方案在当前指标体系下的优劣。
以下通过详细举例来说明在可用性测试中如何运用灰色关联分析。
假设当前有解决方案：A，B，C 。
假设我们采用的可用性评价指标体系包含：
一级指标：t1，t2 。
二级指标：t11，t12，t13（从属于一级指标t1）
t21，t22，t23（从属于一级指标t2）。
下面所有的处理流程均基于此例。
步骤一 获取各解决方案在当前指标体系下的评估分值
通过可用性测试后，可得到各解决方案在当前指标体系下的评估分值。
步骤二 确定各个指标的权值
下面需要做的是确定各个指标的权值，确定指标权值的方法有很多种，这里我们可以采用专家评估权值的办法。具体的做法是：假定各个一级指标的总分值为100分，让评估者将这100分按照各一级指标的重要性程度进行分配，如果有二级指标，那么配给一级指标的分值在该指标的二级指标之间进行再分配。更深的层级的处理方法与二级指标的相同，一直到最后的层级为止（一般不建议指标体系层级超过两级）。
举个例子（权值分配例子如下图）：用户认为指标t1很重要，给t1分配60分的分值，t1下面有三个二级指标t11
、t12、t13，那么60分的分值要在这三个指标下依据他们的相对重要性进行再分配。每个一级指标的统计方法为：1)先计算单个评估者对该指标打分值的百分比；2)求出该指标百分比的算术平均数，即为该指标的权重。各个二级指标的统计方法：1)计算评估者对各二级指标打分值占一级指标的百分比；2)求出各二级指标占一级指标百分比的算术平均数；3)将上步的结果与各一级指标的权重相乘即为各二级指标的权重。
步骤三 生成参考数列
利用灰色关联方法进行分析时，需要设定参考数列。评价标准应选取所有方案中各项指标的最优者.当指标属于“效益型”时，选取所有方案中该项指标的最大值；当指标属于“成本型”时，选取所有方案中该项指标的最小值。对于初值不同的数列作关联度分析时，一般要先进行无量纲化处理，生成新的数列。一般选用均值化生成法：
在当前例子中，假定最后选出的参考数列为：
X0={ X01 X02 X03 X04 X05 X06}
各方案的对应数列为：
方案A： X1={ X11 X12 X13 X14 X15 X16}
方案B： X2={ X21 X22 X23 X24 X25 X26}
方案C： X3={ X31 X32 X33 X34 X35 X36}
步骤四 计算关联系数
关联系数是各被比较数列曲线和参考数列曲线在各点的相对差值。计算公式为:
式中取ζ=0.5。i∈N , N={1，2，3}，k∈K,K={1，2，3，4，5，6}。
计算关联系数后，我们将得到各个方案的关联系数数列：
方案A：r01={ r01（1） r01（2） r01（3） r01（4）
r01（5） r01（6）}
方案B：r02={ r02（1） r02（2） r02（3） r02（4）
r02（5） r02（6）}
方案C：r03={ r03（1） r03（2） r03（3） r03（4）
r03（5） r03（6）} 。
步骤五 计算灰色关联度并比较方案优劣
由于关联系数给出的信息较为分散，因此通过与指标的权值进行加权对数据进行集中处理，得到各个方案的关联度，计算公式为:
式中i∈N , N={1，2，3}，k∈K,K={1，2，3，4，5，6}，pk为各个二级指标的权值，r0i（k）为各方案的关联系数。
在得到各方案的关联度后，我们即可通过直接比较关联度大小来量化地了解在当前的指标评价体系下各个方案的优劣。当然，如果希望了解方案在单个一级指标下的优劣，也是可以办到的，方法是仅加权方案在该一级指标下的灰色关联系数，得出单指标下的各个方案的灰色关联度，并进行比较。
产品用户体验质量的模糊评价（2）——层次分析法
通常在产品可用性测试之后，我们能收集到诸多的定量数据，比如：任务正确率、求助次数、任务完成时间和用户主观满意度等方面的数据，并能通过任务完成中的观察和测试之后与参加者的交流获得一些定性数据(如可用性问题和优点)，进而通过对这些数据的统计分析获知被测产品的总体可用性状况。但是由于这些度量指标具有不同的属性，对其所进行的简单统计分析就不足以形成对产品可用性的一个可衡量的标准。层次分析的模糊综合评价方法(AHP)为我们处理这些评价数据提供了一种可用的量化统计方式，从而获得用户体验质量的综合性评判。但与灰色关联分析不同：灰色关联分析更侧重于对产品设计的多个方案或者时间版本进行比较分析，其方法是建立在比较的基础之上，而层次分析的综合评价方法则可以对单个产品或设计方案的可用性进行衡量和量化。
当被评事物的属性不明确时，我们根据模糊隶属度函数把被评事物的相关因素合理量化，使模糊环境中的评价在综合性及合理性方面得以保证。并通过层次分析确定被评价因素的权重。结合对总结性测试在这两方面的凋整，进而建立模糊综合评估的模型，对产品的体验质量进行衡量。
层次分析的综合评价方法基本思路是：首先确立评价指标体系,设定评价集并确立评价因素的隶属度函数；然后通过层次分析确定评价因素的权重；对产品的体验质量进行综合评判。
1. 如何确定评价集和隶属度函数：
首先需要确定针对各个指标的评价集V=｛v1,v2,?vn｝及评价因素在V上的隶属度函数,一般采用梯形分布以及半梯形分布来构造隶属度函数，以符合用户体验质量渐变连续的特点，把指标的评价标准分为5个等级（很差，差，一般，好，很好），即定义用户体验质量的等级。假设A为指标在评价集V上的模糊子集，那么隶属度函数如下：
以上函数中v为从用户测试中获得的相关指标的可用性结果数据；v1、v2、v3、v4、v5、v6为各个评价标准等级的阈值，针对任务完成率等，阈值分别是0、0.3、0.6、0.8、0.95、1,而针对问卷评分，阈值分别为1、2、3.5、5.5、6.5、7;而
c1、c2、c3、c4、c5分别为区间 （v1， v2）、（v2， v3）、（v3， v4）、（v4，
v5）、（v5， v6）的中值。
举个例子：
假设经过测试，某位用户的任务完成率为0.955，那么将该用户的任务完成率作为v代入上述的隶属度函数中，取
v1、v2、v3、v4、v5、v6为0、0.3、0.6、0.8、0.95、1， c1、c2、c3、c4、c5为0.15、0.45、0.7、0.875、0.975,则可以得到该用户的任务完成率的模糊子集｛A1、A2、A3、A4、A5｝为｛0、0、0、0.8、1｝。然后将测试的所有用户的任务完成率模糊子集进行合并则可以得出任务完成率的模糊矩阵。
一点小说明：
针对任务完成时间、操作路径长度等这样一些指标，为了确定相对统一的阈值，需要进行转换，转换的公式为：
其中x’为转换后的数值，x为转换前的数值，E为针对该指标的期望值，或者说产品预期达到的数值。经过转换后，这些指标的阈值统一为
｛v1、v2、v3、v4、v5、v6｝＝｛0、0.3、0.6、0.8、0.95｝。
2. 如何确定评价因素的权重：
评价因素的权重需针对具体的指标体系来进行设置，假设当前的一级评价指标包含了n个因素，那么这n个因素两两进行对比，可得到评价因素的权重矩阵A：
aij表示因素Ai相对于因素Aj的重要程度比，符合：①aij＝1（i＝j）；②aji＝1／aij；③aij通过saaty的1－9比率标度法确定，具体如下：
判断矩阵的权重值wi可根据和积法来进行计算，计算方法为：
我们可以采用一致性比率CR对判断矩阵的一致性进行检验，CR的定义如下：
其中λmax是判断矩阵的最大特征值
，RI是已知的平均一致性指标，判断矩阵阶数为2和3时，RI的值分别为0和0.58。当CR小于等于0.1
时，判断矩阵具有良好的一致性，否则需要对判断矩阵进行重新调整。
举个例子：
假设我们的整个评价体系里包含一个对产品交互数据的评价，而交互数据中包含了有效和效率两个指标，那么为了获取针对交互数据这一评价因素的权重，我们首先需要请产品专家和可用性工程师对交互数据的两个评价指标按照1－9比率标度法进行两两比较，如果最后评价的结果为”有效”这个因素和”效率”这个因素比较在同等重要和稍微重要一点之间，即”有效”对比”效率”的评价结果为2，那么根据层次分析确定关于交互数据这一评价因素的权重矩阵可以得到以下结果：
当然，我们的整个产品评价体系不可能只有交互数据一个评价因素，如果整个评价体系建立如下：
那么我们需要按照上述方法再依次对用户满意度和观察者评估的评价因素权重进行计算，最后可以得到用户满意度、观察者评估以及总的用户体验质量评估的权重矩阵。
至此，用户评价集和评价因素权重都已确定，我们要做的就是对这两部分的结果进行综合即可得到最终的体验质量的总体评价结果。
3. 如何进行多层模糊评价：
首先我们需要对在第一步中已获得的用户评价隶属度矩阵进行归一化处理：先对每位用户数据的隶属度数据进行合计，得到针对每个评价指标，用户在各个评价等级下数据的累加值Cj（j＝1，2，3，4，5）；对Cj进行归一化处理，具体方法如下：
以任务完成率（有效性指标）为例，假设的用户任务完成率、隶属各个等级的数据以及通过归一化处理后的数据如下表（表中数据均为假设数据）
用同样方法获得所有一级指标的归一化rj之后，可以确定一级模糊评判矩阵。假设针对任务完成时间（效率指标），其归一化rj为｛0.227,
0.163, 0.253, 0.073, 0.284}，那么交互数据（包括有效和效率两个指标）的一级模糊评判矩阵即为：
此时，可以对评价因素的权重和一级模糊评判矩阵进行合成，得到一级指标综合评判的结果，采用的合成算子为：
bj计算完成后，得到针对一级指标（比如交互数据）的综合评判结果：B1＝（b1
b2 b3 b4 b5），用以上的假设数据进行计算得到的结果为 B1＝（0.076 0.054 0.084
0.272 0.514)。同样的方法对用户满意度和观察者评价的假设数据进行计算，得到用户满意度的B2＝（0
0.007 0.320 0.546 0.126)，观察者评价的B3＝（0 0 0.264 0.577 0.159)。
将一级指标的综合评判结果作为二级评判时的模糊矩阵，获得产品综合的用户体验质量的模糊评判矩阵：
通过将用户体验质量总体的评价因素权重和二级模糊评判矩阵进行合成（合成算子同上），得到用户体验质量的综合评判结果
B＝（0.031 0.025 0.209 0.441 0.294)。
对评价集作相应的等级赋值后（很好95，好82，一般67，差50，很差31），即可得到直观的百分制评价结果。相应的转换公式为：
用假设数据 B＝（0.031 0.025 0.209 0.441 0.294)代入后，a＝83.22处于良好等级。
对于总体用户质量的百分制评价转换方法也适用于各个一级指标体系，比如：交互数据、用户满意度等，从而进一步发现其中产品的体验质量究竟在哪个部分发生问题。
总体上来说，模糊评价方法的应用符合用户体验质量边界不明确的特点，可以弥补由于可用性和用户体验模糊属性所带来的评估上的可能偏差。 | 
