1、 引言

开发过程的质量决定了软件的质量，软件测试过程的质量同样决定了软件测试的质量和有效性。[1]软件测试在软件质量的保证环节起着至关重要的作用[2]，在文献[3]中定义了软件评价过程模型，这是国际上共同遵守的软件评测过程标准。但是在软件测试过程中，测试用例的设计、测试执行过程中的人员都对测试结果有很大的影响。如何约束这些可变因素，量化测试过程的有效性，辅助改善测试过程、使测试过程变得更为有效[4]，是目前软件测试过程中有待解决的问题。针对上述问题，本文提出了一种基于缺陷驱动的测试过程有效性的评价方法，该方法通过统计系统上线后一定周期内（建议统计时间高于3个月，小于12个月）客户反馈的系统缺陷数结合测试过程中发现的缺陷数进行测试执行过程和测试用例设计过程的评价，从而达到对测试过程有效性评价的目的。

2、 软件测试过程及相关评价方法

2.1 软件测试过程

软件测试是一个为了找出错误而执行程序/系统的过程。它强调软件测试是一个找错的过程，而不仅仅证明系统是可以运行的过程。[5]软件测试过程包括了计划、执行、检查、改进，其主要具备了可重复性、可再现性、公正性和客观性等特性。[6]

2.2 缺陷探测率

2.3 六西格玛质量评价方法

σ（西格玛）是希腊文的字母，在统计学中称为标准差，用来表示数据的分散程度。六西格玛是由GE从一种全面质量管理方法演变成为一个高度有效的企业流程设计、改善和优化的技术，并提供了一系列同等地适用于设计、生产和服务的新产品开发工具。在软件质量评价方面，六西格玛方法也得到了广泛的应用。六西格玛改进的标准流程（DMAIC）分为定义、测量、分析、改进和控制五个阶段。其中西格玛水平与软件质量评价如下表[8]：

表1 西格玛水平业绩

由于任何检验、验证手段都不可能发现并排除所有缺陷 [9]，因此测试过程的有效性达应用六西格玛的99.997%，那么测试过程就是可信的、有效的。

3、 基于缺陷驱动的软件测试过程有效性效性评价方法

3.1 测试执行过程缺陷遗漏率

测试执行过程的好坏主要有测试计划、测试执行过程和测试记录等阶段决定。在测试执行过程中，完全的测试是不可能的，测试需要终止。因此在测试过程中，能够发现全部的缺陷是不可能的，必然会有一部分遗漏。从而将一些问题暴露给用户，从而影响用户的满意度、易用性。但是在测试过程中评价一个测试过程的有效性是很困难的，但是通过一段时间的系统上线应用，统计用户反馈缺陷数目，进而比较容易评价测试过程的有效性，就如同2.2节中缺陷探测率的方法。但是缺陷探测率的评价方法仅仅只是通过缺陷数目来决定测试过程的好与坏，这仅仅停留在测试结果的评价阶段，却没有覆盖的整个测试过程。因此在缺陷探测率的基础之上，本文提出一个测试执行过程缺陷遗漏率（Test-Process Lose Defect Percentage，缩写PLDP）的概念。同时在这之上加入了缺陷严重程度的约束条件。其中缺陷严重程度大体分为如下[10]：

严重程度1（致命的）：软件产品在正常运行环境下无法继续为用户提供服务，并无其他工作方式满足同样功能，或者软件产品失效后造成人身伤害或者危机人身安全。

严重程度2（严重的）：极大的影响软件产品提供给用户的服务，或者严重影响系统要求或基本功能的使用。

严重程度3（一般的）：软件产品功能需要增强或者存在缺陷，但是存在对应的补救方法解决。

严重程度4（轻微的）：细小的问题，不需要补救方法或者功能增强，或者操作不方便，容易导致用户误操作。

3.2 测试用例丢失率

测试用例的设计处于测试过程中的上游阶段，是测试执行的基础。测试用例的设计过程覆盖了测试计划、测试规格说明书等测试过程阶段。但是如何评价测试用例设计的优劣目前还无很好的办法。因此针对上述问题，本文提出测试用例丢失率（Test-Case LosePercentage，缩写TCLP）来评价测试用例的优劣程度。定义如下：

TCLP=*100%

其中，是有客户方发现并反馈给技术支持人员的错误并且被测试用例覆盖的测试用例数。是软件测试过程中设计的测试用例数。测试用例丢失率是用来评价测试过程中，测试用例设计及其之前阶段的评价方法。客户发现的问题测试用例并未覆盖到，是测试计划、测试规格说明书和测试用例设计阶段问题。TCLP越小，测试过程中的测试用例设计及其之前的阶段的有效性越高。

3.3测试过程有效性评价方法

测试过程失效率是由测试执行过程缺陷遗漏率和测试用例丢失率二者进行综合考量的。测试过程失效率（Ineffectivity of Testing Process Percentage，缩写ITPP）定义如下：

ITPP =（PLDP+TCLP）/2

测试过程有效性（Effective of Testing Process,缩写ETP）评价方法是通过测试过程失效率进行评价，测试过程失效率越小，测试过程的有效性越高。

ETP = 1-ITPP

对于一个测试项目的测试过程中，测试过程的有效性主要是通过系统上线运行后一定周期内客户发现缺陷数量为统计基础的。由于测试过程也是受各种因素影响，测试有效性达到100%是一个理想值，显示测试过程无法满足。因此本文引入六四格玛理论，当测试有效性达到99.997%时，就认定为测试过程是一个高质量的检测、检验过程；达到四西格玛93%以上99.997%以下，说明测试过程有待改进，但整体测试过程能够基本保证被测软件质量；达到二西格玛68%以上93%以下，说明测试过程不可信，测试结果无参考价值，测试过程必须改进。具体评价结果如下表所示：

表2 测试过程有效性评价结论对比表

4、 结论

软件测试过程的有效性决定了测试结果的可信度，保证了软件产品的质量。本文通过分析软件测试过程，将其分成测试用例及其前期阶段和测试执行及其后期阶段，以被测产品上线运行一定时间内客户发现的缺陷和测试过程中发现缺陷为基本出发点，应用测试执行过程缺陷遗漏率和测试用例丢失率对软件过程有效性进行了评价，通过通过引入六西格玛质量评价方法对软件测试过程有效性进行了初步的划分。但是目前该方法仅仅只在部分软件系统中进行了初步的时间，例如对系统上线运行多长时间统计缺陷数等关键参数还需进一步分析研究。

参考文献:

[1]柳纯录,黄子河,陈绿萍.软件评测师教程[M].北京:清华大学出版社2010:8-9.

[2]王宇.过程决定质量[N].中国计算机报.2003-8-18(B16).

[3] GB/T 18905(ISO 14598.5).评价者用的过程(Porcess for Evaluator)[S].2002

[4]王谦.基于评价软件测试的有效性问题研究[J].计算机光盘软件与应用.2012(4):182-183

[5]Genford J.Myers.The Artof Software Testing[M]. Wiley.2004:5-23.

[6] William E Lewis.软件测试与持续质量改进[M].陈少英,张河涛,译.北京:人民邮电出版社,2008:1-18.

[7] 缺陷探测率DDP[BE/OL].http://baike.baidu.com/view/3602917.htm

[8]Peter Pande, Larry Holpp. What is 6 Sigma[M]. McGraw-Hill.2003:11-21.

[9]王青,伍书剑,李树明.软件缺陷预测技术[J].软件学报.2008.7(7):1565-1580

[10]郑文强,马均飞.软件测试管理[M].电子工业出版社.2010:1-87.