UML软件工程组织

单元测试极大地提高C/C++应用质量
2006.08.23

介绍

如果你没有执行单元测试,你就会同时失去第一时间改善软件质量和削减开发时间和成本的机会。这种牺牲当然是令人失望的。在此之前,开发人员一直没有一种可行的方法来执行单元测试。现在,JAVA开发人员能够使用ParaSoft的Jtest自动化JAVA单元测试,而C/C++开发人员能够利用ParaSoft最新的C++Test工具自动化C/C++单元测试。

本文阐述了执行单元测试的方法、优点和难点,然后描述了C++Test任何能够给C/C++开发人员带来巨大的好处。

什么是单元测试?

我们对单元测试的定义是测试应用中最小的单元,如C/C++中的一个类。C/C++单元测试的目的是执行每个类中的每一个方法或函数,检测所有存在的功能性问题、错误和构造弱点。发现这些典型的问题通常涉及到三种测试方法:黑盒测试、白盒测试和回归测试。黑盒测试通过确定类的公共界面是否依照定义执行,检查类的功能性;执行这种类型的测试不需要有关实现细节的知识。白盒测试通过确定类在遇到非预期输入时执行是否正确,检查所有的类的方法和函数(包括保护和私有成员)的健壮性;执行这种类型的测试需要对类的实现细节的完整知识。回归测试检查是否类的修改会在原来正确的代码中引入新的错误。

什么是单元测试的优点?

单元测试被公认为软件开发过程中的一个关键步骤。单元测试能够简化错误检测,在减少开发时间和成本的同时提高软件质量。

单元测试促进错误检测的第一个方面是使你更接近错误。图1和图2说明了这一点。

       图1:应用测试

图1显示了一个包含许多对象的应用的测试模型。大椭圆表示应用,小椭圆表示对象,箭头表示用户输入,红星表示潜在的错误。

为了发现错误,必须修改输入,对象间的相互作用将迫使某对象引发潜在的错误。这一点无疑是有一定难度的。想象一下你站在一张台球桌前,所有的球围成一个三角形放置在桌子中间,要求你一杆击球将中间的球打入指定的袋中。这是一件多么困难的事情啊!就像要设计一个输入从而发现应用中的一个错误一样。由于其难度,开发人员只能依赖应用软件的运行失败来发现错误,但却仍然没有测试到许多类。因此只做集成测试是一件非常困难的事情。

单元级测试提供了一种更有效的发现错误的方法。如图2所示。

图2:单元测试

单独测试一个类时(与其它对象分离),由于更接近错误,找到潜在的错误就会变得容易得多。用上述台球的例子来比喻,就像是台面上只有壹两个球时,一杆将一个球击入指定的袋中。

单元测试促进错误检测的第二个方面是,将你从在问题中艰难跋涉去修正一个简单错误的困境中解救出来。因为错误是相互关联和作用的,在较高的层次上找到和修正一个错误,常常会发现另外的问题。当你在较高层次上测试时,原始的错误就象是洋葱的最内层一样,另外的错误就象紧包着内层的其它层:只有把外层都剥掉才能看到最内层。当你测试每一个类时,错误还很少有机会建立在其它错误之上,并相互作用引起奇怪的行为。因此在单元级上检测错误会容易的多。

最重要的结果是,更容易的错误检测能够在改善应用质量的同时大量削减开发时间和成本。首先,由于能够更容易地找到错误,就会减少发现它们的时间和资源。其次,由于你一写完一个类,就能发现和改正其中的错误,你就不需要在以后花费时间重新了解和摸索。最后,最重要的理由是:由于类的相互作用和关联性,在单元级修改一个类只会影响到原始的类,而在较高的层次上修改一个类可能会改变多个程序部件的设计和功能性。越迟发现问题,通常就要修改越多的代码。当修改的代码量增加时,两个其它因素也会随之增加:

  • 修改每一个错误所需的时间和费用。
     
  • 在代码中引入新的错误的机会。
 一次又一次的研究证明,随着问题被检测出来的时间的推迟,发现软件错误所需的时间和成本会惊人地增加。请看下面的研究结果:
  • IBM: 根据IBM的一份内部资料指出,确定软件错误的相对成本是:在设计阶段,1.5;编码前,1;编码中,1.5;测试前,10;测试中,60;交付后,100。[Watts Humphrey]
  • TRW: 确定错误的相对时间:需求分析阶段,1;设计阶段,3-6;编码阶段,10;开发测试阶段,15-40;接受性测试阶段,30-70;应用运行中,40-1000。[Boehm]
  •  IBM: 确定错误的相对时间:设计评审,1;代码检查,20;测试,82。[Remus]
  •  JPL: Bush得出的每个错误的平均成本:编码,US$90-US$120;测试,US$10,000。[Bush]
  •  Freedman and Weinberg: 使用设计评审和代码检查手段的项目在测试时发现错误的数量会减少10倍,测试成本降低50%-8%,包括评审和检查的成本。[Freedman]
  什么是单元测试的难点?

基于上述信息,单元测试看上去就象一剂万能药。如果是这样的话,为什么每一个C/C++开发人员不马上对每一个类进行单元测试?就目前可以使用的技术来说,对C/C++的单元测试是一件困难、烦琐和耗时的事情,没有很好的工具来自动化这一过程,使得许多C/C++开发人员望而生畏。

执行单元测试的第一步是是目标类变得可测。这需要两个工作:

设计一个运行目标类的测试驱动程序。
 设计桩函数,它们为被测类所引用的任何外部资源返回值。
 建立一个测试驱动,需要建立一个新的类,除了测试原始类以外它不能用于任何其它目的。测试驱动应该具有下列特性:

  • 一个指定设置和清除的标准方式。
  • 一个选择个别测试和所有有效测试的方法。
  • 一个分析输出的预期(或非预期)结果的机制。
  • 一个标准的错误报告形式。
 为了充分而正确地测试类,你需要设计一个能够完全检查被测类的测试驱动;若干次修改和重写这样一个测试驱动是免不了的。一旦建立了测试驱动,你必须仔细检查它不能包含任何错误。测试驱动中的一个错误会破坏这个测试,但是你无法单独测试一个类,你也不能测试测试驱动本身。

如果你的类引用任何还没有准备好或不可访问的外部资源(如外部文件、数据库和CORBA对象等),你必须建立相应的桩函数,它们的返回值类似于这些实际的外部资源应该返回的值。当建立这些桩函数时,你需要选择桩函数的返回值,它们将影响程序的执行路径...

为了测试类的功能性必须执行任何的路径,
足够的路径能够提供彻底的测试覆盖性。
下一步是设计和建立合适的测试用例。为了彻底地测试类的结构和功能性,你应该设计两中类型的测试用例:黑盒和白盒。

黑盒测试用例基于说明和规格文档。特别地,至少应该为规格文档的每个入口建立一个测试用例;更好的是这些测试用例能够测试每个入口的各种边界条件。还需要为发现的每一个错误增加另外的测试用例,以及任何你认为必要的其它测试。

白盒测试用例通过各种不同的输入充分地执行类的所有方法以发现缺陷。对于手工测试来说这是非常困难的。为了建立有效的白盒测试用例,你必须研究类的内部结构,然后编写测试用例尽可能完全地覆盖类的所有方法,以及覆盖所有可能引起类崩溃的输入。要达到较高的测试覆盖性,需要有效的白盒测试用例它们能够执行相当多数的路径。例如,一个典型的1万行的程序,大约有1亿条可能的路径;手工建立能够执行所有这些路径的输入几乎是不可行的。

在建立这些测试用例以后,你将要执行整个测试用例并分析结果,确定在那里出现了错误、崩溃和薄弱环节。你还需测量这些测试的覆盖性,以确定类被测试的程度以及需要追加的测试用例。

任何时候一个类被修改后,你应该执行回归测试,保证没有引入新的错误和/或原来的错误已经被更正了。回归测试包括白盒和黑盒测试用例,并且分析结果以确定类的质量是否得到的改善。

C++Test: 一个自动化的单元测试解决方案

ParaSoft认识到了C/C++单元测试内在的的价值和难度,开发了C++Test,一个自动的C/C++单元测试工具,增强了ParaSoft的自动错误防止和错误检测产品线。C++Test自动执行所有可能的单元测试过程。特别地,它能够自动:

  • 建立每个被测类的测试驱动程序。
  • 建立任何必要的桩函数,并允许你定制这些桩函数的返回值或加入自己的桩函数。
  • 单键执行白盒测试的所有步骤。
  • 生成黑盒测试用例的基础集合。
  • 运行黑盒测试用例。
  • 生成黑盒测试的输出结果。
  • 执行回归测试。
  • 跟踪测试覆盖性。
 C++Test能够测试所有类型的C/C++项目;C++Test甚至能够支持COM对象,允许你对调用COM对象方法的类和方法执行自动的单元测试。

C++Test还是高度可定制的;例如,你可以改变测试用例的生成参数,过滤一定的文件、类或方法,在任何层次上(从这个项目到单个方法或测试用例)进行测试。

另外,C++Test很容易与你目前的开发过程合作。C++Test直接安装在DevStudio环境中,因此你能够立即测试任何正在开发中的类。只要在Developer Studio的工具栏上按下Test File或Test Project按钮,那么C++Test就会自动在C++Test图形用户界面中打开你的文件,为每个类建立一个测试驱动程序并自动测试每个类。

图3:C++Test图形用户界面

通过自动化单元测试过程,C++Test使得单元测试切实可行,即使对时间非常紧张的项目和开发人员也是如此,并且比手工单元测试具有更好的精确行和正确行。这一切将转化成更高质量的应用,并且以更短的时间以及更低的开发、支持和维护成本。

C++Test做什么?

1. 自动建立测试驱动和桩函数

C++Test自动建立一个测试驱动程序,其设计目标是极大化类的测试覆盖性和错误检测。为类建立测试驱动,你只要简单地打开这个类,然后按Build Test键。C++Test将自动建立测试驱动程序。

另外,如果被测的方法需要调用当时还不存在或无法访问的函数,C++Test能够自动生成桩函数;这样能够测试与外部资源操作的交互作用和不包含任何隐藏的弱点。C++Test不是实际调用这些函数,而是调用桩函数并返回桩函数提供的值。如果你需要控制使用的返回值,你可以建立一个桩调用表,生命输入/输出的关系。

图4:建立桩调用表

你还能加入用户定义的桩函数。例如,如果你要使用原始的函数,且该函数定义在不同的文件中;或者你想要仿真原始函数的行为,而用一个简单的函数替代它。

图5:键入用户自定义的桩调用

自动生成C/C++类的测试驱动程序和桩函数的能力是C++Test所独有的;只有C++Test能够自动测试C/C++类(一当它能够编译时),而不需要用户的任何干预。使得你能够尽快地自动检测代码错误,以最容易、最省钱和最快速的方法找到和修正它们。如果没有这样的自动化工具,大量的时间和资源消耗将失去单元测试的潜在好处和现实意义。

2. 白盒测试

C++Test提供了一种有效并且高效的方法执行白盒测试。C++Test完全自动执行所有的白盒测试过程,自动生成和执行精心设计的测试用例。自动标记任何运行失败,并以一种简单的图示化结构显示。然后自动保存这些测试用例,能够方便地用于以后的回归测试。

由于C++Test能够自动生成桩函数,或允许你加入自己的桩函数,因此它能够测试引用外部对象的类。换句话说,C++Test能够运行任何一个或一组类,并自动生成和执行一组测试用例,它们被设计成能够发现尽可能多的错误。

图6:执行自动白盒测试

C++Test允许你定制白盒测试用例的生成,和在什么层次上(项目、文件、类或方法)执行测试。

3. 黑盒测试

C++Test通过自动化黑盒测试的大部分操作,减轻了这类测试的负担。特别是以两种方法自动化黑盒测试的第一阶段--建立测试用例:

帮助你设置每个测试用例的结果
你可以简单地输入测试用例输入,然后让C++Test运行测试用例并自动确定实际的输出结果。如果结果正确,不需要其它动作。如果结果不正确,你可以输入预期的输出结果。这样比手工输入每个测试用例的结果更快更容易。

自动生成测试用例的核心集合
C++Test自动设计了一组广谱的白盒测试用例。当使用这些测试用例在黑盒测试时,你只需简单地观察实际的输出结果,然后对任何不正确的结果输入预期的值。

当你需要输入或修改测试用例时,你可以在C++Test自动生成的测试用例框架种简单地键入相应的值。这将显著地加快建立测试用例的过程。

图7:键入一个测试用例

在自动化建立黑盒测试用例的大多数步骤之外,C++Test完全自动化余下的黑盒测试步骤。按一个键,你能够对项目、文件、类或方法运行一个或一组。C++Test然后自动执行所有的测试用例,报告所有的输入/输出关系,并标记任何实际输出与预期不一致或导致程序崩溃的测试用例。

4. 回归测试

C++Test完全自动化与回归测试有关的所有步骤。C++Test首次测试某个类时,自动保存其测试和测试参数。当需要执行回归测试时,你可以打开合适的项目和文件,运行所有原来的白盒和黑盒测试用例;C++Test会自动运行完全相同的测试用例和测试参数,并告之发现的任何问题。这意味着你能够立即知道修改是否引入了任何错误。

5. 测试覆盖性分析

为了帮助你测量当前使用的测试用例集合的有效性,并且给你提供达到尽可能高的覆盖性的信息,C++Test自动监视测试覆盖性:

  • 行覆盖
  • 累计行覆盖
  • 基本块覆盖
  • 分支(判断)覆盖
  • 条件覆盖
  • MC/DC覆盖(DO-178B标准)

图8:浏览测试结果

C++Test实时跟踪测试覆盖性,然后建立一个综合测试覆盖性报告。覆盖性窗口图示化地说明了当前正在被执行的代码行,已执行过的行和每行的执行次数。因此,它不仅指出了一个代码行是否被测试过,而且说明了被测试的有多彻底。这些信息对于确定那些代码需要追加测试是非常有帮助的。

6. 集成的单步调试

如果你选择在方法测试时捆绑调试器,C++Test将自动自动激活Microsoft Visual C++调试器,这样使得你在用C++Test测试任何方法时仍然能够方便地进行单步调式。

7. 防止错误

C++Test能够自动执行两种类型的变成标准。其内建的特性允许你自动执行动态的变成标准,如“总是对每个类执行单元测试”和“总是单步调试类”等。另外,假如你使用CodeWizard--ParaSoft的自动化可定制编程标准强化工具,C++Test可以自动运行CodeWizard。

8. 运行时错误检测

C++Test还能帮助你执行类一级的运行时错误自动检测。如果你安装了Insure++,C++Test可以自动运行类和方法通过Insure++,它将检查下列错误:

  • 内存引用错误/内存未初始化
  • 内存泄漏
  • 内存分配错误
  • 变量定义冲突
  • I/O错误
  • 指针错误
  • 库调用错误
  • 逻辑错误
  • 算法错误
 这意味着你能够在类开发的第一时间检测运行时错误,而且无需自己做任何运行数据。C++Test自动生成大量而精心设计的测试用例,能够帮助你更彻底、更方便和更快速地检测运行时错误。

结论

通过执行单元测试,你能够有效地防止许多错误的出现,尽早检测出已存在的错误,并且比其它测试手段和技术更有效。影响C/C++开发人员执行单元测试的主要障碍是需要消耗大量的时间的资源,目前的一些单元测试工具仍然存在着这样的问题。C++Test的推出克服了这一障碍。C++Test做到了开发人员总是希望却不敢相信的事情:自动化C/C++单元测试。

 


版权所有:UML软件工程组织