求知 文章 文库 Lib 视频 iPerson 课程 认证 咨询 工具 讲座 Modeler   Code  
会员   
 
  
 
 
 
自动化测试的分层结构
 

2011-2-14 来源:网络

 

  在测试自动化中,测试代码中不仅仅包含测试逻辑,还包含许多其他代码,比如URL拼接、html/xml解析、访问UI控件,等等。若把测试逻辑与这些无关代码混在一起,测试逻辑将会很难理解,也不容易维护。本文会介绍如何用分层结构来解决测试自动化中遇到的这些问题。在这个分层结构中,测试自动化代码会被分成三层:(1)测试用例层,表达应用程序的测试逻辑。(2)领域层,用业务领域术语来给待测系统建模,封装HTTP请求、浏览器控制、结果解析逻辑等,给测试用例层提供一个接口。(3)待测系统层,第2层构建在这一层之上。
  问题
  QA的工作包括设计测试用例、探索性测试(exploratory testing)及回归测试,等等。这些工作有的依靠QA的聪明才智, 而有的却只是重复劳动(例如回归测试)。随着系统中不断地加入新功能,回归测试这类工作耗费的时间也越来越多。
  测试自动化可以解决这个问题。测试自动化后,重复性的劳动会由计算机来做,而测试用例都用计算机程序来表述, 因此QA可以从重复劳动中解脱出来,有更多的时间用在创造性的工作上来。
  在测试自动化中,测试代码并不仅仅包含测试逻辑,也包含许多其他的支撑代码,例如URL拼接、HTML/XML解析、UI控件访问等。 例如要测试一个能接受不同搜索参数,并返回包含特定信息的XML(例如用户数据)的web服务,测试代码需要:
  1. 根据待测操作拼接URL
  2. 使用HTTP库发起HTTP请求
  3. 读取web服务器返回的信息,并解析数据
  4. 对比返回的数据与期望数据


解决方法
  软件开发领域曾遇到过同样的问题,并找到了解决方法,即‘层次结构’(Layered Architecture)。引用《领域驱动设计--软件核心复杂性应对之道》('Domain-driven design: tackling complexity in the heart of software')一书:
  “分层结构的价值在于每一层只关注于程序的特定方面。这使得每个方面的设计都很紧凑,也更容易理解。当然,使用层次结构的最重要原因是把各个重要的方面都分隔开。“
  虽然测试自动化领域关注的是测试领域,但是所遇到的问题的本质却是一样的,因此可以应用相似的解决方案:

  测试用例层包含许多测试用例。这些测试用例都是基于领域层的。领域层用领域语言封装了待测系统。
领域层直接访问待测系统。

  假设我们要测试一个restful web服务。通过这个web服务,我们可以用电话作为关键字搜索客户信息。
  要调用这个web服务,需要发起以下格式的HTTP请求:
  http://{endpoint}/subscribers?telephoneNumber={telephoneNumber}
  服务端返回的以竖线分割的数据包含客户的姓名、电话、地址及其他信息:
  13120205504|ST|C|SQ|112|||FIRST|ST|W|Riverfront|BC|010|68930432|
  测试这个服务的用例为:(1)用能精确匹配一个用户的电话作为关键字搜索,(2)用能精确匹配多个用户的电话作为关键字搜索,(3)用 不完整电话作为关键字搜索等。用例的完整程度完全取决于QA的想象能力。
  对于每个测试用例,执行的数据基本上都一样:(1)拼装包含电话号码关键字的URL,(2)用HTTP库发出HTTP GET请求,(3)解析数据, (4)把真实值与期望值做比较。为了避免上面提到的问题,我们在这里采用分层结构:
  
测试用例层
  这一层的具体实现方式与采用的测试框架有关。在这个例子中,我们采用C#及NBehave。

[Story]

  public class SearchCustomerbyTelephoneNumberStory: TestBase

  {

  [Scenario]

  public void SearchWithAPhoneNumberWhichHasAnExactMatch()

  {

  story.WithScenario("Search with a phone number which has a exact match")

  .Given(AN_ACCOUNT_WITH_PHONE_NUMBER, "01068930432", EMPTY_ACTION)

  .When(SEARCH_WITH, "01068930432",

  SEARCH_WITH_ACTION)

  .Then(ACCOUNT_INFORMATION_SHOULD_BE_RETURNED, "13120205504",

  ACCOUNT_INFORMATION_SHOULD_BE_RETURNED_ACTION)

  .Given(AN_ACCOUNT_WITH_PHONE_NUMBER, "01062736745")

  .When(SEARCH_WITH, "01062736745")

  .Then(ACCOUNT_INFORMATION_SHOULD_BE_RETURNED, "12666056628");

  }

  [Scenario]

  public void SearchWithPartialPhoneNumber()

  {

  story.WithScenario("Search with partial phone number")

  .Given(THREE_ACCOUNTS_WITH_PHONE_NUMBER_STARTS_WITH, "0106", EMPTY_ACTION)

  .When(SEARCH_WITH, "0106", SEARCH_WITH_ACTION)

  .Then(ACCOUNT_INFORMATION_SHOULD_BE_RETURNED, "13120205504",

  ACCOUNT_INFORMATION_SHOULD_BE_RETURNED_ACTION)

  .And(ACCOUNT_INFORMATION_SHOULD_BE_RETURNED, "12666056628")

  .And(ACCOUNT_INFORMATION_SHOULD_BE_RETURNED, "17948552843");

  }

  [Scenario]

  public void SearchWithAPhoneNumberWhichHasSeveralExactMatches() {...}

  [Scenario]

  public void SearchWithNonExistentPhoneNumbers() {...}

  [Scenario]

  public void SearchWithInvalidPhoneNumberValues() {...}

  ...

  }

  这些测试用例用C#写成,但是很接近英语,即使非技术人员也可以读懂。 (请参照Martin Fowler的 BusinessReadableDSL )。这样,其他的团队成员,特别是对领域更熟悉的业务人员,可以很容易的读懂测试用例, 因此也更可能指出测试中遗漏的案例及场景。
  若采用支持以自然语言形式书写测试用例的框架(例如Ruby平台下的Cucumber)则会更好。
  以"ACTION"结尾的变量为lambda表达式。他们是真正的测试逻辑。
  SEARCH_WITH_ACTION会向web服务发出请求,并会解析返回的以竖线分割的数据。类CustomerService和Subscriber在领域层中,他们 会在多个测试中重复使用。 
SEARCH_WITH_ACTION =

  phoneNumber =>

  {

  subscribers = customerService.SearchWithTelephoneNumber(phoneNumber);

  };

  ACCOUNT_INFORMATION_SHOULD_BE_RETURNED_ACTION is for verifying the data

  ACCOUNT_INFORMATION_SHOULD_BE_RETURNED_ACTION =

  accountNumber =>

  {

  //Get expected subscriber from fixture

  Subscriber expected = SubscriberFixture.Get(accountNumber);

  CustomAssert.Contains(expected, subscribers);

  };

领域层
  CustomerService类以真实web服务的名称命名。在需求文档、日常对话、架构图以及代码中,都用这个名称来指代此web服务。 使用统一的名称,能除去二义,提高沟通效率。
public class CustomerService

  {

  public Subscriber SearchWithTelephoneNumber(string telephoneNumber)

  {

  string url =

  string.Format(

  "{0}/subscribers?telephoneNumber={1}",

  endpoint, telephoneNumber);

  //Send http request to web service, parse the xml returned,

  //populate the subscriber object and etc.

  return GetResponse(url);

  }

  ...

  }

  Subscriber类建模了用户。比起用竖线分割的字符串,增加一层数据抽象,用对象表示返回的数据,能使 测试更容易理解(你应该不会偏好用pipedData[101]表示电话号码吧?)。 

public class Subscriber

  {

  public string AccountNumber { get; set; }

  public string FirstName { get; set; }

  public string Surname { get; set; }

  public string TelephoneNumber { get; set; }

  ...

  }

  有了这些领域模型,测试就能直接构建在这些对象上了。例如,可以如此验证所返回的用户名为'Bei':
  Assert.AreEqual("Bei", subscriber.FirstName);
  或者电话号码以'010'开始:
  Assert.IsTrue(subscriber.TelephoneNumber.StartsWith("010"));
  点击这里可以下载到样例代码。代码中演示了如何用分层架构组织测试自动化代码。 你可以在Visual Studio 2008中打开项目,也可以在命令行运行执行'go.bat’来运行所有测试。 'go.bat’运行完后会将测试结果保存在'artifacts’文件夹。源代码中包含三个项目。 名称以with ‘Client’的项目包含领域层。以'Client.Spec’结尾的项目为领域层对应的单元测试(TDD)。'Stories’项目包含测试用例层。这份源代码由真实项目中来,并作了相应修改。某些类返回了硬编码的值,是为了不访问真实的web服务。
  这如何能解决问题?

  1. 问题:'测试逻辑难以理解和修改'。现在我们有了一个单独的层表示测试逻辑。这层构建在领域层之上,因此测试可以 很用简洁、紧凑的自然语言形式表述,因此阅读、理解、推理和修改测试用例的难度,更取决于编码人员的语言能力,而非编码水平。

  2. 问题:'测试很脆弱'。因为我们有一个单独的层把测试用例和待测系统隔离开,若待测系统有任何变化,只有此层 会受到影响。只要在此层做相应修改,构建于此层之上的测试用例仍然可以执行。

  3. 问题: '维护开销大'。因为有了领域层的封装,各个测试用例中不会再有重复代码。要做修改,也只需修改一处。此外, 因为领域模型直接针对待测系统建模,代码也跟容易理解和修改。

  常见问题解答
  问题:这个方法看起来有些复杂,必须要这么做吗?
  回答:这主要取决于待测系统的规模和复杂程度。如果系统规模较小、业务逻辑相对简单,这个方法就过于笨重了。在这种情况下,甚至连测试自动化都可能是浪费时间。如果只花几分钟时间就能手动测试整个系统,那还自动化干什么呢?若系统较为复杂,把测试逻辑和支持代码混合在一起问题应该不大。而对业务逻辑复杂、规模庞大的系统(也就是说,大部分企业级应用) 我偏好这种方式。
  问题:若采用这种结构,那么在开始‘真正’的测试前,需要投入一定时间搭建整个结构,会不会很浪费时间?
  回答:这只是另外一种组织代码的方式。即使代码不按照这种方式组织,还是要写代码拼装URL、解析XML / HTML、验证测试结果。采用这种结构,只需要把代码拆分到不同的类及方法中。此外,没有必要一次完成整个结构。可以根据当前的测试需要,逐步完成整个结构。
  问题:完成这个结构需要相当的面向对象知识,并不是所有QA都可以做。
  回答:实际上测试自动化并不只是QA的职责。项目中其他成员,包括开发人员,也可以参与。
  开发人员有很强的编程功底,编写出的代码质量也相对较高,因此可以负责领域层。而QA擅长设计测试用例、找出各种边界测试条件,因此可以负责测试用例层。



LoadRunner性能测试基础
软件测试结果分析和质量报告
面向对象软件测试技术研究
设计测试用例的四条原则
功能测试中故障模型的建立
性能测试综述
更多...   


性能测试方法与技术
测试过程与团队管理
LoadRunner进行性能测试
WEB应用的软件测试
手机软件测试
白盒测试方法与技术


某博彩行业 数据库自动化测试
IT服务商 Web安全测试
IT服务商 自动化测试框架
海航股份 单元测试、重构
测试需求分析与测试用例分析
互联网web测试方法与实践
基于Selenium的Web自动化测试
更多...