游戏测试与开发过程的关系
CMM(Software Capability Maturity Model)软件成熟模型,大家都比较熟悉了,但在实施的过程中却存在这样那样的问题,对于游戏开发就更没有一个固定的路可以讲了,我们的团队是一个长期的游戏开发团队,对游戏开发有着很深的认识,我们认为游戏的Process(过程)实际上也是软件过程,不过是特殊的游戏软件开发过程,各个生命周期还是相通的。所以我们总结一套以测试作为质量驱动的、属于自己的开发过程。下图是游戏的迭代式开发过:
由于网络游戏的生命周期也是3、4年,所以采用迭代式的开发过程,既可以适应网络游戏本身这种长周期的开发,又可以利用RUP的迭代式开发的优点与CMM的里程碑控制,从而达到对游戏产品的全生命周期的保证。
在游戏开发过程中,通用软件的需求分析阶段被策划所代替,但起的作用是一样的,明确游戏的设计目标(包括风格,游戏玩家群),游戏世界的组成,为后期的程序设计,美工设计,测试提出的明确的要求。由于开发是一个阶段的过程,所以测试与开发的结合就比较容易,从图上我们可以看到测试的工作与游戏的开发是同步进行的,每一个开发阶段中测试都进行了参与,能够深入的了解到系统的整体与大部分的技术细节,从而从很大程度上提高了测试人员对错误问题判断的准确性,并且可以有效的保证重要游戏系统的稳定。
游戏策划与测试计划
测试过程不可能在真空中进行。如果测试人员不了解游戏是由那几个部分组成的,那么执行测试就非常的困难,同时测试计划可以明确测试的目标,需要什么资源,进度的安排,通过测试计划,既可以让测试人员了解此次游戏测试中那些是测试重点,又可以与产品开发小组进行交流。在企业开发中,测试计划书来源于需求说明文档,同样在游戏开发过程中,测试计划的来源则是策划书。策划书包含了游戏定位,风格,故事情节,要求的配制等等。在策划评审中我们的高级测试人员可以参与进来,得到详细的游戏策划书,从里面了解到游戏的组成,可玩性,平衡(经济与能力),与形式(单机版还是网络游戏),而我们测试在这一阶段主要的事情就是通过策划书来制定详细的测试计划,主要分两个方面一是游戏程序本身的测试计划,比如任务系统,聊天,组队,地图等等由程序来实现的功能测试计划,二是游戏可玩性有测试计划,比如经济平衡标准是否达到要求,各个门派技能平衡测试参数与方法,游戏风格的测试,三是关于性能测试的计划,比如客户端的要求,网络版的对服务器的性能要求。同时测试计划书中还写明了基本的测试方法,要设计的自动化工具的需求,为后期的测试打下良好的基础。同时由于测试人员参与到策划评审,资深的游戏测试人员与产品经理由于对游戏也有很深入的了解,会对策划提出自己的看法,包含可玩性,用户群,性能要求等等并形成对产品的风险评估分析报告,但这份报告不同于策划部门自己的风险分析报告,主要从旁观者的角度对游戏本身的品质作充分的论证,从而更有效的对策划起到控制的作用。
游戏设计与测试
设计阶段是做测试案例设计的最好时机。很多组织要么根本不做测试计划和测试设计,要么在即将开始执行测试之前才飞快地完成测试计划和设计。在这种情况下,测试只是验证了程序的正确性,而不是验证整个系统本该实现的东西。而我们的测试则会很明确,因为我们的测试计划已经写的很明确,需要测试那些游戏系统,但是我们还需要了解系统的组成,而设计阶段则是设计系统的过程,所有的重要系统均是用UML状态图进行了详细的描述,比如用户登陆情况。如图2:
图2用户登陆情况
在我们的团队中资深的测试人员要具备的一项基本的素质就是可以针对UML的用例图,时序图,状态图来设计出重要系统的测试案例,只有重要系统的质量得到充分的测试,游戏程序的质量才可以得到充分的保证。比如上图中就是一个用户登陆游戏系统的时序图。从这里我们可以很明确的了解玩家是如何验证并登陆系统的,在这个过程中要与那些对象进行交互,比如这里我们就是三个系统之间的交互,客户端(玩家部分),网关,账号服务之间的一个时序变化关系,为了能够完整的对这个流程进行测试,我们必需设计出可以覆盖整个流程的测试案例,并考虑其中可能的非法情况,因为这个时序图只是考虑了用户正常登陆成功的情况,并没有考虑密码错误,通信失败等许多可能存有的情况,并形成完整的测试案例库,从而对登陆系统的系统化测试做了充分的准备。同时通过这张图,性能分析人员还可以分析出可能存的性能瓶颈,比如这里可能有的瓶颈如下,总网关是否可以达到多少用户的并发,是如果达不到,是否可以采用分布式部署或是支持负载平衡,三者之间的网络带宽的比例分配,账号服务器是否可以承载多个网关的连接请求,最大连接请求可以达到多少等等,同时会针对这些风险做性能测试的设计,并提出自动化测试的需求,比如模拟玩家登陆的压力工具等等。
同时在设计评审时,测试人员的介入可以充分的对当前的系统构架发表自己的意见,由于测试人员的眼光是最苛刻的,并且有多年的测试经验,可以比较早的发现曾经出现的设计上的问题,比如在玩家转换服务器时是否作了事务的支持与数据的校验,在过去设计中由于没有事务支持与数据的校验从而导致玩家数据丢失,而这些风险可以在早期就规避掉。上面所说的是对游戏程序本身的测试设计,对于游戏情节的测试则可以从策划获得,由于前期的策划阶段只是对游戏情节大方向上的描述,并没有针对某一个具体的情节进行设计,进入设计阶段时,某个游戏情节逻辑已经完整的形成了,策划可以给出情节的详细设计说明书,称为任务说明书,通过任务说明书我们可以设计出任务测试案例,比如某一个门派的任务由那些组成,我们可以设计出完整的任务测试案例,从而保证测试可能最大化的覆盖到所有的任务逻辑,如果是简单任务,还可以提出自动化需求,采用机器人自动完成。
游戏测试与开发
开发与测试一直有人认为是不可以平行进行的,必需要先开发后测试,但是软件的开发过程又要求测试必须早期介入,但在这里这种矛盾得到了很好的解决。我们采用了每日编译,将测试执行和开发结合在一起,并在开发阶段以编码--测试--编码--测试的方式来体现。也就是说,程序片段一旦编写完成,就会立即进行测试。普通情况下,先进行的测试是单元测试,但是一个程序片段也需要相关的集成测试,甚至有时还需要一些特殊测试。特别是关于接口测试,像游戏程序与任务角本、图片的结合,大家都认为需要提前测试,通过每日编你可以把已经写好的程序片段接合起来,形成部分的集成测试,从而有效的体现的接口优先测试的原则。同时由于软件测试与开发是并行进行的,并且实行的是软件缺陷优先修改的策略,所以很少会出现缺陷后期无法修改的情况,并且由于前期的测试案例的设计与自动化工具的准备,我们不需要投入太多的人力就可以极高的保证游戏软件的产品质量,特别是重要系统的质量。由于我们的游戏程序是每日不断的完善,所以集成测试也在同步的进行之中,当开发进入最后阶段时,集成测试也同步的完成了。这里有一个原则,也就是我前面所说的,测试的主体方法和结构应在游戏设计阶段完成,并在开发阶段进行补充(比如在游戏开发中会有相应的变动,或是某个转移变地址的变化,这就需要实时的更新)。这种方法会对基于代码的测试(开发阶段与集成阶段)产生很重要的影响,但是不管在那个阶段,如果在执行前多做一点计划和设计,都会大幅度的提高测试效率,改善测试结果,同时还有利于测试案例的重用与测试数据的分析,所以我们的测试计划是在策划时就形成了,为后继的测试形成了良好的基础。
集成测试阶段
集成测试是对整个系统的测试。由于前期测试与开发的并行,集成测试已经基本完成,这时只需要对前期在设计阶段中设计的系统测试案例运行一下就OK了。我们主要的重心在集成测试中的兼容性测试,由于游戏测试的特殊性,对兼容性的要求特别高,所以我们采用了外部与内部同部进行的方式,内部我们有自己的平台试验室,搭建主流的硬软件测试环境,同时我们还通过一些专业的兼容性测试机构对我们的游戏软件做兼容性分析,让我们的游戏软件可以跑在更多的机器上。
游戏可玩性测试
游戏可玩性测试也是非常重要的一块,主要包含四个方面: