本人参加了公司的CMM评估过程,在这个过程中根据自己的笔记整理了一些内容,其中还有我自己的一些心得,若有建议,请邮件到heqingemail@163.net.。 感受最深的是SEI严谨、科学的工作方法。 一、 评估的基本方法介绍 评估的基本要求在于根据标准对过程进行评价,这个过程涉及的基本方法是验证、确认组织是否达到了了标准要求。 1、 评估的过程 具体过程 序号 过程 说明 1.1 Analyze Requirements 分析需求 1.2 Develop Appraisal Plan 制定计划 1.3 Select and Prepare Team 选择和准备评估小组 1.4 Obtain and Analyze Initial Objective Evidence 获得和分析初始证据 1.5 Prepare for Collection of Objective Evidence 准备证据收集 2.1 Examine Objective Evidence 调研证据 2.2 Verify and Validate Objective Evidence 验证和确认证据 2.3 Document Objective Evidence 记录证据 2.4 Generate Appraisal Results 产生评估报告 3.1 Deliver Appraisal Results 发布评估报告 3.2 Package and Archive Appraisal Assets 评估材料整理 2、验证过程 活动内容 责任者 说明 执行过程的信息提供 组织执行过程的人员 向评估小组提供各类信息、证据 笔记记录 评估小组 通过有效手段收集信息 观察项(Observation)确认 评估小组 整理、确认证据,形成有效证据 PA/KPA结论 评估小组 在证据基础上形成对PA/KPA的结论 评估结论 评估小组 根据PA/KPA的结论形成最终结论 3、评估小组组成基本方法 有如下几点要求: 序号 内容 1 评估领导者为SEI认可的主任评估师,评估结果才能被SEI认可 2 在评估小组中,被评估组织织少有一人参与 3 评估小组至少四人,最多九人 4 工程经验:整个小组在所有相关工程领域必须有平均六年的经验,总共25年的经验 5 管理经验:整个小组总共至少有十年管理经验,至少有一个有六年管理经验 6 被评估组织过程的相关领域,至少有两位相关专家 7 评估小组成员不能是参加评估项目的管理者,或者参加评估人员的直接管理者 8 评估小组接收了评估培训 4、计划和跟踪工作的方法 评估主要获取信息的对象是具体的项目,这些项目作为被评估的项目在评估前已经确定。计划就按照已经确定的项目进行。整个评估过程中,变化最大的是访谈的安排,所以计划安排的主要内容是访谈过程,其它过程SEI基本有严格要求。 访谈安排主要的依据:访谈对象安排,评估范围。访谈计划安排的模板如下: KPA对象 RM SPP SPTO SQA SCM 日程安排 项目经理1 3 1 2 3 3 一 开发人员 2 3 3 2 二 项目经理2 2 2 1 3 二 配置人员 1 3 3 1 三 高级管理者 3 3 3 三 SQA人员 3 3 3 1 3 四 设计人员 3 3 四 说明 “1”表示收集全部证据、“2” 表示收集1/2证据、“3” 表示收集部分证据 评估小组任务安排 KPA对象 RM SPP SPTO SQA SCM 评估人员1 1 2 评估人员2 2 1 评估人员3 2 1 评估人员4 2 1 评估人员5 2 1 评估人员6 2 2 2 评估人员7 2 2 2 说明 “1”表示主要负责,“2”表示参与进行 评估工作的跟踪主要是针对“观察项”形成结论的情况来表示,有两种不同的跟踪表格。 KP为观察项的跟踪表格 KPAKP RM SPP SPTO SCM SQA CO1 0 1 2 2 2 。。。。 0 0 0 0 0 CO4 0 0 0 0 0 AB1 0 0 0 0 0 。。。。 0 0 0 0 0 AB5 0 0 0 0 0 AC1 1 0 0 2 0 。。。。 0 0 0 0 0 AC15 0 1 0 0 0 VE1 0 0 0 0 0 VE2 0 0 0 0 0 VE2 0 0 0 0 0 ME1 0 0 0 0 0 ME2 0 0 0 0 0 说明 “1”表示形成结论,“2”表示要进一步验证,“0”没有开始验证 目标为观察项的跟踪表格 KPAOB RM SPP SPTO SCM SQA OB1 0 1 2 2 2 OB2 0 0 0 0 0 OB3 0 0 0 0 0 OB4 0 0 0 0 0 说明 “1”表示形成结论,“2”表示要进一步验证,“0”没有开始验证 5、证据采集的基本方法 主要有如下几种 序号 方法名称 说明 1 访谈 评估小组通过和组织中相关过程执行者进行面对面的交流获取信息 2 文档检查 检查组织的过程文件贺执行过程中的文档获取信息 3 组织介绍 组织在给评估小组介绍组织情况中反映的信息 4 工具 提问单、调查表、标准对照表等工具提供的信息 其中访谈是其中的重点,有一些严格要求,具体要求如下 序号 要求 1 制定每个访谈的目的,计划每次访谈过程 2 保密原则:访谈内容在访谈后不能向任何人透露 3 平等气氛:被访谈者是提供证据的,必须被尊重 4 访谈内容应当进行记录,评估小组会后要相互验证记录的准确性,完整性 5 确认信息和标准要求的相关性 6、证据确认方法 根据“观察项”来收集证据,“观察项”的证据收集有两种:从“关键实践”(KP)来收集,从“目标”(OBJECTIVE)来收集。 证据必须满足一定的要求才能成立,见下表: 证据来源 是否有效 说明 执行过程描述(访谈) 过程文件 执行产生的文档 √ √ √ 有效 可以验证执行者所说 √ √ × 有效 可以验证执行者所说 √ × √ 有效 可以验证执行者所说 √ × × 无效 无法验证执行者所说 × √ √ 无效 缺少执行者说明过程执行 × √ × 无效 缺少执行者说明过程执行 × × √ 无效 缺少执行者说明过程执行 × × × 无效 缺少执行者说明过程执行 7、形成结论的基本方法 序号 结论对象 结论提出者 可选结论 1 观察项(关键实践) 评小组表决 好、不满足、替代 2 目标 评小组表决 满足、不满足 3 关键过程域 评小组表决 达到、未达到、不相关、未评估 4 成熟度等级 评小组表决 达到、未达到 5 最终结论 评小组表决 达到成熟等级 8、最终结论的内容 序号 内容 说明 1 度量数据 参加评估项目数量、参加评估人员数量、评估小组、检查文档数量等 2 KPA评价 强项、弱项;没有弱项表示达到了CMM标准的要求 3 成熟度等级 达到了的等级(2、3、4、5) 4 建议 过程改进建议,用于被评估组织制定改进的行动计划 5 NO CMM 提供一些从被评估组织收集到的,非CMM相关内容的信息 二、个人的一些经验 预评估后、正式评估前要制定完善的行动计划,这个计划一定要基于预评估的结果。即根据预评估结果确定问题域,根据问题域确定行动方案。 评估前安排“评估倒计时”,让大家感受到评估日益临近,这样有利于全面准备评估工作,营造全员参与的气氛。 评估前要将评估的日程表提前发给参与评估的人员,便于它们为参加]评估安排时间。 评估中安排好后勤工作,例如会议室准备、白板、纸张、待审文档、饮食茶水等,营造一个愉快的评估环境。 评估小组一般要填写大量文档、报告,应当在评估室准备较多的白纸、笔记本、打印机。在进行访谈的时候,一定要听清楚问题,没有搞清楚是什么问题,一定要向提问者咨询。
序号
过程
说明
1.1
Analyze Requirements
分析需求
1.2
Develop Appraisal Plan
制定计划
1.3
Select and Prepare Team
选择和准备评估小组
1.4
Obtain and Analyze Initial Objective Evidence
获得和分析初始证据
1.5
Prepare for Collection of Objective Evidence
准备证据收集
2.1
Examine Objective Evidence
调研证据
2.2
Verify and Validate Objective Evidence
验证和确认证据
2.3
Document Objective Evidence
记录证据
2.4
Generate Appraisal Results
产生评估报告
3.1
Deliver Appraisal Results
发布评估报告
3.2
Package and Archive Appraisal Assets
评估材料整理
活动内容
责任者
执行过程的信息提供
组织执行过程的人员
向评估小组提供各类信息、证据
笔记记录
评估小组
通过有效手段收集信息
观察项(Observation)确认
整理、确认证据,形成有效证据
PA/KPA结论
在证据基础上形成对PA/KPA的结论
评估结论
根据PA/KPA的结论形成最终结论
内容
1
评估领导者为SEI认可的主任评估师,评估结果才能被SEI认可
2
在评估小组中,被评估组织织少有一人参与
3
评估小组至少四人,最多九人
4
工程经验:整个小组在所有相关工程领域必须有平均六年的经验,总共25年的经验
5
管理经验:整个小组总共至少有十年管理经验,至少有一个有六年管理经验
6
被评估组织过程的相关领域,至少有两位相关专家
7
评估小组成员不能是参加评估项目的管理者,或者参加评估人员的直接管理者
8
评估小组接收了评估培训
KPA对象
RM
SPP
SPTO
SQA
SCM
日程安排
项目经理1
一
开发人员
二
项目经理2
配置人员
三
高级管理者
SQA人员
四
设计人员
“1”表示收集全部证据、“2” 表示收集1/2证据、“3” 表示收集部分证据
评估小组任务安排
评估人员1
评估人员2
评估人员3
评估人员4
评估人员5
评估人员6
评估人员7
“1”表示主要负责,“2”表示参与进行
KP为观察项的跟踪表格
KPAKP
CO1
0
。。。。
CO4
AB1
AB5
AC1
AC15
VE1
VE2
ME1
ME2
“1”表示形成结论,“2”表示要进一步验证,“0”没有开始验证
目标为观察项的跟踪表格
KPAOB
OB1
OB2
OB3
OB4
方法名称
访谈
评估小组通过和组织中相关过程执行者进行面对面的交流获取信息
文档检查
检查组织的过程文件贺执行过程中的文档获取信息
组织介绍
组织在给评估小组介绍组织情况中反映的信息
工具
提问单、调查表、标准对照表等工具提供的信息
其中访谈是其中的重点,有一些严格要求,具体要求如下
要求
制定每个访谈的目的,计划每次访谈过程
保密原则:访谈内容在访谈后不能向任何人透露
平等气氛:被访谈者是提供证据的,必须被尊重
访谈内容应当进行记录,评估小组会后要相互验证记录的准确性,完整性
确认信息和标准要求的相关性
证据来源
是否有效
执行过程描述(访谈)
过程文件
执行产生的文档
√
有效
可以验证执行者所说
×
无效
无法验证执行者所说
缺少执行者说明过程执行
7、形成结论的基本方法
结论对象
结论提出者
可选结论
观察项(关键实践)
评小组表决
好、不满足、替代
目标
满足、不满足
关键过程域
达到、未达到、不相关、未评估
成熟度等级
达到、未达到
最终结论
达到成熟等级
度量数据
参加评估项目数量、参加评估人员数量、评估小组、检查文档数量等
KPA评价
强项、弱项;没有弱项表示达到了CMM标准的要求
达到了的等级(2、3、4、5)
建议
过程改进建议,用于被评估组织制定改进的行动计划
NO CMM
提供一些从被评估组织收集到的,非CMM相关内容的信息