雷神如何做过程改进？

2016年设置的Humphrey软件过程成就奖（全称是The Watts S. Humphrey Software Process Achievement Award ）是用来表彰在软件过程改进方面有突出贡献的个人和组织，这是当今世界上软件过程改进的最高荣誉，可以说是过程改进的图灵奖。IEEE和SEI制定了三个评判标准：过程改进成果必须有重要价值（significant）、有明显量化的提升（measured）、可持续执行（sustained）、并且可在一定范围内共享推广（shared）。第一个赢家是我比较熟悉的雷神(Raytheon)的 Integrated Defense System的DFSS（Design forSix Sigma）团队。

雷神总部

雷神是一家美国著名的军工企业，它成立于1922年，也算是一家百年老店了。2017年，全球员工有7万3千人，营业额达254亿美金（人均产值近35万美金）。雷神的IDS (Integrated Defense System – 集成防卫系统）产品线是它五大业务领域之一，雷神一些拳头产品都来自这一产品线。

IDS的几个著名产品

今天全球软件业面临的挑战都一样，软件系统越来越复杂，性能要求越来越高，不光要在短时间内开发出满足用户要求的系统，而且还要保证系统开放性和适应性，对了，成本还要低。如果我们的改进思维还束缚在旧的框框中，如果没有勇气、智慧、锲而不舍的实践去不断创新改进，那就很难在残酷的市场竞争中占有一席之地的。产品线中的

雷神IDS产品线中的DFSS（Design for Six Sigma）改进团队，在美国过程改进圈子里是大大有名，在这里产生了一系列创新、领先的有效过程改进方法，这些方法给雷神带来了巨大的经济价值。他们获得第一个Humphrey软件过程成就奖是名至实归的，也是本文的主角。

DFSS成立于2005年，它的使命是识别、开发、试点、推广“最佳实践”和新的过程元素，更好的预测、管理、改进产品的性能（Performance），可生产性（Producibility），可承受成本（Affordability），给客户带来更大的利益。许多DFSS推出的创新方法已经有效的融入到雷神的集成产品开发过程中（Raytheon’s Integrated Product Development Process）。这些方法在识别关键客户需求、架构开发、关键设计参数的优化、开发使用能发挥作用的（Enabling）过程性能模型、成本和工期分析、系统的合理、有效集成、验证、确认等方面起到了关键作用。

雷神IDS的DFSS团队十几年的改进工作主要覆盖8个方面的内容：

1.  客户声音（voice-of-customer）分析，架构/设计平衡分析（有兴趣读者可以看下之前发的架构和设计的短文：闲时随笔之五：是架构还是设计 （点击阅读））

2.  前端架构/设计平衡空间（trade space）评估

3.  性能建模、集成、分析

4.  用蒙特卡洛模拟分析成本风险

5. 用可持续原则和实践研究制造和安装设计（Design forManufacture and Assembly）的应用

6.  用实验设计（DOE –Design of Experiments）做统计测试优化（STO – statistical test optimization）

7.  关键链项目管理（critical chain project management）、进度的风险评估和执行关键链等概念的研究

8.   用DFSS的方法和供应商合作

这些改进成果给雷神IDS产品线带来了巨大的价值，Humphrey奖要求这些价值必须能够量化的展示出来。DFSS使用著名的Oregon Productivity Matrix (OPM)的方法为确定的目标建立了成功判定指标，同时建立了一个公共数据库管理DFSS的改进活动。用OPM建立的年度或阶段指标包含的内容有：财务节省、ROI比例（财务节省/过程改进投入）、DFSS相关的培训课时、介入的客户和供应商个数等。考核决定行为，DFSS建立的年度目标同时也会分解到团队和个人的考核中去，这也是雷神人力资源部门每年工作的一部分。这里敲下黑板，CMMI 2.0的Performance Report完全可以参考DFSS的做法。

下面用一个具体例子，给大家介绍一个雷神（DFSS）是如何做过程改进的。

使用实验设计和组合设计方法改进统计测试优化方法

（STO – Statistical Test Optimization）

改进机会的识别

今天，复杂软件系统的测试团队都面临着同样的挑战：如何在进度压力下、测试资源不足的情况下，完成所有客户需求和期望的验证和确认。业界数据显示30%到50%的开发成本来自测试和相关的修复工作，显然测试领域有很大的改进潜力和机会。

由于预算限制，美国国防部（DoD）几年前就开始鼓励军工项目的测试策略从战斗场景驱动转为更加科学方法和的统计方法驱动。2010年底，DoD发布了一份军工测试指导文件，其中要求军工供应商“在设计严格、合情理的评估系统结果的测试计划时，增加科学和统计方法的使用。同时要求测试机构提供相应的执行证据。

  改进方案

  DFSS完善了现有的·实验设计方法，根据性能及差异要求，用统计方法识别出最优输入因子及其关联组合。同时通过整合不同领域专业特点及统计方法，在保证测试覆盖前提下，将测试成本和周期最小化。

        新的方法根据决策风险、战场相应的测试环境客观确定实验次数（number of trials），再根据控制偏差，指导执行次序，以区分出系统反馈的噪音和信号。和设计实验技术相结合，组合设计方法也被用来确保测试覆盖。下图是是一些常见的实验设计，里面包含了测试目标，对应的设计方法，以及一些应用实例。

试点、度量、优化

下图是新方法的试点效果总结，我真希望做CMMI五级评估时能看到类似的改进试点总结。

在保障覆盖要求的前提下，新的方法在八类不同测试中所需测试次数都有明显下降（从25%到80%）。这意味着在保证质量的前提下，测试进度和成本都有了明显改进！

推广、落地、持续改进

试点成功后，新的STO方法被融入到雷神的Integrated Product Development Process 过程体系中，并建立了必要的支持体系，其中包括支持工具。整个雷神的老大（至少可以比肩国内军工集团的老大），Tom Kennedy博士这样表达了他对这个改进专题毫无保留的支持：

“There is no way around it – we have to find ways to DO MORE WITH LESS. The integrated program use of statistical techniques such as DOE (实验设计) has proven itself to be a powerful enabler in our test organization efforts to reduce cost and cycle time while providing our customers with confidence that our system will perform。”

Tom Kennedy博士：雷神CEO

不知对CMMI 2.0有些了解的同学是否发现了Do more with less的真正出处，原来它出自雷神老大之口。整段话的意思就是新的STO方法省钱、升力、省时间，同时质量毫不受损！想象一下如果集团董事长在夸奖你做的改进工作，那是多大的鼓励啊！

持续使用、改进的前提是持续度量，推广后的数据显示，测试关键覆盖没有降低，还有不同的提升（最多达32%）。同时测试用例数下降了45%。试想谁会不喜欢这样的5000或CMMI的改进呢？！

几点感想

从过程改进角度来讲，雷神是我比较熟悉的一家军工企业，做过培训、咨询、参与过其中一次非涉密的评估。雷神是当年SEI的一面旗帜，在我记忆中，它的IDS产品线是全球第一家CMM五级组织，也是CMM/CMMI五级复评次数最多的组织。CMMI 2.0不少好的改进明显借鉴了雷神的实践，它的许多实践也值得中国软件组织借鉴和学习。

目前国内军工组织的改进都是各个所、研究院各自为政，雷神的经验告诉我们在集团一级做些统一筹划、管理也许会起到更好的效果。在系统开发层面分段管理模式下，缺乏统一筹划有可能忽略重要的顶层考虑。

这篇文章是写给中国勤奋、脚踏实地的5000和CMMI的改进者们，特别希望大家能够从中学习到过程改进的正确做法，确保让5000和CMMI产生价值。

雷神的工程技术副总裁，Mark Russell，是这样评价雷神的过程价值的：

The Integrated Product Development Process eliminates doubt and provides more predictable program results, therefor allowing our employees to focus their creativity where it belongs – on innovating solutions for our customers

在5000和CMMI的改进路上有这样那样的问题，雷神在过程改进方面取得的成就告诉我们：不能丢掉软件过程改进和质量的信念，不能丧失对5000和CMMI的信心。他山之石可以攻玉，如果您认可雷神改进做法的借鉴作用，请您帮助转发，让更多的人有所了解。