您可以捐助,支持我们的公益事业。

1元 10元 50元





认证码:  验证码,看不清楚?请点击刷新验证码 必填



  求知 文章 文库 Lib 视频 iPerson 课程 认证 咨询 工具 讲座 Model Center   Code  
会员   
   
 
     
   
 订阅
  捐助
从“CI搭建兽”到“流水线即代码”
 
   次浏览      
 2018-2-26
 
编辑推荐:
本文来自于简书,主要讲解了怎么搭建环境,案例讲解,代码代码详解等等。

操练目的

练习在CloudBees Jenkins Enterprise上手工配置部署流水线,使得每次代码提交,都能自动触发该部署流水线,并将这个过程可视化,以便一眼就能看到谁的代码提交在哪个环节引起了什么质量问题,以便快速进行修复。

因为本次操练的主要目的是手工搭建部署流水线,为节省时间,被部署的代码并不是一个完整的Web应用程序,而是使用了一个Java应用程序和一个Robot Framework (Python) Web UI自动化应用程序:前者仅仅是一个用Maven创建的有单元测试的简单Java应用,后者仅仅是Robot Framework官网上用于演示用的webdemo应用程序。用两者的结合来模拟一个完整的Web应用程序。

在ThoughtWorks中国区,大家亲热地把用手工搭建部署流水线的人称为“CI搭建兽”,意指这种手工配置过程既繁琐费神又毫无乐趣,比较原始,比那些已经进化的人所从事的工作要低级。;-))

而更加高级的工作应该是“流水线即代码”的实践,来让配置脚本能与代码一起进行版本控制。这样的好处是:Ops可以不用通过访问生产环境,就能知道生产环境上的配置情况;非运维人员如Dev,就有机会去学习这些运维配置代码并且加以修改,提升整个团队的DevOps能力;另外工具能方便地读取这些代码,来自动化地维护基层设施,大幅度提升Ops的工作效率。想了解更多相关的DevOps的良好实践,不妨阅读我的文章“实例化DevOps原则”。

为了知道“流水线即代码”到底有多甜,需要先吃一点“CI搭建兽”的苦。本文会先描述“CI搭建兽”的辛苦手工工作,最后会把这些手工工作用10行“流水线即代码”写出来并加以运行。

准备工作

环境准备

本文以macOS Sierra 10.12.3为例来准备环境。

1.安装JDK 1.8

2.安装Maven 3.3.9

3.安装Git 2.10.1

4.安装Python 2.7(macOS应该自带)

5.安装Python包管理工具Pip 9.0.1

7.安装Robot Framework 3.0.2

8.pip install robotframework

9.安装robotframework-selenium2library

10.pip install robotframework-selenium2library

11.安装Java IDE IntelliJ 社区版来编辑Java单元测试代码

12.安装PyCharm 社区版来编辑Python Web UI测试代码

准备测试代码:可以用下述命令git clone 本次操练的代码,其中mobilebanking文件夹存放了一个Java应用程序,robotframework-webdemo存放了一个Web UI测试程序;

git clone https://github.com/wubin28/jenkins-mobile-banking.git

也可以用下面的方法自己动手来创建和下载这两个程序:

用下述Maven命令来创建一个带有单元测试的简单的Java应用程序mobilebanking

mvn archetype:generate -DarchetypeCatalog=internal

下载WebDemo-20150901.zip作为Web UI测试代码,并将该压缩包解压到文件夹robotframework-webdemo中

下载CloudBees Jenkins Enterprise,可以选择On-Premise来下载WAR包(v 2.46.2.1)

单独运行自动化单元测试

在配置流水线前,先看看Java应用程序的单元测试能否运行通过。

打开命令行窗口,进入上述mobilebanking所在的文件夹,执行下面命令,

mvn clean test

单独运行自动化Web UI测试

再看看Python的自动化Web UI测试程序能否正常运行。

1.在命令行窗口中进入上述robotframework-webdemo文件夹,运行下面的命令来启动一个待Web UI测试的Web应用程序

python demoapp/server.py

2.用浏览器访问下面的链接,来查看待测试的Web应用程序;如果想成功登录这个Web页面,那么用户名请填写demo,密码请填写mode

http://localhost:7272/

3.在命令行窗口的robotframework-webdemo文件夹中,运行下面的命令来单独运行Web UI自动化测试。如果运行时发现浏览器驱动的错误,则需要另行下载安装相应的浏览器驱动程序,并配置到PATH环境变量里(例如,从chromedriver网站上下载Chrome浏览器驱动.ZIP文件,解压后,把相应的目录位置放到~/.bash_profile里面的PATH中,再source ~/.bash_profile使其生效)

robot login_tests

运行CloudBees Jenkins并查看插件

再看看流水线所依赖的两个插件是否已安装。

1.运行下述命令来启动CloudBees Jenkins

java -jar jenkins.war

2.打开浏览器访问下面的CloudBees Jenkins链接,在页面上选择Trial来申请14天的免费试用许可证

http://localhost:8080/

3.在首页上点击“Jenkins -> Manage Jenkins -> Manage Plugins -> Installed”来查看下面两个插件是否已经安装(CloudBees Jenkins Enterprise默认已经安装)

Delivery Pipeline Plugin
Robot Framework plugin

CI搭建兽的辛苦手工工作

先看看要搭建的流水线的样子。这个流水线有两个Stage:一个是COMMIT,用来针对第#53号代码提交运行自动化单元测试;另一个是ACCEPTANCE,用来在单元测试运行通过后,针对同样的代码提交运行基于Web界面的自动化验收测试。

要搭建的流水线的样子

创建流水线的第一个Stage:COMMIT

首先创建流水线的第一个Stage——COMMIT,来运行自动化单元测试。

1.在Jenkins首页点击“New Item”链接

2.在Enter an item name输入框中输入这个item的名字,比如可以叫mobilebanking-commit

3.点击"Maven project",然后点击OK按钮,进入配置页面

4.勾选“Delivery Pipeline configuration”,在下面出现的Stage Name输入框中,填写这个stage的名字,比如叫COMMIT;在下面的Task Name输入框中,填写这个stage的描述信息,比如叫Build mobilebanking and run unit tests

5.在Source Code Management框中,选择Git,然后在下面的Repository URL输入框中填入Java源代码的位置,可以是github的地址,这里填写了本机地址file:///Users/twer/OOR/katas/remote/jenkins-mobile-banking

6.在Build Triggers框中,勾选“Poll SCM”,并在Schedule框中填写* * * * *,表示每分钟Jenkins会查看是否有代码提交进而触发自动化单元测试;* * * * *这种写法对这次操练很有用,但在实际工作环境中不建议使用,因为这会增大服务器的负载。在工作环境中推荐用类似这样的格式H/5 * * * *,表示每5分钟,Jenkins会按Job名字的Hash来分散Poll(轮询)该Job的SCM,已达到负载均衡的目的

7.在Build框中,向Root POM输入框中填写pom文件的位置mobilebanking/pom.xml,向Goals and options框中填写Maven的命令参数clean test来运行单元测试

8.点击页面左下角的“Save”按钮来保存

让COMMIT Stage单独自动触发

咱们需要试一试COMMIT Stage能否随着代码提交而自动触发单元测试。

1.在IntelliJ里打开Java应用程序mobilebanking,随便加一行无关紧要的代码,比如重复调用一遍方法checkUsernameAndPassword(username, password);,但前提是单元测试能够运行通过

2.在命令行中用git命令来提交代码,然后立即在Jenkins首页Dashboard上,观察mobilebanking-commit这个Item;它会在1分钟内被自动触发

git add .
git commit -m "call method checkUsernameAndPassword() twice"

创建流水线的第二个Stage:ACCEPTANCE

这个ACCEPTANCE Stage是用来运行Robot Framework Web UI自动化测试的。

1.回到Jenkins的首页Dashboard,点击“New Item”链接

2.在Enter an item name输入框中输入这个item的名字,比如可以叫mobilebanking-acceptance

3.点击"Freestyle project",然后点击OK按钮,进入配置页面

4.勾选“Delivery Pipeline configuration”,在下面出现的Stage Name输入框中,填写这个stage的名字,比如叫ACCEPTANCE;在下面的Task Name输入框中,填写这个stage的描述信息,比如叫Run acceptance tests

5.在Build框中,点击“Add build step”,然后选择“Execute shell”;在随后出现的Command输入框中,输入下面的脚本来运行Robot Framework Web UI自动化测试

robot /<完整路径……>/robot-framework-demo/WebDemo/login_tests

6.点击“Save”保存

将两个Stage串起来

现在来把第二个Stage ACCEPTANCE挂到第一个Stage COMMIT之后,使得第一个Stage正常运行结束后,能自动触发第二个Stage继续运行。

1.回到Jenkins的首页Dashboard,点击mobilebanking-commit进入这个Item的页面,然后点击左边的Configure,在页面底部的Post-build Actions框中,点击Add post-build action,选择Trigger parameterized build on other projects,在Projects to build输入框中输入mobilebanking-acceptance,在Trigger when build is输入框中选择“Stable”,勾选Trigger build without parameters,点击Save保存

2.在IntelliJ里mobilebanking这个Java应用程序中,将上述重复调用的方法checkUsernameAndPassword(username, password);删掉

3.在命令行中用git命令来提交代码,然后立即在Jenkins首页Dashboard上,观察mobilebanking-commit和mobilebanking-acceptance这两个Item;它们先后会在1分钟内被自动触发

git add .
git commit -m "delete duplicated method checkUsernameAndPassword()"

创建一个视图来可视化Deployment Pipeline

用视图将上面两个Stage串起来的配置进行可视化,以便方便地看到谁的代码提交在哪个环节引起了什么质量问题。

1.回到Jenkins的首页Dashboard,点击All右边的"+"号,在View Name输入框中输入一个视图的名字,比如叫Deployment Pipeline;再选择"Delivery Pipeline View",点击OK;

2.在配置页面中勾选“Show commit messages”来显示代码提交描述信息,勾选“Show test results”来显示单元测试运行情况信息

3.在Pipelines框中,Component的Name输入框中输入该视图的名字,比如叫“Deployment Pipeline”,在Initial Job输入框中选择mobilebanking-commit来作为初始运行的Stage;点击OK保存

让视图可视化一次代码提交

现在用上面创建的Deployment Pipeline视图,来可视化一次代码提交

1.在IntelliJ里打开Java应用程序mobilebanking,增加一行代码来重复调用一遍方法checkUsernameAndPassword(username, password);

2.在命令行中用git命令来提交代码,然后立即在Jenkins首页Dashboard的Deployment Pipeline视图中,观察整个视图;它会在1分钟内被自动触发;另外如果把浏览器调整到仅占据屏幕的一半,那么在运行ACCEPTANCE Stage时,会在屏幕的另一半看到运行Web UI自动化测试的界面

git add .
git commit -m "call method checkUsernameAndPassword() twice again"

让代码编译失败一次

让代码编译失败一次,看看流水线有什么变化。

1.在IntelliJ里打开Java应用程序mobilebanking,增加一行代码来调用没有创建出来的方法,比如调用方法abc();

2.在命令行中用git命令来提交代码,然后立即在Jenkins首页Dashboard的Deployment Pipeline视图中,观察整个视图;它会在1分钟内被自动触发,COMMIT变红,如下图所示;

git add .
git commit -m "call method abc()"

让单元测试运行失败一次

让单元测试运行失败一次,看看流水线有什么变化。

1.在IntelliJ里打开Java应用程序mobilebanking,删除刚才的代码abc();;然后让方法loginWithUsernameAndPassword()返回false,使得单元测试失败

2.在命令行中用git命令来提交代码,然后立即在Jenkins首页Dashboard的Deployment Pipeline视图中,观察整个视图;它会在1分钟内被自动触发,COMMIT变黄,如下图所示;

git add .
git commit -m "make unit test failed"

让Web UI测试运行失败一次

让Web UI测试运行失败一次,看看流水线有什么变化。

1.在IntelliJ里打开Java应用程序mobilebanking,让方法loginWithUsernameAndPassword()返回true,使得单元测试能成功

2.在PyCharm里面打开Python项目robotframework-webdemo,将gherkin_login.robot测试文件中的welcome page should be open改为运行失败,具体改法是将resource.robot文件中的Title Should Be Welcome Page一行,改为Title Should Be Welcome Page 1

3.在命令行中用git命令来提交代码,然后立即在Jenkins首页Dashboard的Deployment Pipeline视图中,观察整个视图;它会在1分钟内被自动触发,ACCEPTANCE变红,如下图所示;

git add .
git commit -m "make web ui test failed"

让整个流水线成功运行一次

1.在PyCharm里面打开Python项目robotframework-webdemo,将resource.robot文件中的Title Should Be Welcome Page 1一行,改回Title Should Be Welcome Page

2.在命令行中用git命令来提交代码,然后立即在Jenkins首页Dashboard的Deployment Pipeline视图中,观察整个视图;它会在1分钟内被自动触发,整个流水线会变绿,如下图所示;

git add .
git commit -m "make web ui test passed

10行代码搞定“CI搭建兽”的全部手工工作

下面看看如何用“流水线即代码”的实践,用10行Groovy代码搞定“CI搭建兽”的全部手工工作。而这10行代码都放到一个名为Jenkinsfile的纯文本文件中,下面会配置Jenkins,让它运行这个文件的Groovy脚本和配置语句。

1.先在Jenkins的Web UI里面定义一个流水线

2.在Jenkins首页点击“New Item”链接

3.在Enter an item name输入框中输入这个item的名字,比如可以叫pipeline-as-code

点击"Pipeline",表示要创建一个流水线,然后点击OK按钮,进入配置页面

1.在Build Triggers框中勾选"Poll SCM",然后在下面的"Schedule"输入框中输入* * * * *,这和前面配置COMMIT Stage一样,都表示每分钟Jenkins会查看是否有代码提交进而触发流水线

2.在Pipeline框中的Definition选择框中,选择"Pipeline script from SCM",表示Jenkins会从版本控制系统来读取Jenkinsfile;

3.在SCM选择框中选择"Git",并在下面的Repository URL输入框中填写`file://<完整路径……>/jenkins-mobile-banking,来指定Jenkinsfile所在的版本控制系统

最后在最下方的Script Path输入框中,填写mobilebanking/Jenkinsfile,来指定Jenkinsfile的确切位置,点击"Save"保存

在Jenkinsfile里面编写Groovy脚本来定义流水线

在Java程序所在的mobilebanking文件夹中,用IntelliJ创建一个名为Jenkinsfile的纯文本文件,并在该文件中插入以下Groovy代码

node {
stage('COMMIT') {
echo 'The COMMIT stage'
sh 'mvn -f <full path>/jenkins-mobile-banking/mobilebanking/pom.xml clean test'
}
stage('ACCEPTANCE') {
echo 'The ACCEPTANCE stage'
sh 'robot <full path>/jenkins-mobile-banking/robotframework-webdemo/login_tests'
}
}
作者:伍斌_Ben
链接:https://www.jianshu.com/p/b790436f53b3
來源:简书
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

这里,Jenkins一旦见到了node语句,就要为这个流水线分配executor和workspace,所以如果没有node语句,流水线就不会被执行。

stage语句指定了Stage;echo语句用来在console上打印一句话,方便查看运行结果;sh语句指定了要在Unix/Linux机器上运行一句脚本,如果是在Windows机器上,则要用bat语句。

在COMMIT Stage里面的sh语句,执行了maven命令,来运行单元测试,其中mvn命令指定了pom.xml文件的位置;在ACCEPTANCE Stage里面的sh语句,执行了Robot Framework的Web UI 自动化测试。

运行一下流水线

1.在运行pipeline-as-code流水线前,需要把前面“CI搭建兽”搭建的mobilebanking-commit中Poll SCM里面的* * * * *改为H/5 * * * *,来让这个Job每5分钟执行一次,从而当有代码提交时,不会与后面配置的pipeline-as-code流水线同时执行,以便于单独观察流水线

2.在命令行中用git命令来提交代码,然后立即在Jenkins首页Dashboard中点击"pipeline-as-code",来观察这个流水线的视图;它会在1分钟内被自动触发,流水线会变绿,如下图所示;如果把浏览器缩小到屏幕的一半,那么就能看到屏幕另一半Web UI自动化测试在打开另一个浏览器来运行;再过几分钟,“CI搭建兽”搭建的mobileb

git add .
git commit -m "update Jenkinsfile"

部署流水线与单件流

单件流指的是,正在制作的产品的各个模块,能从最初的对其增加价值的加工步骤,直接传递到下一个增值加工步骤进行加工,并最终被传递到客户手中,在这个过程中,各个步骤之间没有发生等待或者排队的现象(参见《丰田套路》)。

而如果在各个步骤的传递过程中发生了等待或排队,那就等同于建立了库存。软件开发中常见的库存包括排队等候开发的需求、排队等候测试的代码、排队等待修复的缺陷、排队等待上线的产品特性、甚至Ticket和邮件系统;

隐藏很深的库存可以由诸如那些有固定期限(比如每月一次)的“用户验收测试”的流程来造成——月初几天就开发测试完毕的产品特性必须要被存放近一个月,等到月底“用户验收测试”后才能继续往下游走。软件开发中的上述库存就是让项目延期的最大原因。

企业如果能做到单件流,那么就相当于消灭了库存,让价值在不同环节之间流动得最快,进而实现了全局优化。

这次操练所搭建的部署流水线,可以作为一个工具来可视化软件开发从代码提交之后的价值流。如果代码在各个Stage之间都无须排队且自动化地流动,那么就实现了Continuous Deployment,也就是在代码提交之后实现了软件开发最高效的单件流。

 

   
次浏览       
相关文章

为什么要做持续部署?
剖析“持续交付”:五个核心实践
集成与构建指南
持续集成工具的选择-装载
相关文档

持续集成介绍
使用Hudson持续集成
持续集成之-依赖管理
IPD集成产品开发管理
相关课程

配置管理、日构建与持续集成
软件架构设计方法、案例与实践
单元测试、重构及持续集成
基于Android的单元、性能测试