blame | history | patch | commit | commitdiff | show whitespace
Patrick Carney
2018-07-27 c87267246eca3a97055364896f73990713cadc71 
 exercises/2-attack-of-the-pipelines/README.md


@@ -5,7 +5,7 @@


![jenkins-time](../images/exercise2/jenkins-time.jpg)




## Exercise Intro


This lesson is focused on creating a pipeline for our application. What is a pipeline? A pipeline is a series of steps or stages that takes our code from source to a deployed application. There can be many stages to a pipeline but a simple flow is to run a `build > bake > deploy`. Usually the first stage is trigger by something like a git commit. There could be many steps in each of these stages; such as compiling code, running tests and linting. All of these are done to try and drive up code quality and give more assurance that what is deployed is behaving as expected. In the exercise we will create Jenkins pipeline by configuring it through the UI, this will create an un-gated pathway to production


This lesson is focused on creating a pipeline for our application. What is a pipeline? A pipeline is a series of steps or stages that takes our code from source to a deployed application. There can be many stages to a pipeline but a simple flow is to run a `build > bake > deploy`. Usually the first stage is triggered by something like a git commit. There could be many steps in each of these stages; such as compiling code, running tests and linting. All of these are done to try and drive up code quality and give more assurance that what is deployed is behaving as expected. In the exercise we will create Jenkins pipeline by configuring it through the UI, this will create an un-gated pathway to production




First we will explore the sample application and get it running locally. The sample app is a `todolist` app - the `Hello World` app of the modern day. 




@@ -37,18 +37,20 @@


1. [VueJS](https://vuejs.org/) - Vue (pronounced /vjuː/, like view) is a progressive framework for building user interfaces. It is designed from the ground up to be incrementally adoptable, and can easily scale between a library and a framework depending on different use cases. It consists of an approachable core library that focuses on the view layer only, and an ecosystem of supporting libraries that helps you tackle complexity in large Single-Page Applications.




## Big Picture


> From the previous exercise; we created some supporting tooling needed by our app/


> From the previous exercise; we created some supporting tooling needed by our app. Now we will introduce our Sample App and create a pipeline for it




![big-picture](../images/big-picture/big-picture-2.jpg)




_____




## 10,000 Ft View


> _This lab requires users to take the sample TODO app and create a build pipeline in Jenkins by clicking your way to success ending up with an app deployed to each of the namespaces created previously_




2. Import the projects into your gitlab instance. See README of each for build instructions


2. Import the projects into your gitlab instance. See the README of each for build instructions




2. Deploy a `MongoDB` using the provided template to all project namespace.




2. Create 2 pipline with three stages (`build`, `bake`, `deploy`) in jenkins for `develop` & `master` branches on the `todolist-fe` such that:


2. Create 2 pipelines with three stages (`build`, `bake`, `deploy`) in Jenkins for `develop` & `master` branches on the `todolist-fe` such that:


    * a `Build` job is responsible for compiling and packaging our code:


        1. Checkout from source code (`develop` for `<yourname>-dev` & `master` for `<yourname>-test`)


        2. Install node dependencies and run a build / package


@@ -58,8 +60,8 @@


        5. Trigger the `bake` job with the `${BUILD_TAG}` param


    * a `Bake` job should take the package and put it in a Linux Container


        1. Take an input of the previous jobs `${BUILD_TAG}` ie `${JOB_NAME}.${BUILD_NUMBER}`.


        2. Checkout the binary from Nexus and unzip it's contents


        3. Run an oc start-build of the App's BuildConfig and tag it's imagestream with the provided `${BUILD_TAG}`


        2. Checkout the binary from Nexus and unzip its contents


        3. Run an oc start-build of the App's BuildConfig and tag its imagestream with the provided `${BUILD_TAG}`


        4. Trigger a deploy job using the parameter `${BUILD_TAG}`


    * a `deploy` job should roll out the changes by updating the image tag in the DC:


        1. Take an input of the `${BUILD_TAG}`


@@ -96,7 +98,7 @@


git checkout develop


```




2. Open up Gitlab and login. Create a new project (internal) in GitLab called `todolist-fe` to host your clone of the project and copy it's remote address. ![new-gitlab-proj](../images/exercise2/new-gitlab-proj.png)


2. Open up Gitlab and login. Create a new project (internal) in GitLab called `todolist-fe` to host your clone of the project and copy its remote address. ![new-gitlab-proj](../images/exercise2/new-gitlab-proj.png)




2. In your local clone of the `todolist-fe`, remove the origin and add the GitLab origin by replacing `<YOUR_GIT_LAB_PROJECT>`. Push your app to GitLab


```bash


@@ -116,7 +118,7 @@


</p>


![node-version](../images/exercise2/node-version.png)




2. The `todolist-fe` has a package.json at the root of the project, this defines some configuration for the app including it's dependencies, dev dependencies, scripts and other configuration. Install the apps dependencies


2. The `todolist-fe` has a package.json at the root of the project, this defines some configuration for the app including its dependencies, dev dependencies, scripts and other configuration. Install the app's dependencies


```bash


npm install


```


@@ -212,7 +214,7 @@


git checkout develop


```




2. On GitLab; create a new project (internal) called `todolist-api` to host your clone of the project and copy it's remote address as you did for the previous repositories.


2. On GitLab; create a new project (internal) called `todolist-api` to host your clone of the project and copy its remote address as you did for the previous repositories.




2. In your local clone of the `todolist-api`, remove the origin and add the GitLab origin by replacing `<YOUR_GIT_LAB_PROJECT>`. Push your app to GitLab


```bash


@@ -263,7 +265,7 @@


    * `./server/api` is where the api's controller, data model & unit test are stored. 


    * `./server/mocks` is a mock server used for when there is no DB access    


    * `./server/config` stores our Express JS config, header information and other middleware.


    * `./server/config/environment` stores enviromnent specific config; such as connectivity to backend services like MongoDB.


    * `./server/config/environment` stores environment specific config; such as connectivity to backend services like MongoDB.


    * `./tasks` is a collection of additional `Grunt` tasks which will be used in later exercises


    * `Grunt` is a taskrunner for use with Node.JS projects


    * `package.json` contains the dependency list and a lot of very helpful scripts for managing the app lifecycle


@@ -284,7 +286,7 @@


  },


```




2. To run the application; start a new instance of the MongoDB by running the following. This will pull a mongodb image from Dockerhub and then start it for our API to connect to. 


2. To run the application; start a new instance of MongoDB by running the following. This will pull a mongodb image from Dockerhub and then start it for our API to connect to.


```bash


npm run mongo


```


@@ -323,7 +325,7 @@


### Part 2 - Add configs to cluster 


> _In this exercise; we will use the OpenShift Applier to drive the creation of cluster content required by the app such as MongoDB and the Apps Build / Deploy Config_




4. On your terminal navigate to the root of the `todolist-fe` application. The app contains a hidden folder called `.openshift-applier`. Move into this `.openshift-applier` directory and you should see a familiar looking directory structure for an ansible playbook. 


4. On your terminal navigate to the root of the `todolist-fe` application. The app contains a hidden folder called `.openshift-applier`. Move into this `.openshift-applier` directory and you should see a familiar looking directory structure for an Ansible playbook.


```


.openshift-applier


├── README.md


@@ -441,8 +443,8 @@


    5. Trigger the `bake` job with the `${BUILD_TAG}` param


* a *bake* job should take the package and put it in a Linux Container


    1. Take an input of the previous jobs `${BUILD_TAG}` ie `${JOB_NAME}.${BUILD_NUMBER}`.


    2. Checkout the binary from Nexus and unzip it's contents


    3. Run an oc start-build of the App's BuildConfig and tag it's imagestream with the provided `${BUILD_TAG}`


    2. Checkout the binary from Nexus and unzip its contents


    3. Run an oc start-build of the App's BuildConfig and tag its imagestream with the provided `${BUILD_TAG}`


    4. Trigger a deploy job using the parameter `${BUILD_TAG}`


* a *deploy* job should roll out the changes by updating the image tag in the DC:


    1. Take an input of the `${BUILD_TAG}`


@@ -455,9 +457,9 @@




5. With the BuildConfig and DeployConfig in place for both our apps (`*-fe` & `*-api`) from previous steps; Log into Jenkins and create a `New Item`. This is just jenkins speak for a new job configuration. ![new-item](../images/exercise2/new-item.png)




5. Name this job `dev-todolist-fe-build` and select `Freestyle Job`. All our jobs will take the form of `<ENV>-<APP_NAME>-<JOB_PURPOSE>`. ![freestyle-job](../images/exercise2/freestyle-job.png)


5. Name this job `dev-todolist-fe-build` and select `Freestyle Project`. All our jobs will take the form of `<ENV>-<APP_NAME>-<JOB_PURPOSE>`. ![freestyle-job](../images/exercise2/freestyle-job.png)




5. The page that loads is the Job Configuration page and it can be returned to at anytime from Jenkins. Let's start configuring our job. To conserve space; we will make sure Jenkins only keeps the last builds artifacts. Tick the `Discard old builds` checkbox, then `Advanced` and set `Max # of builds to keep with artifacts` to 1 as indicated below 


5. The page that loads is the Job Configuration page and it can be returned to at anytime from Jenkins. Let's start configuring our job. To conserve space; we will make sure Jenkins only keeps the last build's artifacts. Tick the `Discard old builds` checkbox, then `Advanced` and set `Max # of builds to keep with artifacts` to 1 as indicated below


![keep-artifacts](../images/exercise2/keep-artifacts.png)




5. Our NodeJS build needs to be run on the `jenkins-slave-npm` we bought in in the previous chapter. Specify this in the box labelled `Restrict where this project can be run` ![label-jenkins-slave](../images/exercise2/label-jenkins-slave.png)


@@ -515,7 +517,7 @@


    * Add string parameter type


    * set the Name to `BUILD_TAG`. This will be available to the job as an Enviroment Variable.


    * You can set `dev-todolist-fe-build.` as the default value for ease when triggering manually.


    * The description is not required but a handy one for reference would be `${JOB_NAME}.${BUILD_NUMBER} of previous build eg dev-todolist-fe-build.1232`


    * The description is not required but a handy one for reference would be `${JOB_NAME}.${BUILD_NUMBER} of previous build e.g. dev-todolist-fe-build.1232`


<p class="tip">


    NOTE - Don't forget to include the `.` after `dev-todolist-fe-build` in the Default Value box.


</p>


@@ -575,7 +577,7 @@


```


![deploy-step](../images/exercise2/deploy-step.png)




5. When a deployment has completed; OpenShift can verify it's success. Add another step by clicking the `Add build Step` on the Build tab then `Verify OpenShift Deployment` including the following:


5. When a deployment has completed; OpenShift can verify its success. Add another step by clicking the `Add build Step` on the Build tab then `Verify OpenShift Deployment` including the following:


    * Set the Project to your `<YOUR_NAME>-dev`


    * Set the DeploymentConfig to your app's name `todolist-fe`


    * Set the replica count to `1`


@@ -608,7 +610,7 @@


5. Back on Jenkins; We can tie all the jobs in the pipeline together into a nice single view using the Build Pipeline view. Back on the Jenkins home screen Click the + beside the all tab on the top.


![add-view](../images/exercise2/add-view.png)




5. On the view that loads; Give the new view a sensible name like `dev-todolist-fe-pipeline` and select Build Pipeline


5. On the view that loads; Give the new view a sensible name like `dev-todolist-fe-pipeline` and select Build Pipeline View


![new-pipeline](../images/exercise2/new-pipeline.png)




5. Set the Pipeline Flow's Inital Job to `dev-todolist-fe-build` and save.


@@ -630,7 +632,7 @@


NOTE - This section is optional! Git webhooks are useful but not needed for Enablement completion.


</p>




7. In order to allow GitLab trigger Jenkins (because of the OpenShift Auth Plugin), we need to allow the `Anonymous` user trigger builds. Head to your Jenkins Dashboard and click on `Manage Jenkins` on the left hand side. Then scroll down and click `Configure Global Security`. Alternatively, type in `https://jenkins-<YOUR_NAME>-ci-cd.apps.some.domain.com/configureSecurity/` . You should see a screen like so:


7. In order to allow GitLab to trigger Jenkins (because of the OpenShift Auth Plugin), we need to allow the `Anonymous` user triggered builds. Head to your Jenkins Dashboard and click on `Manage Jenkins` on the left hand side. Then scroll down and click `Configure Global Security`. Alternatively, type in `https://jenkins-<YOUR_NAME>-ci-cd.apps.some.domain.com/configureSecurity/` . You should see a screen like so:


![jenkins-global-security](../images/exercise2/jenkins-global-security.png)




7. Scroll down to the `Authorization` section and allow `Anonymous` to create jobs. Do this by navigating through the matrix of checkboxes and check `Build` and `Cancel` under the Job heading. Leave all other user behaviour as is. Anonymous is the user that GitLab will act as so this allows the WebHook to trigger builds. (The screenshot has been cropped to bring Job further to the left.) Hit `Save` or `Apply`.