donal
2018-04-17 fdaee0b1bee00ad88be5a5ea84adbfddfa75c4e5
commit | author | age
74d1f1 1 # The Manual Menace
0f4d08 2
74d1f1 3 > In this lab learners will use Ansible to drive automated provisioning of Projects, Access Control, Git, Jenkins and Nexus
D 4
5 _____
0f4d08 6
D 7 ## Learning Outcomes
8 As a learner you will be able to
74d1f1 9
D 10 1. Run the OpenShift Applier to automate creating cluster content
11 1. Create and admin project namespaces in OpenShift
12 1. Deploy commonly used applications to support the development process
0f4d08 13
D 14 ## Tools and Frameworks
15
74d1f1 16 * [GitLab](https://about.gitlab.com/) - Community driven Git server now with integrated DevOps Toolchain.
D 17 * [Nexus](https://www.sonatype.com/nexus-repository-sonatype) - Repository manager for storing lots of application types. Can also host `npm` and `Docker` registries.
18 * [Jenkins](https://jenkins.io/) - OpenSource Build automation server. Highly customisable with plugins.
19 * [Ansible](https://www.ansible.com/) - IT Automation tool used to provision and manage state of cloud and physical infrastructure.
b4d469 20 * [OpenShift Applier](https://github.com/redhat-cop/openshift-applier) - used to apply OpenShift objects to an OpenShift Cluster.
A 21
22
0f4d08 23
74d1f1 24 ## Big Picture
D 25 This exercise begins with an empty Cluster
26 > TODO - add big picture here...
27
28 _____
0f4d08 29
D 30 ## 10,000 Ft View
74d1f1 31 > This lab is aimed at the creation of the tooling that will be used to support the rest of the Exercises. The highlevel goal is to create a collection of project namespaces and populate them with Git, Jenkins & Nexus.
D 32
33 If you're feeling confident and don't want to follow the step-by-step guide these highlevel instructions should provide a challenge for you:
34
4bf3e6 35 2. Clone the repo `https://github.com/rht-labs/enablement-ci-cd` which contains the scaffold of the project.
92099a 36
74d1f1 37 2. Create `<your-name>-ci-cd`, `<your-name>-dev` and `<your-name>-test` project namespaces using the inventory and run them with the OpenShift Applier to populate the cluster
92099a 38
D 39 2. Use the templates provided to create build and deployment configs in `<your-name>-ci-cd` for. Templates are on a branch called `exercise1/git-nexus` && `exercise1/jenkins`:
74d1f1 40     * Nexus
D 41     * GitLab
92099a 42     * Jenkins (using an s2i to pre-configure jenkins)
D 43
74d1f1 44 2. Commit your `enablement-ci-cd` repository to the GitLab Instance you've created
92099a 45
D 46 2. Burn it all down and re-apply your inventory proving config-as-code works. 
0f4d08 47
D 48 ## Step by Step Instructions
bd7806 49 > This is a structured guide with references to exact filenames and explanations.
0f4d08 50
bd7806 51 ### Part 1 - Create OpenShift Projects
d28811 52 > _Using the OpenShift Applier, we will add new project namespaces to the cluster which will be used throughout the exercise._
D 53
2a3d5b 54 3. Clone the scaffold project to your local machine and pull all remote branches for use in later labs. Open the repo in your favourite editor.
bd7806 55 ```bash
2a3d5b 56 $ git clone https://github.com/rht-labs/enablement-ci-cd && cd enablement-ci-cd
RH 57 ```
58 Followed by;
59 ```
60 $ for branch in `git branch -a | grep remotes | grep -v HEAD | grep -v master`; do
61    git branch --track ${branch#remotes/origin/} $branch
62 done
0f4d08 63 ```
D 64
bd7806 65 3. The project is laid out as follows
D 66 ```
67 .
68 ├── README.md
69 ├── docker
70 │   └── jenkins-slave-node
71 ├── inventory
72 │   ├── group_vars
73 │   │   └── all.yml
74 │   └── hosts
75 ├── jenkins-s2i
76 │   ├── configuration
77 ├── params
78 │   └── project-requests-ci-cd
79 ├── requirements.yml
80 └── templates
81         └── project-requests.yml
82 ```
83  * `docker` folder contains our jenkins-slave images that will be used by the builds.
84  * `jenkins-s2i` contains the configuration and plugins we want to bring jenkins to life with
85  * `params` houses the variables we will load the templates with
86  * `templates` is a collection of OpenShift templates
87  * `inventory/group_vars/all.yml` is the collection of objects we want to insert into the cluster.
88  * `requirements.yml` is a manifest which contains the ansible modules needed to run the playbook
11198f 89 Open the `inventory/group_vars/all.yml` file; you should see some variables setup to create the `ci-cd` namespace. This calls the `templates/project-requests.yml` template with the `params/project-requests-ci-cd` parameters. We will add some additional content here but first let's explore the parameters and the template
bd7806 90
92099a 91 3. Open the `params/project-requests-ci-cd` and replace the `<YOUR_NAME or initials>` with your name to create the correstponding projects in the cluster. 
1c9328 92 ![new-item](../images/exercise1/ci-cd-project-namespace.png)
bd7806 93
2a3d5b 94 3. Create another two params files for `params/project-requests-dev` & `params/project-requests-test`. Add `NAMESPACE=<YOUR_NAME>-dev` & `NAMESPACE_DISPLAY_NAME=<YOUR-NAME> Dev` to `params/project-requests-dev`. Add `NAMESPACE=<YOUR_NAME>-test` & `NAMESPACE_DISPLAY_NAME=<YOUR-NAME> Test` to `params/project-requests-test`.
bd7806 95
11198f 96 3. In the `inventory/group_vars/all.yml` file; add the new inventory items for the projects you want to create (dev & test) by adding another object to the content array. You can copy and paste them from the `ci-cd` example and update them accordingly e.g.
bd7806 97 ```yaml
1c9328 98     - name: <YOUR_NAME>-dev
D 99       template: "{{ inventory_dir }}/../templates/project-requests.yml"
100       template_action: create
101       params: "{{ inventory_dir }}/../params/project-requests-dev"
102       tags:
103       - projects
104     - name: <YOUR_NAME>-test
105       template: "{{ inventory_dir }}/../templates/project-requests.yml"
106       template_action: create
107       params: "{{ inventory_dir }}/../params/project-requests-test"
108       tags:
109       - projects
bd7806 110 ```
1c9328 111 ![project-request-yaml](../images/exercise1/project-request-yml.png)
bd7806 112
D 113 3. With the configuration in place; install the OpenShift Applier dependency
114 ```bash
115 $ ansible-galaxy install -r requirements.yml --roles-path=roles
116 ```
117
11198f 118 3. Apply the inventory by logging into OpenShift and running the following: 
bd7806 119 ```bash
D 120 $ oc login -p <password> -u <user> <cluster_url>
92099a 121 $ ansible-playbook roles/openshift-applier/playbooks/openshift-cluster-seed.yml -i inventory/
bd7806 122 ``` 
D 123
11198f 124 3. Once successful you should see an output similar to this: ![playbook-success](../images/exercise1/play-book-success.png)
bd7806 125
D 126 ### Part 2 - Nexus and GitLab
da55a5 127 > _Now that we have our Projects setup; we can start to populate them with Apps to be used in our dev lifecycle_
bd7806 128
fdaee0 129 #### Part 2a - Nexus
92099a 130 4. In the `enablement-ci-cd` repo, checkout the templates for Nexus by running
da55a5 131 ```bash
92099a 132 $ git checkout exercise1/git-nexus templates/nexus.yml
D 133 ```
11198f 134 The template contains all the things needed to setup a persistent nexus server, exposing a service and route while also creating the persistent volume needed. Have a read through the template; at the bottom you'll see a collection of parameters we will pass to the template.
92099a 135
D 136 4. Add some parameters for running the template by creating a new file in the `params` directory. 
137 ```bash
138 $ touch params/nexus
da55a5 139 ```
D 140
92099a 141 4. The essential params to inclue in this file are: `params` directory. 
D 142 ```bash
143 VOLUME_CAPACITY=5Gi
144 MEMORY_LIMIT=2Gi
145 ```
146
d28811 147 4. Create a new object in the inventory variables called `ci-cd-deployments` and populate it's `content` is as follows remembering to swap `<YOUR_NAME>-ci-cd` for the namespace you created previously
92099a 148 ```yaml
1c9328 149   - object: ci-cd-deployments
D 150     content:
151     - name: "nexus"
152       namespace: "<YOUR_NAME>-ci-cd"
153       template: "{{ inventory_dir }}/../templates/nexus.yml"
154       params: "{{ inventory_dir }}/../params/nexus"
155       tags:
156       - nexus
92099a 157 ```
1c9328 158 ![ci-cd-deployments-yml](../images/exercise1/ci-cd-deployments-yml.png)
92099a 159
D 160 4. Run the OpenShift applier, specifying the tag `nexus` to speed up it's execution.
161 ```bash
162 $ ansible-playbook roles/openshift-applier/playbooks/openshift-cluster-seed.yml \
163      -i inventory/ \
1c9328 164      -e "filter_tags=nexus"
92099a 165 ```
D 166
3acbf0 167 4. Once successful; login to the cluster through the browser (using cluster URL) and navigate to the `<YOUR_NAME>-ci-cd`. You should see Nexus up and running. You can login with default credentials (admin / admin123) ![nexus-up-and-running](../images/exercise1/nexus-up-and-running.png)
92099a 168
fdaee0 169 #### Part 2b - GitLab
D 170 <p class="tip">
171 NOTE - This section may already have been completed for you, please check with your tutor. If this is the case, skip to section 6 to add your code to GitLab.
172 </p>
173
11198f 174 4. Now let's do the same thing for GitLab to get it up and running. Checkout the template and params provided by running
92099a 175 ```bash
de26e3 176 $ git checkout exercise1/git-nexus templates/gitlab.yml params/gitlab
92099a 177 ``` 
D 178 Explore the template; it contains the PVC, buildConfig and services. The DeploymentConfig is made up of these apps
179  - Redis (3.2.3)
180  - PostgreSQL (9.4)
181  - GitLab CE (v10.2.3)
182
3acbf0 183 4. Open the `params/gitlab` file and complete the following params
RH 184 <p class="tip">
185 Note - The values here for the LDAP and BIND credentials will be provided by your tutor.
186 </p>
92099a 187 ```
D 188 LDAP_BIND_DN=uid=<BIND_USER>,ou=People,dc=<YOUR_DOMAIN>,dc=com
189 LDAP_USER_FILTER=(memberof=CN=YourGroup,OU=Users,DC=<YOUR_DOMAIN>,DC=com)
190 LDAP_PASSWORD=<BIND_USER_PASSWORD>
191 LDAP_HOST=<LDAP_HOST>
192 LDAP_BASE=ou=People,dc=<YOUR_DOMAIN>,dc=com
193 LDAP_LABEL="<LDAP_DESCRIPTION>"
194 GITLAB_ROOT_PASSWORD=<GITLAB_ROOT_USER_PASSWORD>
195 GITLAB_DATA_VOL_SIZE=2Gi
196 POSTGRESQL_VOL_SIZE=1Gi
197 APPLICATION_HOSTNAME=<GITLAB_URL>
4feb7f 198 NAMESPACE=<YOUR_NAME>-ci-cd
92099a 199 ```
D 200 where the following need to be replaced by actual values:
201     * `<BIND_USER>` is the user used to query the LDAP
202     * `<BIND_USER_PASSWORD>` is the password used when querying the LDAP
203     * `<YOUR_DOMAIN>` is the domain the LDAP is hosted on
204     * `<LDAP_HOST>` is fqdn of the LDAP server
205     * `<LDAP_DESCRIPTION>` is the description to be used on the sign-in header for GitLab eg "Name LDAP Login"
206     * `<GITLAB_ROOT_USER_PASSWORD>` is the root user for GOD access on the GitLab instance eg password123
207     * `<GITLAB_URL>` is the endpoint for gitlab. It will take the form `gitlab-<YOUR_NAME>-ci-cd.apps.<ENV_ID>.<YOUR_DOMAIN>.com`
208
209 4. Create another object in the inventory `all_vars.yml` file to run the build & deploy of this template. Add the following and update the `namespace:` accordingly
210 ```yaml
1c9328 211     - name: "gitlab"
D 212       namespace: "<YOUR_NAME>-ci-cd"
213       template: "{{ inventory_dir }}/../templates/gitlab.yml"
214       params: "{{ inventory_dir }}/../params/gitlab"
215       tags:
216       - gitlab
92099a 217 ```
D 218
219 4. Run the OpenShift applier, specifying the tag `gitlab` to speed up it's execution.
220 ```bash
221 $ ansible-playbook roles/openshift-applier/playbooks/openshift-cluster-seed.yml \
222      -i inventory/ \
1c9328 223      -e "filter_tags=gitlab"
92099a 224 ```
D 225
1c9328 226 4. Once successful; login to the cluster and navigate to the `<YOUR_NAME>-ci-cd`. You should see GitLab up and running. ![gitlab-up-and-running](../images/exercise1/gitlab-up-and-running.png)
4feb7f 227
de26e3 228 4. Navigate to gitlab. You can login using your cluster credentials using the LDAP tab displaying your `<LDAP_DESCRIPTION>` from previous steps
1c9328 229 ![gitlab-ui](../images/exercise1/gitlab-ui.png)
4feb7f 230
d28811 231 4. Once logged in create a new project called `enablement-ci-cd` and mark it as internal. Once created; copy out the `git remote add origin ...` instructions for use on the next step.
1c9328 232 ![gitlab-new-project](../images/exercise1/gitlab-new-project.png)
D 233 <p class="tip">
d28811 234 Note - we would not normally make the project under your name but create an group and add the project there on residency but for simplicity of the exercise we'll do that here
1c9328 235 </p>
D 236
237 4. Commit your local project to this new origin by first removing the existing origin (github) where the the project was cloned from. Remember to substitute `<YOUR_NEW_GIT_PROJECT>` accordingly
238 ```bash
5cf97a 239 $ git remote set-url origin <YOUR_NEW_GIT_PROJECT>
1c9328 240 $ git add . 
D 241 $ git commit -m "Adding git and nexus config"
242 $ git push -u origin --all
243 ```
5cf97a 244 **Note - When making changes to enablement-ci-cd you should frequently commit the changes to git.**
bd7806 245
D 246 ### Part 3 - Jenkins & s2i
d28811 247 > _Create a build and deployment config for Jenkins. Add new configuration and plugins to the OCP Stock Jenkins using s2i_
bd7806 248
1c9328 249 5. Add the Jenkins Build & Deployment configs to the `enablement-ci-cd` repo by merging the contents `exercise1/jenkins` in
D 250 ```bash
251 $ git checkout exercise1/jenkins templates/jenkins.yml
252 ```
253 The Jenkins template is essentially the standard persistent jenkins one with OpenShift.
254
255 5. As before; create a new set of params by creating a `params/jenkins` file and adding some overrides to the template and updating the `NAMESPACE` value.
256 ```bash
257 MEMORY_LIMIT=8Gi
258 VOLUME_CAPACITY=5Gi
259 JVM_ARCH=x86_64
260 NAMESPACE=<YOUR_NAME>-ci-cd
261 JENKINS_OPTS=--sessionTimeout=720
262 ```
263 5. Add a `jenkins` variable to the ansible inventory underneath the git and nexus ones. Remember to replace `<YOUR_NAME>` with the appropriate value.
264 ```yaml
265     - name: "jenkins"
266       namespace: "<YOUR_NAME>-ci-cd"
267       template: "{{ inventory_dir }}/../templates/jenkins.yml"
268       params: "{{ inventory_dir }}/../params/jenkins"
269       tags:
270       - jenkins
271 ```
11198f 272 This configuration, if applied now, will create the deployment configuration needed for Jenkins but the `${NAMESPACE}:${JENKINS_IMAGE_STREAM_TAG}` in the template won't exist yet.
1c9328 273
D 274 5. To create this image we will take the supported OpenShift Jenkins Image and bake into it some extra configuration using an [s2i](https://github.com/openshift/source-to-image) builder image. More information on Jenkins s2i is found on the [openshift/jenkins](https://github.com/openshift/jenkins#installing-using-s2i-build) github page. To create an s2i configuration for jenkins, check out the pre-canned configuration source in the `enablement-ci-cd` repo
275 ```bash
276 $ git checkout exercise1/jenkins-s2i jenkins-s2i
277 ```
278 The structure of the jenkins s2i config is 
279 ```
280 jenkins-s2i
281 ├── README.md
282 ├── configuration
283 │   ├── build-failure-analyzer.xml
284 │   ├── init.groovy
285 │   ├── jenkins.plugins.slack.SlackNotifier.xml
286 │   └── jobs
287 │       └── seed-multibranch-job
288 │           └── config.xml
289 └── plugins.txt
290 ```
291  * `plugins.txt` is a list of `pluginId:version` for Jenkins to pre-install when starting
292  * `./configuration` contains content that is placed in `${JENKINS_HOME}`. A `config.xml` could be placed in here to control the bulk of Jenkins configuration.
293  * `./configuration/jobs/*` contains job names and xml config that jenkins loads when starting. The seed job in there we will return to in later lessons.
d28811 294  * `build-failure-analyzer.xml` is config for the plugin to read the logs and look for key items based on a Regex. More on this in later lessons.
1c9328 295  * `init.groovy` contains a collection of settings jenkins configures itself with when launching
D 296
297 5. Let's add a plugin for Jenkins to be started with, [green-balls](https://plugins.jenkins.io/greenballs). This simply changes the default `SUCCESS` status of Jenkins from Blue to Green. Append the `plugins.txt` file with 
298 ```txt
299 greenballs:1.15
300 ``` 
301 ![green-balls.png](../images/exercise1/green-balls.png)
302 Why does Jenkins have Blue Balls? More can be found [on reddit](https://www.reddit.com/r/programming/comments/4lu6q8/why_does_jenkins_have_blue_balls/) or the [jenkins blog](https://jenkins.io/blog/2012/03/13/why-does-jenkins-have-blue-balls/)
303
5cf97a 304 5. Before building and deploying the Jenkins s2i; add git credentials to it. These will be used by Jenkins to access the Git Repositories where our apps will be stored. We want Jenkins to be able to push tags to it so write access is required. There are a few ways we can do this; either adding them to the `template/jenkins.yml` as environment Variables and then including them in the `params/jenkins` file.  We could also create a token in GitLab and use it as the source secret in the jenkins template. 
RH 305 But for simplicity just replace the `<USERNAME>` && `<PASSWORD>` in the `jenkins-s2i/configuration/init.groovy` with your ldap credentials as seen below. This init file gets run when Jenkins launches and will setup the credentials for use in our Jobs in the next exercises
1c9328 306 <p class="tip">
d28811 307 Note in a residency we would not use your GitCredentials for pushing and pulling from Git, A service user would be created for this.
1c9328 308 </p>
D 309 ```groovy
310 gitUsername = System.getenv("GIT_USERNAME") ?: "<USERNAME>"
311 gitPassword = System.getenv("GIT_PASSWORD") ?: "<PASSWORD>"
312 ```
313
d28811 314 5. Open the `params/jenkins-s2i` file and add the following content; replacing variables as appropriate. 
1c9328 315 ```
D 316 SOURCE_REPOSITORY_URL=<YOUR_ENABLEMENT_REPO>
317 NAME=jenkins
318 SOURCE_REPOSITORY_CONTEXT_DIR=jenkins-s2i
319 IMAGE_STREAM_NAMESPACE=<YOUR_NAME>-ci-cd
5cf97a 320 SOURCE_REPOSITORY_USERNAME=<BASE64_YOUR_LDAP_USERNAME>
RH 321 SOURCE_REPOSITORY_PASSWORD=<BASE64_YOUR_LDAP_PASSWORD>
1c9328 322 ```
D 323 where 
d28811 324     * `<YOUR_ENABLEMENT_REPO>` is the full path clone path of the repo where this project is stored (including the https && .git)
D 325     * `<YOUR_NAME>` is the prefix for your `-ci-cd` project.
326     * Explore some of the other parameters in `templates/jenkins-s2i.yml`
5cf97a 327     * `<BASE64_YOUR_LDAP_USERNAME>` is the base64encoded username builder pod will use to login and clone the repo with
RH 328     * `<BASE64_YOUR_LDAP_PASSWORD>` is the base64encoded password the builder pod will use to authenticate and clone the repo using
11198f 329 You can use `echo -n '<YOUR_LDAP_PASSWORD>' | openssl base64` to encode your username and password accordingly. For example 'password' base64 encoded will look like `cGFzc3dvcmQ=`.
d28811 330 <p class="tip">
D 331 Note in a residency we would not use your GitCredentials for pushing and pulling from Git, A service user would be created for this.
332 </p>
1c9328 333
D 334 5. Create a new object `ci-cd-builds` in the ansible `all.yml` to drive the s2i build configuration.
335 ```yaml
336   - object: ci-cd-builds
337     content:
338     - name: "jenkins-s2i"
339       namespace: "<YOUR_NAME>-ci-cd"
340       template: "{{ inventory_dir }}/../templates/jenkins-s2i.yml"
341       params: "{{ inventory_dir }}/../params/jenkins-s2i"
342       tags:
343       - jenkins
344 ```
345
346 5. Commit your code to your GitLab instance
347 ```bash
d28811 348 $ git add .
1c9328 349 $ git commit -m "Adding Jenkins and Jenkins s2i"
D 350 $ git push
351 ```
352
353 5. When your code is commited; run the OpenShift Applier to add the config to the cluster
354 ```bash
355 $ ansible-playbook roles/openshift-applier/playbooks/openshift-cluster-seed.yml \
356      -i inventory/ \
357      -e "filter_tags=jenkins"
358 ```
359
d28811 360 5. This will trigger a build of the s2i and when it's complete it will add an imagestream of `<YOUR_NAME>-ci-cd/jenkins:latest` to the project. The Deployment config should kick in and deploy the image once it arrives. You can follow the build of the s2i by going to the OpenShift console's project
D 361 ![jenkins-s2i-log](../images/exercise1/jenkins-s2i-log.png)
bd7806 362
d28811 363 5. When the Jenkins deployment has completed; login (using your openshift credentials) and accept the role permissions. You should now see a fairly empty Jenkins with just the seed job
92099a 364
d28811 365 ### Part 4 - Jenkins Hello World 
D 366 > _To test things are working end-to-end; create a hello world job that doesn't do much but proves we can pull code from git and that our balls are green._
367
368 6. Log in to Jenkins and hit `New Item` ![new-item](../images/exercise1/new-item.png).
369
176e08 370 6. Create a freestyle job called `hello-world` ![jenkins-new-hello-world](../images/exercise1/jenkins-new-hello-world.png).
d28811 371
11198f 372 6. On the Source Code Management tab; add your `enablement-ci-cd` git repo and hit the dropdown to add your credentials we baked into the s2i on previous steps ![jenkins-scm-git](../images/exercise1/jenkins-scm-git.png)
d28811 373
D 374 6. On the build tab add an Execute Shell step and fill it with `echo "Hello World"` ![jenkins-hello-world](../images/exercise1/jenkins-hello-world.png).
375
376 6. Run the build and we should see if pass succesfully and with Green Balls! ![jenkins-green-balls](../images/exercise1/jenkins-green-balls.png)
377
378 ### Part 5 - Live, Die, Repeat
379 > _TOOD - improve & flesh out this section ...._
380
381 7. Commit your code to the new repo in GitLab
382
383 7. Burn your OCP content to the ground
384
385 7. Re-apply the inventory!
0f4d08 386
74d1f1 387 _____
D 388
0f4d08 389 ## Extension Tasks
d28811 390 > _Ideas for go-getters. Advanced topic for doers to get on with if they finish early. These will usually not have a solution and are provided for additional scope._
0f4d08 391
92099a 392  - Add more secure access for Nexus (ie not admin / admin123) using the automation to drive secret creation
1c9328 393  - Add a SonarQube persistent deployment to the `ci-cd-deployments` section.
D 394  - Add `jenkins.plugins.slack.SlackNotifier.xml` to `jenkins-s2i/configuration` to include URL of Slack for team build notifications and rebuild Jenkins S2I
0f4d08 395
74d1f1 396 _____
D 397
0f4d08 398 ## Additional Reading
D 399  > List of links or other reading that might be of use / reference for the exercise