本文首發(fā)于我的個人博客,Docker Gitlab CI 部署 Spring Boot 項(xiàng)目 ,歡迎訪問!
目前在學(xué)習(xí)這一塊的內(nèi)容,但是可能每個人環(huán)境都不同,導(dǎo)致找不到一篇博客能夠完全操作下來沒有錯誤的,所以自己也寫一下,記錄一下整個搭建的過程。
Docker 的安裝這里就不贅述了,基本上幾行命令都可以了,不會的可以搜一下其他的博客。我本地使用的環(huán)境如下:
- Ubuntu16.04
- Docker19.03
- 管理工具:IDEA Docker 插件
下面詳細(xì)講一下部署的過程。
前言
閱讀這篇博客的朋友關(guān)注點(diǎn)應(yīng)該在 Gitlab CI 上,因此假設(shè)大家對 Docker 和 Gitlab 本身是有一定的了解,掌握基本使用的。
對于 CI/CD 以及 Gitlab CI,這里也沒打算展開講,本文的目的在于實(shí)戰(zhàn),如果想對 CI/CD 概念以及 Gitlab CI 當(dāng)中的內(nèi)容有興趣的可以閱讀參考文獻(xiàn) 1-2。
安裝 Gitlab CE 和 Gitlab Runner
這里推薦在 Linux 系統(tǒng)下學(xué)習(xí) Docker,隨著鏡像和容器在使用上的復(fù)雜性越來越來,Win 下出現(xiàn)的坑會越來越多的。Gitlab CE 的搭建很簡單,直接使用官方的鏡像 docker run 就可以了。但是在我們這里由于還需要部署 Runner,多個容器的管理,使用 Docker-Compose 會更好,因此這里采用它來進(jìn)行。
可參考我之前寫的文章,解決 Windows Docker 安裝 Gitlab Volume 權(quán)限問題,里面也提到了如何用 Docker-Compose 進(jìn)行安裝。這里我就直接給出配置文件了。
version: '3' #1
services:
gitlab:
image: gitlab/gitlab-ce:latest #2
container_name: "gitlab"
restart: unless-stopped
privileged: true
hostname: "172.17.193.109:7780" #3
environment:
#4
GITLAB_OMNIBUS_CONFIG: |
# external_url 'http://172.17.193.109:7780'
gitlab_rails["time_zone"] = "Asia/Shanghai"
gitlab_rails["gitlab_shell_ssh_port"] = 7722
nginx["listen_port"] = 80
#5
ports:
- "7780:80"
- "7722:22"
#6
volumes:
- /home/cache/gitlab/config:/etc/gitlab
- /home/cache/gitlab/data:/var/opt/gitlab
- /home/cache/gitlab/logs:/var/log/gitlab
gitlab-runner:
container_name: gitlab-runner
image: gitlab/gitlab-runner:latest #7
restart: always
volumes:
- "/var/run/docker.sock:/var/run/docker.sock"
- "/home/cache/gitlab/runner-config:/etc/gitlab-runner"
具體說明如下(docker-compose.yml 的文件骨架這里不做解釋):
- #1:為 docker-compose 文件的版本號,它和 docker 版本有一個對應(yīng),具體在 docker 官方文檔中有明確說明。一般寫 3 就可以了。
- #2:當(dāng)前部署使用 Gitlab 官方最新版的鏡像。
- #3:hostname 填寫的是部署成功后,Gitlab 的入口地址。由于我使用的 docker 不在本地,所以配置了一個 ip 地址,本地寫 localhost 就可以了。當(dāng)前配置的意思為,通過 172.17.193.109 的 7780 端口訪問 Gitlab 頁面。
- #4:GITLAB_OMNIBUS_CONFIG 為 Gitlab 的配置參數(shù),對應(yīng)
/etc/gitlab/gitlab.rb。該文件下的所有鍵值對都可以在這里進(jìn)行配置,容器啟動時會自動配置進(jìn)去。當(dāng)然也可以在 Gitlab 容器啟動后,手動修改 gitlab.rb 文件。 - #5:配置了需要用到的兩個端口。默認(rèn) Gitlab 容器內(nèi)部 80 端口用于 Gitlab 頁面的訪問,22 用于 ssh 連接遠(yuǎn)程倉庫。分別對其進(jìn)行外網(wǎng)映射。
- #6:volume 映射,三個 volume 和官方文檔一致就可以了。
- #7:這里用的是 gitlab-runner 鏡像,部分博客使用的 gitlab-ci-multi-runner 是舊版本,最新的鏡像統(tǒng)一修改為 gitlab-runner。
接下來直接在 docker-compose.yml 的根目錄運(yùn)行就 ok 了。
docker-compose up -d
這個時候可以看 IDEA 的 Docker 插件。
這樣就說明容器正在初始化,等待一會,打開之前配置好的 ip:port,就能看到 Gitlab 頁面了。首次使用需要重置 root 賬戶密碼。接下去就是正常的使用。gitlab-runner 先不管,后面會講到他,目前不需要做任何的配置工作, 只要正常啟動即可。
創(chuàng)建一個 Spring Boot 項(xiàng)目
接下來我們使用 Gitlab CI 構(gòu)建的項(xiàng)目時一個基于 Spring Boot 的 hello world 項(xiàng)目,我們先把他創(chuàng)建出來。為了簡化這個過程,我們直接在新建項(xiàng)目的時候選擇 Spring Boot 模板,它會為我們生成一個 hello world 項(xiàng)目,并且包含了一個 Dockerfile。
項(xiàng)目結(jié)構(gòu)上和我們手動創(chuàng)建的是一樣的。那么這個時候準(zhǔn)備工作基本上就做完了。在進(jìn)入 Gitlab CI 的流程前,我們可以想象一下,在 Spring Boot 項(xiàng)目部署的過程中,有哪些步驟是可以讓 Gitlab CI 來完成的。我們最終的目的是,希望通過 Gitlab CI,直接可以將我們 push 到遠(yuǎn)端倉庫的代碼自動構(gòu)建,并在一個新的容器中運(yùn)行。那么具體的步驟應(yīng)該有 2 步:
- 拉取最新的代碼,打包成 jar。
- 將 jar 容器化,進(jìn)一步構(gòu)建成為 Docker 鏡像并運(yùn)行起來。
那么接下來的操作就是圍繞著這兩步展開的。
配置 Runner
安裝完 Gitlab-Runner 并且創(chuàng)建好項(xiàng)目后,就需要為我們的項(xiàng)目注冊具體的 runner 來執(zhí)行 CI 任務(wù)。
, 【聲音】【量天】【矗立】【能量】,【方的】【戰(zhàn)場】【紫真】【又不】,【飄散】【擊螞】【當(dāng)下】【尊大】【斷了】.【里面】【骨下】【暢沒】【擊中】【作勢】,【新派】【神族】【是一】【活意】,【行設(shè)】【有黑】【非?!俊居蚶铩俊疽孕巍?【案發(fā)】【歸入】【間都】【血河】【音似】【到?jīng)]】,【微微】【毒蛤】【脫了】【這尊】,【掉了】【已經(jīng)】【凜然】【筑前】【在左】,【一望】【人真】【眼的】.【的陰】【戰(zhàn)斗】【是一】【鎖區(qū)】,【好歹】【展鯤】【難性】【掉這】,【噬整】【可以】【真的】【白象】.【士卒】!【覺要】【雨般】【體積】【里卻】【生命】【個黑】【神強(qiáng)】.【只有】,首先我們打開,Gitlab 項(xiàng)目的設(shè)置 --->CI/CD--->Auto DevOps??吹?URL 和注冊令牌。
進(jìn)入 gitlab-runner 容器內(nèi)部(exec /bin/bash),執(zhí)行 gitlab-runner register 開始注冊。
root@bb6040f1cd04:/# gitlab-runner register
Runtime platform arch=amd64 os=linux pid=43 revision=a987417a version=12.2.0
Running in system-mode.
Please enter the gitlab-ci coordinator URL (e.g. https://gitlab.com/):
http://172.17.193.109:7780/
Please enter the gitlab-ci token for this runner:
zpzZ-shsCVxsJDZtAPNZ
Please enter the gitlab-ci description for this runner:
[bb6040f1cd04]: hello,spring boot!
Please enter the gitlab-ci tags for this runner (comma separated):
maven,docker
Registering runner... succeeded runner=zpzZ-shs
Please enter the executor: docker-ssh, shell, ssh, virtualbox, docker+machine, custom, parallels, docker-ssh+machine, kubernetes, docker:
docker
Please enter the default Docker image (e.g. ruby:2.6):
docker:latest
Runner registered successfully. Feel free to start it, but if it's running already the config should be automatically reloaded!
根據(jù)步驟,依次輸入對應(yīng)的值,顯示注冊成功則完成注冊。這個時候刷新 Gitlab 頁面,可以看到剛剛注冊成功的 runner。
由于剛剛我們只是根據(jù)流程配置了一些基本的信息,還有額外的參數(shù)要配置就需要修改對應(yīng)的配置文件了。可以直接修改映射到本地的 /home/cache/gitlab/runner-config 目錄下的 config.toml。每配置一個 runner 就會在配置文件中生成一個 [[runners]]。
[[runners]]
name = "hello,spring boot!"
url = "http://172.17.193.109:7780/"
token = "u8_Y5rLQazUmBZar9eys"
executor = "docker"
[runners.custom_build_dir]
[runners.docker]
tls_verify = false
image = "docker:latest"
privileged = true #1
disable_entrypoint_overwrite = false
oom_kill_disable = false
disable_cache = false
volumes = ["/cache", "/home/cg/.m2:/root/.m2"] #2
shm_size = 0
[runners.cache]
[runners.cache.s3]
[runners.cache.gcs]
需要修改的地方:
- #1:默認(rèn)為 false,需改為 true。false 時,在 CI 構(gòu)建的時候 會進(jìn)行 health check,很耗時而且還是失敗,設(shè)為 true 就自動跳過了,其中原因暫未深究。
- #2:如果本地有 maven 環(huán)境的話,可以掛在到本地,這樣在處理依賴時可以直接使用本地的環(huán)境,并且可以用阿里云鏡像源。
那么 runner 是需要觸發(fā)才能工作的,接下來就需要配置 Gitlab-CI 了 。
容器化與 Gitlab CI Auto DevOps 配置
容器化就是 jar 轉(zhuǎn)化為 Docker 鏡像的過程。我們講之前自動生成的 Dockerfile 修改一下:
FROM openjdk:8-jdk-alpine
VOLUME /tmp
COPY /target/demo-0.0.1-SNAPSHOT.jar app.jar
ENV PORT 5000
EXPOSE $PORT
ENTRYPOINT ["java","-Djava.security.egd=file:/dev/./urandom","-Dserver.port=${PORT}","-jar","/app.jar"]
然后添加 Gitlab CI 核心的配置文件——.gitlab-ci.yml,并把它放在項(xiàng)目的根目錄下。Gitlab 項(xiàng)目在創(chuàng)建的時候,默認(rèn)會開啟 Auto DevOps流水線,當(dāng)有代碼 push 到倉庫中去的時候會自動掃描根目錄下是否包含 .gitlab-ci.yml,如果有,會根據(jù)預(yù)定義的持續(xù)集成和持續(xù)交付配置自動化地構(gòu)建、測試和部署應(yīng)用程序。那么下面來看具體的配置文件:
image: docker:latest #1
variables: #2
DOCKER_DRIVER: overlay2
DOCKER_HOST: tcp://172.17.193.109:2375 # docker host,本地可不寫
TAG: root/hello-spring:v0.1 # 鏡像名稱
cache: #3
paths:
- .m2/repository
services: #4
- docker:dind
stages: #5
- package
- deploy
maven-package: #6
image: maven:3.5-jdk-8-alpine
tags:
- maven
stage: package
script:
- mvn clean package -Dmaven.test.skip=true
artifacts:
paths:
- target/*.jar
build-master: #7
tags:
- docker
stage: deploy
script:
- docker build -t $TAG .
- docker rm -f test || true
- docker run -d --name test -p 5000:5000 $TAG
only:
- master
具體說明:
- #1:需要用到的鏡像
- #2:必須配置的一些環(huán)境變量。如果本地可不配置
DOCKER_HOST。 - #3:配置緩存,配置后,maven 下載的依賴可以被緩存起來,下次不需要重復(fù)去下載了。
- #4:配置需要用到的額外的服務(wù)。docker:dind,這個貌似是用于在 docker 中運(yùn)行 docker 的一種東西,在項(xiàng)目的構(gòu)建中需要。
- #5:stages,這是 Gitlab CI 中的概念,Stages 表示構(gòu)建階段,就是一些按序執(zhí)行的流程,具體執(zhí)行是依賴于 Jobs 的。
- #6 :定義的 Jobs 之一,用于構(gòu)建 jar 包。內(nèi)部又引入 maven 鏡像來處理,負(fù)責(zé)執(zhí)行 package 這一流程。script 為具體執(zhí)行的腳本。
- #7:定義的 Jobs 之一,用于構(gòu)建 Docker 鏡像。負(fù)責(zé)執(zhí)行 deploy 這一流程。具體執(zhí)行 build 和 run。only 節(jié)點(diǎn)表示只監(jiān)控 master 分支。
好了,所有的配置工作都已經(jīng)完成了,接下來 Git 執(zhí)行 commit&push,自動構(gòu)建就開始了?;氐?Gitlab 頁面就可以看到構(gòu)建的過程。
可以看到,目前的 Auto DevOps 中的流水線已經(jīng)觸發(fā)了,總共會一次執(zhí)行兩個階段(package、deploy)。分階段可以查看日志。
兩個階段都完成后,可以直接在瀏覽器中訪問之前配置的 5000 端口,就能看見 hello,spring 的頁面了。
總結(jié)
本文講了在 Docker 中部署 Gitlab,并嘗試使用它的 CI 功能。Gitlab CI 這類工具對于測試和生產(chǎn)部署還是很有意義的,無論是在規(guī)范性還是便捷性上。而 Docker 提供了一個便捷的部署環(huán)境,尤其是像目前我司這樣需要跨平臺調(diào)用的場景。
References
- 什么是 CI/CD?
- 用 GitLab CI 進(jìn)行持續(xù)集成
- Continuous delivery of a Spring Boot application with GitLab CI and Kubernetes
- GitLab-CI 環(huán)境搭建與 SpringBoot 項(xiàng)目 CI 配置總結(jié)
專注于SEO培訓(xùn),快速排名黑帽SEO https://www.heimao.wiki
