# 一、新建pipeline组,名字inner-crm
admin-->pipelines-->create new pipeline group-->inner-crm
# 二、新建pipeline名字inner-bw-pic
add new pipeline-->Part 1: Material-->Material Type-->Git-->Repository URL-->git@gitlab.51sw.cc:inner/inner-bw-pic.git-->Part 2,3,4名字随便取,到时候修改
### 第一次连接gitlab
```
kubectl exec -it -n gocd gocd-server-78979ff8c8-6fqqm -- /bin/bash
83 ssh-keygen
85 cd .ssh/
87 cat id_rsa.pub
登录gitlab-->点击profile settings-->SSH Keys-->打开id_rsa.pub(公钥) 复制全部内容到Key这个选项
89 git clone git@gitlab.51sw.cc:inner/inner-bw-pic.git
```
# 三、配置新inner-bw-pic
inner-bw-pic-->GENERAL选项-->取消Automatic pipeline scheduling,这是第一pipeline,需要手动处理,其他默认
inner-bw-pic-->STAGES选项-->修改stages名字为inner-bw-pic-build-stage
inner-bw-pic-->ENVIRONMENT VARIABLES

**branch默认是master
如果选择tag,需要手动填写**
inner-bw-pic-->PARAMETERS

**新建参数,便于在脚本中引用。**
# 四、配置inner-bw-pic-build-stage
inner-bw-pic-build-stage-->STAGE SETTINGS-->开启clean working directory
inner-bw-pic-build-stage-->JOBS-->修改名字为inner-bw-pic-build-job
inner-bw-pic-build-stage-->ENVIRONMENT VARIABLES

申明gocd-server和gocd-agent的k8spod使用的环境变量
构建的时候需要用到maven,jdk,nodejs等,需要手动安装到/data/ops/homego下面,这个目录是挂载到了gocd容器中。bin下面是docker和kubectl这两个命令。

# 五、配置inner-bw-pic-build-job
inner-bw-pic-build-job-->TASKS,这里写的脚本放在最下面
gocd 插件[https://github.com/gocd-contrib](https://github.com/gocd-contrib)
```
*Usage:*
Download jar from releases & place it in`<go-server-location>/plugins/external`& restart GoCD Server.
root@ali-hk-public-ops-k8s-master01:/data/ops/godata/plugins/external# ls
script-executor-0.3.0.jar
```
这里需要一款叫做“script-executor-task”的GoCD插件。有了这款插件后,你就可以像shell脚本一样编排指令,从而愉快地合并臃肿的task了。
值得一提的是,这个插件的初衷是简化task中命令的书写和排序,而不提倡滥用它编排大量琐碎的指令。不管是用jenkins还是GoCD,最佳实践是将指令放到脚本文件中,并纳入代码版本仓库(SCM)
inner-bw-pic-build-job-->ARTIFACTS

**这是本管道要传给下一管道的文件,为了保证一致性**
如果是用的镜像部署,就用到image.info
如果是jar包部署,就直接用传下来的jar包
# 整体效果图

# inner-bw-pic-build-job-->TASKS-->脚本
第二步
```
echo -e "\n\n##########################################################################################################################"
pwd
mkdir -p $GO_PROJECT_FOLDER && git clone #{gita} $GO_PROJECT_FOLDER && cd $GO_PROJECT_FOLDER
if [[ -n $branch && -z $tag ]]
then
echo "branch is $branch and tag is $tag"
echo "start branch..."
git fetch
git checkout $branch
git pull
touch .buildinfo
git rev-parse HEAD >> .buildinfo
git rev-parse --abbrev-ref HEAD >> .buildinfo
git branch -a
echo "print git info:"
cat .buildinfo
if [[ $? -ne 0 ]]
then
echo "git checkout version error"
exit 250
fi
elif [[ -n $tag && -z $branch ]]
then
echo "branch is $branch and tag is $tag"
echo "starting tag"
git fetch
git checkout $tag
touch .buildinfo
git rev-parse HEAD >> .buildinfo
git rev-parse --abbrev-ref HEAD >> .buildinfo
git branch -a
echo "print git info:"
cat .buildinfo
echo "checkout done"
if [[ $? -ne 0 ]]
then
echo "git checkout version error"
exit 250
fi
else
echo "git checkout version error"
exit 250
fi
```
第三步
```
pwd
ls -al
cd $GO_PROJECT_FOLDER && mvn clean install -Dmaven.test.skip=true
```
第四步
Dockerfile应该放在代码里面,这样就不用每次替换了。
```
pwd
ls -al
cd $GO_PROJECT_FOLDER/ && \
sed "s/dog/#{pname}/g" /home/go/Dockerfile >Dockerfile
```
第五步
```
cd $GO_PROJECT_FOLDER/ && \
docker build -t #{registry}/#{pname}:${branch}${tag}-${GO_PIPELINE_COUNTER} . && \
docker push #{registry}/#{pname}:${branch}${tag}-${GO_PIPELINE_COUNTER} && \
echo "dimages=#{registry}/#{pname}:${branch}${tag}-${GO_PIPELINE_COUNTER}" >./image.info && echo "deploy=#{pname}" >>./image.info && cat image.info && \
docker images |grep #{pname} |head -n 20
```
# 六、接第一条pipline,Deploy-QA-bw-pic
新建管道选择第一条pipline为上游管道
配置上游管道





需要配置接受上游传下来的文件


```
kubectl get pods -o wide -n #{namespace} --insecure-skip-tls-verify --kubeconfig /home/go/.kube/config.qa
for i in $(cat ./image.info); do export $i; done
echo "kubectl set image deployment/$deploy $deploy=$image -n #{namespace} "
kubectl set image deployment/$deploy $deploy=$dimages -n #{namespace} --insecure-skip-tls-verify --kubeconfig /home/go/.kube/config.qa
echo "update status:"
kubectl get pods -o wide -n #{namespace} --insecure-skip-tls-verify --kubeconfig /home/go/.kube/config.qa
```
# 七、前端pipline
## 1、前端的第一条管道

## Build-brokerwork » Build-Stage » Build-Job » Tasks
第一步Command:env
第二步
```
echo -e "\n\n##########################################################################################################################"
pwd
mkdir -p $GO_PROJECT_FOLDER && git clone #{gita} $GO_PROJECT_FOLDER && cd $GO_PROJECT_FOLDER
if [[ -n $branch && -z $tag ]]
then
echo "branch is $branch and tag is $tag"
echo "start branch..."
git fetch
git checkout $branch
git pull
touch .buildinfo
git rev-parse HEAD >> ./buildinfo
git rev-parse --abbrev-ref HEAD >> ./buildinfo
echo -e ${branch}${tag} > ./mversion
echo -e $dll >> ./mversion
git branch -a
echo "print git info:"
cat .buildinfo
if [[ $? -ne 0 ]]
then
echo "git checkout version error"
exit 250
fi
elif [[ -n $tag && -z $branch ]]
then
echo "branch is $branch and tag is $tag"
echo "starting tag"
git fetch
git checkout $tag
touch .buildinfo
git rev-parse HEAD >> ./buildinfo
git rev-parse --abbrev-ref HEAD >> ./buildinfo
echo -e ${branch}${tag} > ./mversion
echo -e $dll >> ./mversion
git branch -a
echo "print git info:"
cat .buildinfo
echo "checkout done"
if [[ $? -ne 0 ]]
then
echo "git checkout version error"
exit 250
fi
else
echo "git checkout version error"
exit 250
fi
```
第三步
```
cd $GO_PROJECT_FOLDER && yarn && yarn prod:qa --env.version=${branch}${tag} && if [[ $dll -ne 1 ]]; then rm -rf dist/dll; fi
```
## 2、新建管道选择第一条pipline为上游管道,根据需求设计需要几步stage



```
echo -e "\n\n##########################################################################################################################"
echo "Check Destination Mache ta-facade Status:"
echo "##########################################################################################################################"
##update consul kv bw-ui-version
export ver=$(cat mversion|head -n1)
echo "ver is : $ver"
curl --request PUT --data "old:v6.12.37,new:$ver" 'http://192.168.60.85:8500/v1/kv/bw-ui-version'
##copy mversion to dst machine
scp -i /home/go/.ssh/id_rsa_deploy mversion root@$HNP:/tmp
## update nginx-config
ssh -i /home/go/.ssh/id_rsa_deploy root@$HNP 'export mversion=$(cat /tmp/mversion|head -n1) && env && cp -av /etc/nginx/conf.d/default.qa.bw.lwork.com.conf /tmp/default.qa.bw.lwork.com.conf_$mversion && sed -i "42s@v[0-9]\{1,2\}.[0-9]\{1,2\}.[0-9]\{1,2\}@${mversion}@g" /etc/nginx/conf.d/default.qa.bw.lwork.com.conf && nginx -t && nginx -s reload'
```
- 笔记
- shell
- 如何才能学好Shell编程之“老鸟”经验谈
- scripts
- 迁移脚本
- centos_install.sh
- https.support.lwork.com.conf
- newbroker.default.lwork.com.conf
- bwnginx.conf
- twnginx.conf
- pre.default.lwork.com.conf
- zabbix_agentInstall
- getcc.sh
- shell脚本调试
- shell学习
- 第一章shell脚本入门
- shell脚本开发的基本规范及习惯
- 脚本规范示例
- 第三章变量的核心知识与实践
- 第四章变量知识进阶和实践
- 4.3 shell变量子串知识及实践
- 4.4 shell特殊扩展变量的知识与实践
- 第五章 变量的数值计算实践
- 第六章 shell脚本的条件测试
- 第七章 if条件的知识与实践
- 第8章 shell函数的基础实践
- 第13章 Shell数组的应用实践
- 经验
- for和while读行的区别
- 一个文件取2个参数
- 重定向正确及错误输出
- linux常用命令
- awk
- 详解
- 例子
- 内置变量
- 实例2
- 实例3
- find/grep
- iostat
- java启动脚本
- ln -s
- nmap
- passwd
- sed
- 详解
- 例子
- ssh-copy-id
- vim
- linux systemd详解
- 常用命令实列
- ss
- rz,sz小文件上传下载
- 文件的合并,排序和分割
- sort,uniq
- sort
- uniq
- cut
- paste
- tr
- curl
- cpu
- scp
- 批量添加注释
- nc
- yarn
- lsof
- tar
- cat
- openssl自签名证书
- pwgen
- logrotate
- 中间件
- mongo
- mongo配置文件详解
- mongo安装
- mongo常用命令
- mongo导入导出
- 导出数据的mongojs
- mongo shell
- mongo异常关闭
- mongo的缺点
- mysql
- 安装
- Gitd
- 主从同步
- 常用命令
- 日志清理
- 连接数,最大并发数,超时
- 错误
- 错误1872
- 错误1236
- 错误1-gitd主从报错
- 一些优化
- 服务器硬件优化
- 编译安装
- mysql配置文件优化
- 根据status优化
- 优化思路
- index
- 查询数据库大小
- ubuntu18.04mysql启动脚本
- pure-ftpd
- rabbitmq
- consul
- redis
- 安装
- 配置
- redis-sentinel
- 常用命令
- supervisor启动redis
- freeipa
- ftp
- 错误530根本原因和解决方法
- vsftp
- sftp
- JDK
- java参数
- zabbix
- 安装
- nginx
- 基础
- 1.基础web配置
- 2.nginx的日志格式
- 3.Nginx的请求限制
- 4.Nginx访问控制
- 进阶
- 1.静态资源web服务
- 2.Nginx作为代理服务
- 3.负载均衡
- 4.rewrite模块
- 5.Geoip
- location与proxy_pass
- proxy_set_header参数
- add_header
- 安装
- 4XX5XX重定向
- Nginx resolver explained
- 关于防止自己网页内容被别人iframe的问题
- nginx全局变量
- nginx错误代码
- 平滑升级nginx
- nginx相关资料网站
- nginx配置下载目录
- 反向代理并发数
- php
- 安装centos6,7
- xtrabackup
- apache
- 常用工具
- SSL证书在线工具SSL
- wordpress
- kafka
- nssm
- GoCD
- gocd简介
- gocd一些概念
- gocd客户端环境变量
- 建立一个piplines
- gocd添加nodejs
- supervisor
- mongo,mysql,hadoop比较
- screen
- python
- minio-私有存储桶
- kubernetes
- YAML格式简单说明
- k8s集群常用命令
- 概念
- k8s组件
- 对象
- workloads
- pods
- overview
- pod lifecycle
- init containers
- env向容器暴露pod信息
- controllers
- rs
- deployments
- daemonset
- StatefulSet
- service
- ingress
- volumes及configmap
- pv和pvc
- serviceaccount及认证
- dashboard及分级授权
- flannel&calico
- 调度器,预选策略及优先函数
- 资源指标API及自定义指标API
- helm
- k8s最佳实践
- 配置kubelet
- 简单命令定位问题
- k8s中日志收集-1
- k8s中日志收集-2
- lxcfs
- v1.24以后镜像问题
- 单控制节点集群v1.24以后适用
- 单控制节点集群v1.24前适用
- K8s.1.11.x阿里云安装HA版
- 国内k8s安装指定版本
- 发布及回滚
- 检查yaml文件格式
- pod分配到指定节点
- k8s跨集群访问
- 在docker中查看对应k8s容器日志
- cert-manager
- 问题定位技巧:容器内抓包
- 为容器设置启动时要执行的命令及其入参
- deploy.yaml文件实例
- kube/config
- 系统守护进程预留资源
- k8s集群证书pki过期处理
- pod跑java时内存的运用
- 从外部访问k8s中的pod
- HPA实战
- Docker
- Docker常用命令
- 基本概念
- 镜像
- 容器
- 仓库
- 安装 Docker
- Ubuntu
- Centos
- 镜像加速器
- 使用镜像
- 获取镜像
- 使用 Dockerfile 定制镜像
- Dockerfile 指令详解
- COPY 复制文件
- CMD 容器启动命令
- ENTRYPOINT 入口点
- ENV
- 其他命令
- 参考文档
- Alpine制作JDK8镜像
- Dockerfile示例
- 访问仓库
- nexus
- 最佳实践
- 镜像删除
- 清理docker磁盘空间
- docker容器日志管理
- 镜像基础上构建镜像
- git
- 公钥私钥免登
- 常用命令
- git pull
- git升级
- jenkins
- jenkins使用git
- 设置构建作业
- General
- Source Code Management
- Build Traggers
- Build Environment
- Build
- Post-build Actions
- 高级构建
- 参数化构建作业
- prometheus
- 监控原则
- 第一章 采集数据
- HPA
- meterics-server
- custom metrics
- kube-state-metrics
- node-exporter
- 第二章 prometheus
- prometheus概述
- prometheus基本架构
- prometheus安装
- prometheus的配置和服务发现
- scrape_configs
- kubernetes_sd_config
- relabel_config
- relabel_config例子
- 服务发现配置
- alertmanager_config
- alerting
- configuration
- route
- receivers
- inhibits_rules
- 第三章 展示与告警
- 第四章 PromQL
- rate,irate和delta的区别
- prometheus-operator
- maven
- maven命令
- maven仓库配置
- openstack
- 网络基础
- 计算机网络原理
- 一个URL请求的过程
- 2.记录
- 3.数据链路层
- 4.网络层
- 网络常用命令
- 命令
- iptables
- nc
- ipset
- mtr
- ss
- lsof
- ip
- 抓包
- tcpdump
- 网络排错与观察
- netstat
- traceroute
- dig与nslookup
- 计算机网络协议
- 负载均衡总结性说明
- NAT
- Tinc
- ubuntu
- ubuntu-var-log-下各个日志文件
- apt和dpkg
- systemctl详解
- 关闭系统更新,有些更新可能影响运行的程序
- ubuntu常用命令
- 基础工具journalctl命令
- za
- 恢复阿里云物理备份
- 域名证书申请和更换
- 正则表达式常用
- 服务器上排查问题得头5分钟
- windows
- winserver关闭事件跟踪程序
- windows常用命令
- win10企业LTSC版激活
- windows通过网卡只开80端口
- debug-tools
- win10-1903及以上版本Realtek高清晰音频管理器
- 彻底解决WPS Office Expansion tool弹出问题
- services延迟启动时间修改
- windows服务器定时重启
- windows sc命令
- 防火墙概述
- iptables
- 简单说明
- 例子
- 项目一
- DevOps简介
- 项目介绍
- 高并发内核优化
- gitlab
- gitlab社区和企业版本区别
- gitlab社区版安装
- gitlab指定版本安装
- gitlab安全设置
- gitlab的备份和恢复
- gitlab容器化安装
- jenkins
- jenkins安装
- ubuntu 16.04 install jenkins
- ubuntu 20.04 install jenkins
- jenkins使用git
- jenkins配置第一个项目
- jenkins发布及制作jar镜像
- jenkins安全策略
- gocd
- gocd安装
- k8s中gocd的server和agent模板
- gocd配置第一个项目
- 脚本
- gocd+ldap
- nexus
- 安装和配置
- freeipa
- 介绍
- 安装
- freeipa集成ocserv
- VPN
- 原理
- vpn部署ocserv
- k8s
- k8s高可用集群
- DNSmasq
- SNIproxy
- Tinc
- prometheus
- 简介
- helm安装prometheus
- 采集数据概览
- 采集数据node-exporter
- 采集数据kube-state-metrics
- 采集数据cadvisor和apiservers
- 指标汇总展示
- 监控
- nginx+lua+waf
- 项目二
- 简介
- nacos
- 简介
- nacos配置管理功能
- tengine
- java
- java参数说明及优化
- github快速访问
- amd和arm区别
- AWS
- 负载均衡ALB
