### Q：一般项目使用上DataPipeline的服务是统一管理还是私有化部署?若是私有化部署若要升级怎么操作? A：DataPipeline 是私有化部署产品，产品部署服务器有外网的情况可以选择在线升级，没有外网可以采用升级包进行升级。 ### 安装部署流程： #### （一） 前期准备 * 单机模式：需要开放端口: 80, 5000 （可配置） * 服务器和数据库： 服务器配置要求和数据库配置要求详见[部署要求](chapter1/bsyq.md)； * 镜像文件： Docker和初始化脚本下载链接： https://download.datapipeline.com/DP_init.tgz DataPipeline安装脚本下载链接： https://download.datapipeline.com/DP_single_v2.7.0.tgz DataPipeline镜像包下载链接： https://download.datapipeline.com/DP_images_270.tgz <br/> #### （二） 部署说明 1. 系统初始化 Docker和DP产品默认安装到/data下，如有单独磁盘需要挂载，请挂载磁盘到/data后,修改docker.service的docker根目录，再执行初始化脚本。 ``` # tar zxvf DP_init.tgz # vim centos.sh （ubuntu系统修改ubuntu.sh） ``` 红圈中的路径可根据服务器磁盘大小来修改，比如：执行df -h命令后，发现有一块500G的磁盘单独挂在到/mnt下，那就可以将docker.service红圈中的路径改成/mnt/docker，如果服务器只有一块磁盘，就不需要修改红圈中的路径。  修改完成后，执行初始化脚本 ``` # bash centos.sh (ubuntu系统执行ubuntu.sh) ``` <br/> 2. Docker和参数验证 1）验证docker是否已正确安装 ``` # docker version ``` 回显如下：  2）验证docker-compose是否已正确安装： ``` # docker-compose ``` 回显如下：  3）验证系统参数是否修改 ``` # cat /proc/sys/fs/file-max （16G内存以上是否大于等于1610821） # cat /proc/sys/net/ipv4/ip_forward （查看是否是1，为0需要修改） # cat /proc/sys/vm/overcommit_memory （查看是否是1，为0需要修改） # cat /proc/sys/vm/max_map_count （查看是否大于等于262144，低于此值需要修改） ``` #### （三） DataPipeline产品安装 1. 服务器有外网可直接登录DP镜像库，不需要下载镜像包，执行完第1步后直接跳到第6步。 ``` # docker login registry.datapipeline.com -udatapipeline -pdatapipeline ``` 2. 服务器无外网需将DataPipeline产品镜像包下载并上传至服务器 3. 镜像文件解压缩： ``` # tar zxvf DP_images_270.tgz ```  4. 导入镜像： ``` # ./load_image.sh ``` 5. 验证是否已正确导入： ``` # docker images ```  6. 有外网可以直接wget脚本，无外网需将DataPipeline安装脚本下载并上传至服务器。 7. 脚本文件解压缩： ``` # tar zxvf DP_single_v2.7.0.tgz ```  8. 配置文件修改： * 编辑 manifest.sh ``` # cd /root/datapipeline # vi manifest.sh ``` 1）修改web访问的IP或已经添加DNS解析的域名，例如:（59.110.164.227或域名） 2）修改DP产品根目录位置（如果默认是/data，可以修改为/home或者/app） 3）修改客户唯一描述符，根据公司全拼或者英文命名，例如:（POC填写：suibian-test；生产填写：SUIBIAN-ONLINE） 4）默认服务器为16G内存，所以选用docker-compose_16G.yml配置文件。如果服务器内存为32G，就改成docker-compose_32G.yml。  **注**：如果配置文件不是放在根目录下，那么需要修改： ``` export COMPOSE_FILE=/root/datapipeline/singlehost/docker-compose_16G.yml ``` 改为如下： ``` export COMPOSE_FILE=当前路径/singlehost/docker-compose_16G.yml ``` * 查看当前路径命令： ``` # pwd ``` 9. 启动服务 ``` # cd singlehost # ./startall.sh # docker ps -a （查看本地容器状态） ``` 10. 请确保本机80端口开通；如这个端口不可用，需修改 singlehost/docker-compose_16G.yml 中dashboard服务相应端口号；dashboard服务的端口就是web访问时的端口。见下图：  11. 通过浏览器输入服务器IP，访问DataPipeline，默认用户名admin，密码123456。如已在配置文件中修改了端口号，需在访问IP后加上dashboard对应的端口号。 输入访问IP后，出现产品登录界面，见下图：  输入用户名和密码进行登录，如可成功进入，说明已部署成功（见下图）。如无法连接，请检查上述部署操作是否正确或联系DataPipeline工程师协助解决。  12）创建任务前，取消schema验证 ``` # docker exec -it schema_registry curl -X PUT -H "Content-Type:application/vnd.schemaregistry.v1+json" --data '{"compatibility": "NONE"}' http://localhost:8081/config ```