## Mesos 基本原理与架构
首先,Mesos 自身只是一个资源调度框架,并非一整套完整的应用管理平台,本身是不能干活的。但是它可以比较容易的跟各种应用管理或者中间件平台整合,一起工作,提高资源使用效率。
### 架构
![mesos-arch](https://box.kancloud.cn/2015-12-16_5671229ca589e.png)
master-slave 架构,master 使用 zookeeper 来做 HA。
master 单独运行在管理节点上,slave 运行在各个计算任务节点上。
各种具体任务的管理平台,即 framework 跟 master 交互,来申请资源。
### 基本单元
#### master
负责整体的资源调度和逻辑控制。
#### slave
负责汇报本节点上的资源给 master,并负责隔离资源来执行具体的任务。
隔离机制当然就是各种容器机制了。
#### framework
framework 是实际干活的,包括两个主要组件:
* scheduler:注册到主节点,等待分配资源;
* executor:在 slave 节点上执行本framework 的任务。
framework 分两种:一种是对资源需求可以 scale up 或者 down 的(Hadoop、Spark);一种是对资源需求大小是固定的(MPI)。
### 调度
对于一个资源调度框架来说,最核心的就是调度机制,怎么能快速高效的完成对某个 framework 资源的分配(最好是能猜到它的实际需求)。
#### 两层调度算法:
master 先调度一大块资源给某个 framework,framework 自己再实现内部的细粒度调度。
调度机制支持插件。默认是 DRF。
#### 基本调度过程
调度通过 offer 方式交互:
* master 提供一个 offer(一组资源) 给 framework;
* framework 可以决定要不要,如果接受的话,返回一个描述,说明自己希望如何使用和分配这些资源(可以说明只希望使用部分资源,则多出来的会被 master 收回);
* master 则根据 framework 的分配情况发送给 slave,以使用 framework 的 executor 来按照分配的资源策略执行任务。
#### 过滤器
framework 可以通过过滤器机制告诉 master 它的资源偏好,比如希望分配过来的 offer 有哪个资源,或者至少有多少资源。
主要是为了加速资源分配的交互过程。
#### 回头机制
master 可以通过回收计算节点上的任务来动态调整长期任务和短期任务的分布。
### HA
#### master
master 节点存在单点失效问题,所以肯定要上 HA,目前主要是使用 zookpeer 来热备份。
同时 master 节点可以通过 slave 和 framework 发来的消息重建内部状态(具体能有多快呢?这里不使用数据库可能是避免引入复杂度。)。
#### framework 通知
framework 中相关的失效,master 将发给它的 scheduler 来通知。
- 前言
- Docker 简介
- 什么是 Docker
- 为什么要用 Docker
- 基本概念
- 镜像
- 容器
- 仓库
- 安装
- Ubuntu
- CentOS
- 镜像
- 获取镜像
- 列出
- 创建
- 存出和载入
- 移除
- 实现原理
- 容器
- 启动
- 守护态运行
- 终止
- 进入容器
- 导出和导入
- 删除
- 仓库
- Docker Hub
- 私有仓库
- 配置文件
- 数据管理
- 数据卷
- 数据卷容器
- 备份、恢复、迁移数据卷
- 使用网络
- 外部访问容器
- 容器互联
- 高级网络配置
- 快速配置指南
- 配置 DNS
- 容器访问控制
- 端口映射实现
- 配置 docker0 网桥
- 自定义网桥
- 工具和示例
- 编辑网络配置文件
- 实例:创建一个点到点连接
- 实战案例
- 使用 Supervisor 来管理进程
- 创建 tomcat/weblogic 集群
- 多台物理主机之间的容器互联
- 标准化开发测试和生产环境
- 安全
- 内核名字空间
- 控制组
- 服务端防护
- 内核能力机制
- 其它安全特性
- 总结
- Dockerfile
- 基本结构
- 指令
- 创建镜像
- 底层实现
- 基本架构
- 名字空间
- 控制组
- 联合文件系统
- 容器格式
- 网络
- Docker Compose 项目
- 简介
- 安装
- 使用
- 命令说明
- YAML 模板文件
- Docker Machine 项目
- 简介
- 安装
- 使用
- Docker Swarm 项目
- 简介
- 安装
- 使用
- 调度器
- 过滤器
- Etcd 项目
- 简介
- 安装
- 使用 etcdctl
- Fig 项目
- 简介
- 安装
- 命令参考
- fig.yml参考
- 环境变量参考
- 实战 Django
- 实战 Rails
- 实战 wordpress
- CoreOS 项目
- 简介
- 工具
- 快速搭建CoreOS集群
- Kubernetes 项目
- 简介
- 快速上手
- 基本概念
- kubectl 使用
- 架构设计
- Mesos 项目
- 简介
- 安装与使用
- 原理与架构
- 配置项解析
- 常见框架
- 附录一:命令查询
- 附录二:常见仓库介绍
- Ubuntu
- CentOS
- MySQL
- MongoDB
- Redis
- Nginx
- WordPress
- Node.js
- 附录三:有用的资源