参考文章: [https://www.yiibai.com/hbase/](https://www.yiibai.com/hbase/)
结构描述: 表是行的集合。 行是列族的集合。 列族是列的集合。 列是键值对的集合。
1.特定的前缀或尾缀格式构成表名,可以成为命名空间,如
amz\_jp:tb\_seller 其中amz\_jp:可以当命名空间
2.Hbase的纬度
表 =>列族 =>列 =>值 \[列族是必须的,列不是必须的,列族是列的统一抽象\]
3.hbase shell 常用命令
status 查看hbase服务器状态
list 列出所有的表
exists "table\_name" 检查某表是否存在
describe "table\_name" 描述表结构
create "table\_name" , "column\_family1" , "column\_family2" 创建某表 并确定列族
4.habse以row\_key作为主键存储列信息 其中row\_key具有字典序和自然序的特征排列存储。所以设计时要考虑该特性将关联数组构造成同结构row\_key的数据在一起
shell 命令参数 最好都用单引号
shell
进入hbase shell console
$HBASE\_HOME/bin/hbase shell
如果有kerberos认证,需要事先使用相应的keytab进行一下认证(使用kinit命令),认证成功之后再使用hbase shell进入可以使用whoami命令可查看当前用户
hbase(main)> whoami
表的管理
1)查看有哪些表
hbase(main)> list
使用exists 命令验证表是否被删除。
hbase(main)> exists 'test'
Table test does not exist
2)创建表
\# 语法:create , {NAME => , VERSIONS => }
\# 例如:创建表t1,有两个column family:f1,f2,且版本数均为2
hbase(main)> create 't1',{NAME => 'f1', VERSIONS => 2},{NAME => 'f2', VERSIONS => 2}
3)删除表
分两步:首先disable,然后drop
例如:删除表t1
hbase(main)> disable 't1'
hbase(main)> drop 't1'
4)查看表的结构
\# 语法:describe
\# 例如:查看表t1的结构
hbase(main)> describe 't1'
5)修改表结构
修改表结构必须先disable
添加列族
\# 语法:alter 't1', {NAME => 'f1'}, {NAME => 'f2', METHOD => 'delete'}
\# 例如:修改表t1的cf的TTL为180天
hbase(main)> disable 't1'
hbase(main)> alter 't1',{NAME=>'body',TTL=>'15552000'},{NAME=>'meta', TTL=>'15552000'}
hbase(main)> alter 't1','body1','meta1'
hbase(main)> enable 't1'
删除列族
hbase> alter 'table name', 'delete' => 'column family'
权限管理
1)分配权限
\# 语法 : grant 参数后面用逗号分隔
\# 权限用五个字母表示: "RWXCA".
\# READ('R'), WRITE('W'), EXEC('X'), CREATE('C'), ADMIN('A')
\# 例如,给用户'luanpeng'分配对表t1有读写的权限,
hbase(main)> grant 'luanpeng','RW','t1'
2)查看权限
\# 语法:user\_permission
\# 例如,查看表t1的权限列表
hbase(main)> user\_permission 't1'
3)收回权限
\# 与分配权限类似,语法:revoke
\# 例如,收回luanpeng用户在表t1上的权限
hbase(main)> revoke 'luanpeng','t1'
表数据的增删改查
1)添加数据
\# 语法:put ,,,,
\# 例如:给表t1的添加一行记录:rowkey是rowkey001,family name是f1,column name是col1,value是value01,timestamp:系统默认
hbase(main)> put 't1','rowkey001','f1:col1','value01'
用法比较单一。
2)查询数据
a)查询某行记录
\# 语法:get ,,\[,....\]
\# 例如:查询表t1,rowkey001中的f1下的col1的值
hbase(main)> get 't1','rowkey001', 'f1:col1'
\# 或者:
hbase(main)> get 't1','rowkey001', {COLUMN=>'f1:col1'}
\# 查询表t1,rowke002中的f1下的所有列值
hbase(main)> get 't1','rowkey001'
b)扫描表
\# 语法:scan , {COLUMNS => \[ ,.... \], LIMIT => num}
\# 另外,还可以添加STARTROW、TIMERANGE和FITLER等高级功能
\# 例如:扫描表t1的前5条数据
hbase(main)> scan 't1',{LIMIT=>5}
c)查询表中的数据行数
\# 语法:count , {INTERVAL => intervalNum, CACHE => cacheNum}
\# INTERVAL设置多少行显示一次及对应的rowkey,默认1000;CACHE每次去取的缓存区大小,默认是10,调整该参数可提高查询速度
\# 例如,查询表t1中的行数,每100条显示一次,缓存区为500
hbase(main)> count 't1', {INTERVAL => 100, CACHE => 500}
3)删除数据
a )删除行中的某个列值
\# 语法:delete , , , ,必须指定列名
\# 例如:删除表t1,rowkey001中的f1:col1的数据
hbase(main)> delete 't1','rowkey001','f1:col1'
注:将删除改行f1:col1列所有版本的数据
b )删除行
\# 语法:deleteall , , , ,可以不指定列名,删除整行数据
\# 例如:删除表t1,rowk001的数据
hbase(main)> deleteall 't1','rowkey001'
c)删除表中的所有数据
\# 语法: truncate
\# 其具体过程是:disable table -> drop table -> create table
\# 例如:删除表t1的所有数据
hbase(main)> truncate 't1'
Region管理
1)移动region
\# 语法:move 'encodeRegionName', 'ServerName'
\# encodeRegionName指的regioName后面的编码,ServerName指的是master-status的Region Servers列表
\# 示例
hbase(main)>move '4343995a58be8e5bbc739af1e91cd72d', 'db-41.xxx.xxx.org,60020,1390274516739'
2)开启/关闭region
\# 语法:balance\_switch true|false
hbase(main)> balance\_switch
3)手动split
\# 语法:split 'regionName', 'splitKey'
4)手动触发major compaction
#语法:
#Compact all regions in a table:
#hbase> major\_compact 't1'
#Compact an entire region:
#hbase> major\_compact 'r1'
#Compact a single column family within a region:
#hbase> major\_compact 'r1', 'c1'
#Compact a single column family within a table:
#hbase> major\_compact 't1', 'c1'
配置管理及节点重启
1)修改hdfs配置
hdfs配置位置:/etc/hadoop/conf
\# 同步hdfs配置
cat /home/hadoop/slaves|xargs -i -t scp /etc/hadoop/conf/hdfs-site.xml hadoop@{}:/etc/hadoop/conf/hdfs-site.xml
#关闭:
cat /home/hadoop/slaves|xargs -i -t ssh hadoop@{} "sudo /home/hadoop/cdh4/hadoop-2.0.0-cdh4.2.1/sbin/hadoop-daemon.sh --config /etc/hadoop/conf stop datanode"
#启动:
cat /home/hadoop/slaves|xargs -i -t ssh hadoop@{} "sudo /home/hadoop/cdh4/hadoop-2.0.0-cdh4.2.1/sbin/hadoop-daemon.sh --config /etc/hadoop/conf start datanode"
1
2
3
4
5
6
2)修改hbase配置
hbase配置位置:/home/hadoop/hbase
\# 同步hbase配置
cat /home/hadoop/hbase/conf/regionservers|xargs -i -t scp /home/hadoop/hbase/conf/hbase-site.xml hadoop@{}:/home/hadoop/hbase/conf/hbase-site.xml
\# graceful重启
cd ~/hbase
bin/graceful\_stop.sh --restart --reload --debug inspurXXX.xxx.xxx.org
hbase shell 脚本
编写一个文本文件hbasedemo.txt:
disable 'table1'
drop 'table1'
create 'table1', 'column\_family1','column\_family2'
list 'table1'
put 'table1', 'row\_key1', 'column\_family1:col1', 'value1'
put 'table1', 'row\_key2', 'column\_family1:col2', 'value2'
put 'table1', 'row\_key3', 'column\_family2:col3', 'value3'
put 'table1', 'row\_key4', 'column\_family2:col4', 'value4'
scan 'table1'
scan 'table1',{LIMIT=>5}
get 'table1', 'row\_key1'
get 'table1','row\_key1', 'column\_family1:col1'
count 'table1'
disable 'table1'
alter 'table1',NAME=>'column\_family3'
alter 'table1','delete'=>'column\_family3'
enable 'table1'
describe 'table1'
grant 'root','RW','table1'
user\_permission 'table1'
delete 'table1','row\_key1','column\_family1:col1'
deleteall 'table1','row\_key1'
truncate 'table1'
在HBase shell中运行这个脚本
hbase shell hbasedemo.txt
- 常见功能
- 第三方授权登录
- 邮件发送
- 简易聊天室
- 获取各国汇率
- PHP获取服务器硬件指标
- 数据上报之
- web开发
- 开发规范
- 前端
- 踩坑
- 将footer固定在底部
- bootstrap
- Metronic
- 用到的jquery插件
- bootstrap-hover-dropdown
- jquery.slimscroll
- jquery.blockui
- bootstrap-switch
- js.cookie
- moment
- bootstrap-daterangepicker
- morris
- raphael
- jquery.waypoints
- jquery.counterup
- select2
- 取值和设置默认值
- vue
- axios
- 浏览器
- 谷歌浏览器
- 谷歌插件
- layui
- layui-表格
- layui-表单
- layui-弹窗
- layui-分页
- 后端
- 操作系统
- linux
- 用户管理
- 文件管理
- 目录管理
- 压缩和解压缩
- 进程查看
- 端口查看
- 开机自启动服务
- 定时任务
- shell脚本
- 杀掉运行超过指定时长指定服务的进程
- 获取服务器使用状态
- bash-shell连接socket
- 自定义快捷命令
- centos-踩坑
- 防火墙
- 软件
- yum
- vim
- screen
- window
- 语言
- PHP
- 配置优化
- 框架
- thinkphp5.1+
- think命令行
- laravel6.+
- 维护模式
- 根据环境读取不同配置
- laravel6.+采坑
- laravel坑位
- 数据库事务
- 任务调度
- 文件权限问题
- 增强框架
- larvel:elastic-search
- 图形验证码
- laravel获取ip
- 函数
- strtotime
- 正则匹配
- 类
- 接口类与抽象类
- 类相关的关键字 - abstract
- 类相关的关键字 - interface
- PHP有关类的调用方式"->"与"::"的区别
- 扩展
- 问题归纳
- json_encode和json_decode
- 字符串的运算
- curl
- 优化php效率
- 数组相加合并与array_merge
- 时区转换
- 不常用特性
- php反射
- 包管理器-composer
- GuzzleHttp
- Python
- Go
- 数据库
- Redis
- 安装
- 本地化-数据备份
- php-redis操作
- Mysql
- mysql-命令集合
- 设置终端可访问
- 数据库设计
- 用户基础信息表
- 踩坑集合
- mysql-2002
- mysql-2054
- 优化策略
- mysql-密码验证插件
- 一些牛逼的sql查询
- topN
- 无限级分类
- Memcache
- MongoDb
- 安装mongo-server
- 安装php-mongodb扩展
- 在laravel中使用mongoDB
- 客户端软件
- Hbase
- Elasticsearch
- elastic-search
- restfulApi操作es
- web服务器
- 1.nginx
- 配置语法规则
- 配置详解
- rewrite规则
- request_filename
- 2.apache
- 功能设计
- 加密解密
- Base64
- 对亚马逊SKU加密
- 兼职项目中的加解密
- 腾讯外包时的加密
- 接口设计
- 接口限流设计
- 分库分表
- 遍历展示文件目录结构
- 时区换算
- 文件切割
- 解析xml字符串
- 项目
- 博客后台管理
- 亚马逊广告API
- 官方指引文档
- 开发人员中心
- 应用商店
- 第三方库
- 申请API邮件记录
- 亚马逊MWS
- 付款报告
- 乱码
- 亚马逊管理库存报告
- 报告
- 商品
- 入库
- 履行
- 出库
- 财务
- 订单
- 异步任务处理
- 集群如何同步代码
- 基本开发流程
- 文档管理
- showdoc
- 运行环境
- 开发环境
- vagrant
- windows上配置安装
- vagrant安装插件缓慢
- 更换ssh默认端口映射
- 设置x-shell密码登录
- 使用市场的box-homestead
- homestead-7: Box 'lc/homestead'
- 常见问题
- 虚拟环境reboot
- 突然无法使用
- phpStudy
- wamp
- 压测性能
- VPN
- vultr
- 凌空图床
- 宝塔
- 自动化部署
- 版本管理软件钩子
- 线上环境-LNMP
- centos7
- nginx
- mysql
- mysql开机自启
- mysql-更换默认端口
- datetime字段类型默认值
- php
- php扩展安装
- redis
- swoole
- gd
- BCMath
- igbinary
- zstd
- 包管理器:composer
- 优化性能
- nodejs
- 更新gcc版本
- 版本控制
- git
- 常用命令
- gitlab
- 版本管理规范
- 使用阿里云创建远程仓库
- git自动化部署
- svn
- 忽略指定文件
- 拉取代码
- 自动化运维
- jekins
- 容器
- 集群
- 架构设计
- 设计原则
- 阅读参考
- 代码规划
- 架构实战
- 服务治理
- 权限控制设计
- 具体设计
- 计划
- 疑问知识点
- 读书笔记
- 高性能Mysql
- TCP-IP详解-卷一:协议
- 思考
- php如何实现并发执行
- 对接调用设计
- 如何在浏览器上实现插件
- 如何设计一个app结合业务告警
- mysql的where查询没有用到索引
- 为啥in查询比循环嵌套sql的查询还要慢
- 使用git来创建属于自己的composer包
- 翻页获取数据的时候又新增了数据
- 安全思路
- 月报
- PHP ?? 和 ?: 的区别
- PHP异步执行
- redis集群的目标是什么
- 大文件数据处理
- 性能瓶颈分析
- 命令行里输出带颜色的字体
- 面试问题合集
- 基础
- 安全
- 算法
- 冒泡排序
- 快速排序
- 二分法查询数组指定成员
- 字符查找匹配
- 令牌桶
- 漏桶
- 计数器
- 代理
- 协议
- http
- 状态码
- tcp
- udp
- Oauth2.0
- 设计模式
- 单例模式
- 适配器模式
- 工厂模式
- 观察者模式
- 流程化
- 地址栏输入网址到返回网页的流程
- 题目收集
- 工具
- rabbitMq
- rabbitMQ用户管理
- 生产者
- 消费者
- 支持TP5.*的think-queue
- 消息丢失
- 消费者报错
- rabbitMQ配置优化
- 磁盘满载导致服务挂掉
- PHP类库
- rabbitMQ踩坑
- navicat
- vscode
- phpstorm
- 激活码
- markdown
- PHP自定义类库
- 工具类
- 领导力
- 任务分配
- 代码组织
- 不要重复
- 避免污染
- 接口定义规范
- 小业务需求
- 获取充值面额组成
- 监控服务器CPU和内存
- shell脚本版本