多应用+插件架构,代码干净,二开方便,首家独创一键云编译技术,文档视频完善,免费商用码云13.8K 广告
hive会将一个查询转化成一个或者多个阶段.这样的阶段可以是MapReduce阶段,抽样阶段,合并阶段,limit阶段.或者hive执行过程中可能需要的其他阶段. 默认情况下,hive一次只会执行一个阶段.不过,某个特定的job可能包含众多的阶段,而这些阶段可能并非完全互相依赖的,也就是说有些阶段是可以并行执行的,这样可能使得整个job的执行时间缩短. 通过设置参数hive.exec.parallel值为true,就可以开启并发执行.不过,在共享集群中,需要注意下,如果job中并行阶段增多,那么集群利用率就会增加. ~~~ //打开任务并行执行 set hive.exec.parallel=true; //同一个sql允许的最大并行度,默认为8 set hive.exec.parallel.thread.number=16; ~~~ 当然,在系统资源比较空闲的时候才有优势.没资源,也并行不起来.