完善资料让更多小伙伴认识你,还能领取20积分哦, 立即完善>
分区是hive存放数据的一种方式。将列值作为目录来存放数据,就是一个分区。这样查询时使用分区列进行过滤,只需根据列值直接扫描对应目录下的数据,不扫描其他不关心的分区,快速定位,提高查询效率。分动态和静态分区两种:
1. 静态分区:若分区的值是确定的,那么称为静态分区。新增分区或者是加载分区数据时,已经指定分区名。
2. 动态分区:分区的值是非确定的,由输入数据来确定 2.1 动态分区的相关属性:
2.2 动态分区的操作
3.分区注意细节 (1)、尽量不要用动态分区,因为动态分区的时候,将会为每一个分区分配reducer数量,当分区数量多的时候,reducer数量将会增加,对服务器是一种灾难。 (2)、动态分区和静态分区的区别,静态分区不管有没有数据都将会创建该分区,动态分区是有结果集将创建,否则不创建。 (3)、hive动态分区的严格模式和hive提供的hive.mapred.mode的严格模式。 hive提供我们一个严格模式:为了阻止用户不小心提交恶意hql hive.mapred.mode=nostrict : strict 如果该模式值为strict,将会阻止以下三种查询: (1)、对分区表查询,where中过滤字段不是分区字段。 (2)、笛卡尔积join查询,join查询语句,不带on条件或者where条件。 (3)、对order by查询,有order by的查询不带limit语句。 |
|
相关推荐 |
|
只有小组成员才能发言,加入小组>>
「含关键代码」基于AM3352/AM3354/AM3359的Linux开发案例分享
4855 浏览 0 评论
87331 浏览 0 评论
【高手问答】如何做到精通linux技术?资深工程师带你突破难点
4641 浏览 2 评论
3547 浏览 2 评论
解读Linux :先从创建一个文件夹用来存放jdk压缩文件开始
2439 浏览 0 评论
1921浏览 3评论
这是i.mx6ull的关于usb的宏定义,能解释下这些宏定义的意思
1307浏览 1评论
1197浏览 1评论
求解:aarch64交叉编译工具已经安装成功,环境变量已经配置,怎么将系统架构切换为ARM的架构
1270浏览 0评论
电脑和虚拟机可以互ping,电脑和开发板也可以互ping,但是虚拟机和开发板ping不通是什么原因
1196浏览 0评论
小黑屋| 手机版| Archiver| 电子发烧友 ( 湘ICP备2023018690号 )
GMT+8, 2024-11-5 12:20 , Processed in 1.131242 second(s), Total 60, Slave 46 queries .
Powered by 电子发烧友网
© 2015 bbs.elecfans.com
关注我们的微信
下载发烧友APP
电子发烧友观察
版权所有 © 湖南华秋数字科技有限公司
电子发烧友 (电路图) 湘公网安备 43011202000918 号 电信与信息服务业务经营许可证:合字B2-20210191 工商网监 湘ICP备2023018690号