Hive存储优化策略

原创 已于 2024-09-06 13:30:27 修改 · 698 阅读 · 6
于 2021-05-30 20:31:21 首次发布
本文介绍了如何优化Hive存储，包括避免小文件生成的策略，如通过设置 CombineHiveInputFormat 合并小文件；详细讲解了ORC文件索引的Row Group Index和Bloom Filter Index，及其对查询性能的提升；以及介绍了ORC矢量化查询的概念，以提高查询效率。这些优化措施对于大数据处理和分析至关重要。

目录

1 避免小文件生成

2 ORC文件索引

2.1 Row Group Index

2.2 Bloom Filter Index

3 ORC矢量化查询

4 总结

1 避免小文件生成

Hive的存储本质还是HDFS，HDFS是不利于小文件存储的，因为每个小文件会产生一条元数据信息，并且不利用MapReduce的处理，MapReduce中每个小文件会启动一个MapTask计算处理，导致资源的浪费，所以在使用Hive进行处理分析时，要尽量避免小文件的生成。

那么在使用Hive时，如何能避免小文件的生成呢？当我们使用多个Reduce进行聚合计算时，我们并不清楚每个Reduce最终会生成的结果的数据大小，无法控制用几个Reduce来处理。Hive中为我们提供了一个特殊的机制，可以自动的判断是否是小文件，如果是小文件可以自动将小文件进行合并。

  • 配置

-- 如果hive的程序，只有maptask，将MapTask产生的所有小文件
标签
#hive
了解本专栏 订阅专栏 解锁全文
Hive性能调优实战：从存储压缩到执行引擎的深度优化策略与案例解析
dichengyan0013的博客
07-13 747
本文深入探讨Hive性能调优的实战策略，从存储压缩到执行引擎的全面优化。通过对比ORC、Parquet等文件存储格式和Snappy、Zlib等压缩算法，显著提升查询效率。结合Map Join、Bucket Join等执行引擎优化技巧，解决数据倾斜问题，实现查询速度提升5倍以上。
HIVE介绍（五）_hive limit
2501_90245740的博客
01-12 557
UDF通常是一个输入对应一个输出，应用场景有：根据身份证号判断该用户年龄自定义UDF需要继承UDF并重写evaluate方法UDTF为一个输入多个输出，应用场景有：根据登录的信息拆分成多个字段输出继承GenericUDTF，重写实现initialize（定义输出参数的名字和类型）, process, close三个方法，用来解析事件字段自定义函数相比json解析：自定义函数方便定位错误。
Hive数据归档策略：冷数据存储成本优化
操作系统内核探秘的博客
09-29 1041
Hive数据的存储模型和冷数据的判定标准。Hive数据归档不是“技术难题”，而是“业务与技术的平衡艺术”。优先归档“高成本低价值”数据：大体积、低访问频率的冷数据是“降本重点”；用外部表承载冷数据：避免误删，灵活指向冷存储；自动化是关键：用Airflow/Oozie调度任务，减少手动操作；定期评估归档效果：每季度 review 一次策略，根据业务变化调整；结合云原生技术：优先使用云厂商的智能分层存储，降低运维成本。最后一句话数据是企业的资产，但“不管理的资产”会成为负担。
Hive精选10道面试题
Byyyi耀的博客
01-07 3639
Hive精选面试题
Hive分区与分桶：大数据存储优化的关键策略
最新发布
AI 领航者的博客
02-25 686
随着企业数据量呈指数级增长，传统关系型数据库在处理PB级数据时面临性能瓶颈。Hive通过将结构化数据映射到HDFS文件，利用Hadoop分布式计算框架实现海量数据处理。但原始数据的无序存储会导致查询时扫描全量数据，分区和分桶技术通过数据预组织，将数据划分为逻辑或物理上的子数据集，显著减少数据扫描范围。本文系统讲解分区与分桶的核心原理、实现方式、性能对比及联合使用策略，覆盖从概念解析到生产环境优化的全流程，适合需要提升Hive应用性能的技术人员。基础概念：定义分区与分桶，对比技术差异。
ORC索引的位置信息
Stiga Huang的专栏
01-12 1910
ORC是Hadoop生态圈里一种流行的列式存储格式，自带schema和索引。索引是用来加速查找数据的，当查询条件能用上索引时，就跳转到文件对应位置来读取，跳过无关的数据。因此文件里的索引是要记录一个位置信息的，这样才能跳转。最近在debug时发现索引记录的位置信息不太好理解，这里记一下笔记。 一个ORC文件按行横向切分成多个Stripe，每个Stripe里分成三部分，分别是索引、数据（Raw Data）和Stripe Footer。索引和Raw Data部分都按列来存储： （图片复制于https://or
Hive的优化
xixiuying66的博客
04-15 388
hive调优是比较大的专题，需要结合实际的业务，数据的类型，分布，质量状况等来实际的考虑如何进行系统性的优化，hive底层是mapreduce，所以hadoop调优也是hive调优的一个基础,hvie调优可以分为几个模块进行考虑，数据的压缩与存储，sql的优化，hive参数的优化，解决数据的倾斜等。 一，数据的压缩与存储格式 对分析的数据选择合适的存储格式与压缩方式能提高hive的分析效率： ...
Oracle索引详解
热门推荐
D2cOneluo的博客
08-11 2万+
Oracle索引一、索引介绍1、什么是索引？2、使用索引的目的二、索引的分类及结构1、逻辑上：2、物理上：三、各种索引详解1、 B树索引（1）特点：（2）技巧：2、位图索引（1）特点：（2）技巧：3、 反向索引（1）特点：（2）技巧：4、HASH索引（1）特点：5、函数索引6、分区索引和全局索引7、域索引 Domain四、怎样建立索引1、普通索引2、唯一索引 Oracle 自动在表的主键上创建唯一索引3、位图索引4、组合索引5、基于函数索引6、反向键索引7.重置索引8.删除索引五、索引失效细节1.使用不等于
ORC存储结构
数仓老六
10-31 1897
ORC是列式存储，有多种文件压缩方式，并且有着很高的压缩比。文件是可切分（Split）的。因此，在Hive中使用ORC作为表的文件存储格式，不仅节省HDFS存储资源，查询任务的输入数据量减少，使用的MapTask也就减少了。提供了多种索引，row group index、bloom filter index。ORC可以支持复杂的数据结构（比如Map等）
Hive存储优化策略与实践
ITHomeZSL的博客
09-01 1106
评估现状：检查当前表的存储格式、压缩情况、是否存在小文件问题。制定目标：确定要转换为 ORC 还是 Parquet，选择 Snappy 还是 Zlib 压缩。分批转换-- 防止转换过程中产生小文件AS-- 或者使用 INSERT OVERWRITE优化表结构：为转换后的新表设计合理的分区和分桶策略。优化查询：确保你的查询语句能利用到这些优化（例如，在 WHERE 条件中使用分区字段）。监控和调整：观察转换后的性能表现和存储占用，根据需要调整 ORC 参数或压缩算法。记住，
【图文详细 】Hive 优化策略 之 合理利用文件存储格式
谦卑t
12-04 229
创建表时，尽量使用 orc、parquet 这些列式存储格式，因为列式存储的表，每一列的数据在 物理上是存储在一起的，Hive 查询时会只遍历需要列数据，大大减少处理的数据量。 ...
Hive存储格式及优化
ljh18885466426的博客
10-19 505
Hive的数据存储格式 列式存储、行式存储 Hive中表的数据存储格式，不是只支持text文本格式，还支持其他很多格式。 建表的时候通过STORED AS 语法指定。如果没有指定默认都是textfile（行存储）。 Hive中主流的几种文件格式。 textfile 文件格式 ORC、Parquet 列式存储格式。 都是列式存储格式，底层是以二进制形式存储。数据存储效率极高，查询方便。 栗子 分别使用3种不同格式存储数据，去HDFS上查看底层文件存储空间的差异。 --1、创建
大数据之Hive优化
yutao_Struggle的博客
09-13 834
1 压缩与存储 1.1 Hadoop压缩配置 通过Hadoop命令可查看当前支持的压缩方式： [yut@aliyun220 hadoop-2.10.0]$ hadoop checknative 20/09/13 16:03:51 INFO bzip2.Bzip2Factory: Successfully loaded & initialized native-bzip2 library system-native 20/09/13 16:03:51 INFO zlib.ZlibFactory: Su
2022-07-29 Hive压缩、文件存储格式、优化
D___H的博客
07-29 548
Hive压缩、文件存储格式、优化
Hive
devcy的博客
01-13 495
一、order by order by 是要对输出的结果进行全局排序，故此只有一个reducer(多个reducer无法保证全局有序)； 但是当数据量过大的时候，效率就很低。如果在严格模式下（hive.mapred.mode=strict）,则必须配合limit使用。 二、sort by sort by 不是全局排序，只是在进入到reducer之前完成排序，只保证了每个reducer中数据按照指定...
hive(七) -- 拉链表、数据存储及优化配置
Gefangenes的博客
06-01 1386
从他们的结构上可以看出，行存储在写入时比列存储要快〈eg:如果是机械硬盘，行存储时磁头在磁盘上只需要顺序写入，而列存储需要频繁的移动定位到下一个字段需要写入的地址，造成了时间上的开销)﹔同时由于行存储下表的数据是放在一起的，一次写入，所以数据的完整性可以确定;拉链表的设计是将更新的数据进行状态记录，没有发生更新的数据不进行状态存储，用于存储所有数据在不同时间上的所有状态，通过时间进行标记每个状态的生命周期，查询时，根据需求可以获取指定时间范围状态的数据，默认用9999-12-31等最大值来表示最新状态。
hive的存储格式、hive的调优、flame的基础知识part1
Carina_____的博客
11-06 501
1.数据存储的格式： 两大类：列式存储、行式存储 四小种：行式存储：TEXTFILE、SEQUENCEFILE 列式存储：ORC、PARQUENT 注意：一般原始数据都是以textfile这种形式存储的 经过分析之后通过insert overwrite select 将我们分析出来的结果插入到另一张临时表里面就可以使用parquet或者orc这些列式存储格式 存储与压缩相结合：存储格式和压缩方式没有关系 实际工作当中，一般存储格式与压缩方式都会一起使用 log_orc 2.8M 因为orc格式的数据默认带来
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值