Hive 导入导出数据

Hive数据导出的四种方法 介绍hive四种数据导出方法:Insert语句导出、Hadoop命令导出、Hive shell命令导出、Export语句导出 阅读详情

将文件中的数据加载到表中

LOAD DATA LOCAL INPATH './examples/files/kv1.txt' OVERWRITE INTO TABLE pokes; 

加载本地数据,同时给定分区信息

LOAD DATA LOCAL INPATH './examples/files/kv2.txt' OVERWRITE INTO TABLE invites PARTITION (ds='2008-08-15');

加载DFS数据 ,同时给定分区信息

LOAD DATA INPATH '/user/myname/kv2.txt' OVERWRITE INTO TABLE invites PARTITION (ds='2008-08-15');

将查询数据输出至目录

INSERT OVERWRITE DIRECTORY '/tmp/hdfs_out' SELECT a.* FROM invites a WHERE a.ds='<DATE>';

将查询结果输出至本地目录

INSERT OVERWRITE LOCAL DIRECTORY '/tmp/local_out' SELECT a.* FROM pokes a;

将一个表的统计结果插入另一个表中

INSERT OVERWRITE TABLE events SELECT a.bar, count(1) FROM invites a WHERE a.foo > 0 GROUP BY a.bar;

将文件流直接插入文件

FROM invites a INSERT OVERWRITE TABLE events SELECT TRANSFORM(a.foo, a.bar) AS (oof, rab) USING '/bin/cat' WHERE a.ds > '2008-08-09';

利用sqoop将hive数据导入导出数据到mysql 利用sqoop将hive数据导入导出数据到mysql 运行环境  centos 5.6   hadoop  hive sqoop是让hadoop技术支持的clouder公司开发的一个在关系数据和hdfs,hive之间数据导入导出的一个工具 在使用过程中可能遇到的问题: sqoop依赖zookeeper,所以必须配置ZOOKEEPER_HOME到环境变量中。sq 阅读详情

相关推荐

hive基本数据类型、数据、表及6种数据导入导出命令总结

1、hive基本数据类型 2、数据类型 实例:创建不同数据类型的表 create table test( name string, friends array<string>, children map<string, int>, address struct<street:string, city:string> ) row format delimited fields terminated by ',' collection items...

weixin_48620718的博客 895

Hive的4种导入和3种导出方式

接上篇文章《Hive集群安装》 一、使用beeline连接hive 1. 启动Hadoop:start-dfs.sh、start-yarn.sh [root@node4 hadoop-2.6.4]# sbin/start-dfs.sh [root@node4 hadoop-2.6.4]# sbin/start-yarn.sh 2. 连接hive [root@node4 apache-h...

Allenzyg的博客 2685

Hive几种数据导出方式 – 过往记忆

Hive几种数据导出方式,总结的几种方式希望能帮到大家

Hive 导出数据的五种方式

1. Insert方式,查询结果导出到本地或HDFS Insert overwrite local directory ‘/root/insert/student’ select id,name from student; Insert overwrite directory ‘/user/ insert /student’ select id,name from student; 2. Hadoop命令导出本地 hive>dfs -get /user/hive/warehouse/studen

weixin_59295776的博客 6208

Hive数据导出三种方式

1、导出到本地文件系统 2、导出到HDFS中 注意,和导出文件到本地文件系统的HQL少一个local,数据的存放路径就不一样了。如果没有提前在hdfs中创建hdfs文件夹,会自动创建。 3、导出到Hive的另一张表中 ......

hyj 4119

Hive导入数据的四种方式

Hive导入数据的四种方式 2、HDFS上导入数据Hive表 先将文件从本地导入到hdfs上 注意: (1)是移动不是复制,hdfs中的teacher2.txt移动走了。 (2)如果有多个文件可以:load data inpath '/input/*' into table teacher; 3、从别的表中查询出相应的数据并导入到Hi...

hyj 1万+

Hive数据导入导出的几种方式

一,Hive数据导入的几种方式 首先列出讲述下面几种导入方式的数据hive表。 Hive表: 创建testA:   CREATE TABLE testA ( id INT, name string, area string ) PARTITIONED BY (create_time string) ROW FORMAT DELIMITED FIELDS TERMINATED B...

qianshanding0708的博客 1万+

hive数据导入导出

Hive数据导入导出的几种方式 一,Hive数据导入的几种方式 首先列出讲述下面几种导入方式的数据hive表。 导入: 本地文件导入到Hive表; Hive表导入到Hive表; HDFS文件导入到Hive表; 创建表的过程中从其他表导入; 通过sqoop将mysql导入到Hive表;示例见《通过sqoop进行mysql与hive导入导出》和《定时从大数据平台同步HIVE数据到oracle》 ...

weixin_40083227的博客 487

hive数据导入导出,备份恢复

加载HDFS文件数据到表: LOAD DATA INPATH "hdfs_source_path" OVERWRITE INTO TABLE tbl_nm; 加载本地文件数据到表: LOAD DATA LOACL INPATH "loacl_source_path" OVERWRITE INTO TABLE tbl_nm; 将数据导出至本地路径下: insert overwrite...

王义凯 的博客 2782

Hive数据导入导出操作

hive针对数据导入导出操作

super_mochi1 2266

如何构建Hive数据Hive数据的存储方式 以及hive数据导入导出

官方定义:数据是面向主题的、集成的、不可更新的、随时间的变化而不断变化的,这些特点决定了数据的系统设计不能采用同开发传统的OLTP数据一样的设计方法。(1)安装hive常规配置,这里不记录安装过程唯一需要注意的地方是有一个hive.metastroe.dirname属性需要配置配置的值是hive数据的存储路径,一般为hdfs文件系统的路径。安装完成后,需要在mysql中建立配置中指定的数据并初始化Hive数据(2)安装完成之后就可以启动hive

努力!加油!! 2077

hive数据操作,导入导出

数据导入导出数据文件导入hive的表 方式1:导入数据的一种方式: 手动用hdfs命令,将文件放入表目录; 方式2:在hive的交互式shell中用hive命令来导入本地数据到表目录 hive>load data local inpath '/root/order.data.2' into table t_order; 方式3:用hive命令导入hdfs中的数据文件到表目录 hive>load data inpath '/access.log.2017-08-06...

javaMylife的博客 774

hive数据导入导出

hive数据导入导出 一、导入数据4种方式 建表语句 create table test( name string, friends array, children map<string, int>, address struct<street:string, city:string> ) row format delimited fields terminated b...

libotao的博客 156

Hive导入导出数据方式总结

一,导入数据 1,load 1.1 从本地磁盘导入: load data local inpath ‘/localpath’ into table table1; 1.2 从HDFS导入(无关键字local): load data inpath ‘/localpath’ into table table1; 2,insert into … select insert into table1 select id,name from table2; 3,create … as select create

epitomizelu的专栏 1384

Hive的基本使用与导入导出数据

Hive数据导入导出 从本地文件系统中导入数据Hive表; 从HDFS上导入数据Hive表; 从别的表中查询出相应的数据并导入到Hive表中; 在创建表的时候通过从别的表中查询出相应的记录并插入到所创建的表中。 1、从本地文件系统中导入数据Hive表先在Hive里面创建好表 如下: hive>create table wyp(idint,namestring,ageint,telstring)ROW FORMAT DELIMITED FIEL..

笑出弧度的程序员的博客 553

Hive数据导入、sqoop数据导入导出

在进行数据统计的时候经常会遇到把HIVE中的表数据进行导入导出处理,或者是将查询结果导入到另外一个地方,一般是通过Sqoop来进行Mysql和Hdfs进行数据交互。 1、通过一个sql把算出来的结果导入到一张数据表里面,一般的做法是把数据导入到Hdfs中,然后通过和目标表建立分区,把数据l...

chuteng3602的博客 295

Hive导入导出数据的方法

Hive导入数据的方式 官网文档: LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)] local参数为原始文件存储的位置,位置可以是 本地local hdfs文件系统...

weixin_30747253的博客 198

HIVE表中导入导出数据的几种方式

一:往HIVE表中导入导出数据 语法结构:[ ]带括号的表示可选择字段 LOAD DATA [LOCAL] INPATH ‘filepath’ [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 …)] 各种参数说明: 1-hive只对导入该表中的数据按照自己的方式 处理,对于错误的数据不管,超出直接丢...

qq_37805784的博客 1478
上一篇: Hive QL
下一篇: Hive Cli
ixr_wang
博客等级 码龄15年 9粉丝 41原创
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值