关于HIVE数据仓库的基本操作

关注

原创最新推荐文章于 2024-06-21 00:22:53 发布 2.1k 阅读 AI 写同款· GEO 优化 ›

通俗理解数据仓库的运行流程本文仅为个人观点，适用于我所接触到的大数据平台一、数据仓库 DW 数据仓库：data warehouse，顾名思义是存放数据的地方。是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。那么我所接触的产品是如何建立数据仓库的呢？大致分为STAGE层、ODS层、DWD、DWA、D... 阅读详情

[Author]: kwu

关于HIVE数据仓库的基本操作

1、数据库划分：

default : 默认库，测试库。对应路径 /hdfs/hive/default
stage : 中转库对应路径 /hdfs/dw/stage
ods : 正式库对应路径 /hdfs/dw/ods

2、创建表
create EXTERNAL table test_kwu (
dateday string comment "日期：如2015-01-01",
datetime string comment "时间 : 如 11:30:01:123",
ip string comment "IP：用户本机IP或用户所在网段对外路由IP",
cookieid string comment "用户cookie：统一在用户端生成的唯一标志",
userid string comment "用户和讯注册ID ：用户在和讯网的注册ID",
logserverip string comment "记录日志服务器IP ：日志收集服务器IP",
referer string comment "来源：用户浏览网页的REFER",
requesturl string comment "访问网址：当前访问网址",
remark1 string comment "【暂时没用】：该数据无意义，由于早期加入目前不能去除",
remark2 string comment "【暂时没用】：该数据无意义，由于早期加入目前不能去除",
alexaflag string comment "ALEXA标志：这个字段也是早期加入，当用户安装alexa工具时值为1，否则为0.早期加入，目前来看应该没有任何意义了。",
ua string comment "UA ：用户浏览器UA",
wirelessflag string comment "无线频道标志：给无线频道专用的，一个单词，表示该文章对应和讯哪一个频道"
)
comment "浏览轨迹日志"
partitioned by(day string comment "按天的分区表字段")
ROW FORMAT DELIMITED FIELDS TERMINATED BY ' '
STORED AS TEXTFILE
location '/hive/default/test_kwu'; --注意：此处的路径对应到数据库的路径（去掉 "/hdfs"），后缀加上table的名称。

3、装载数据
load data local inpath '/home/kwu/data/20150512.dat' overwrite into table test_kwu partition (day='20150512');
insert into table test_kwu PARTITION (day='20150507') select dateday, datetime,ip,cookieid,userid, logserverip,referer,
requesturl ,remark1,remark2,alexaflag,ua,wirelessflag from test_kwu ;

4、压缩处理
set hive.enforce.bucketing=true;
set hive.exec.compress.output=true;
set mapred.output.compress=true;
set mapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec;
set io.compression.codecs=org.apache.hadoop.io.compress.GzipCodec;
insert overwrite table test_kwu PARTITION (day='20150507') select dateday, datetime,ip,cookieid,userid, logserverip,referer,
requesturl ,remark1,remark2,alexaflag,ua,wirelessflag from test_kwu ;

5、基本查询语句
查询每天的PV
select dateday,count(*) from tracklog group by dateday;

尽量避全表的聚合函数
select count(*) as cnt from tracklog group by cookieid having cnt=1 ;

可采用子查询代替

select dateday,count(t.cookieid) from (
select count(cookieid) as cnt,cookieid,dateday
from tracklog  
group by cookieid,dateday  having cnt=1 
) t group by dateday;

收录于