数据仓库ETL(二)基本概念

本文深入解析了数据治理领域的核心概念,包括数据库(DB)、在线事务处理(OLTP)、数据仓库(DW)、联机分析处理(OLAP)、数据挖掘(DM)、商业智能(BI)和数据抽取—传输—加载(ETL)过程,为读者提供了全面的数据治理知识框架。

数据治理领域有一些基本名词,数据仓库,数据挖掘,商业智能,数据同步,联机计算等等,下面一起看一下专有的名词。

DB(DataBase)

数据库,一般指支撑应用的数据库,包括MySQL,Oracle,PostgreSQL,SqlServer等关系型数据库,也可以是MongoDB,Redis,HBase等非关系型数据库。特点是保留数据的最新状态,一般只支持查看数据的实时状态,而且只有最新状态的数据,不支持数据历史某一时刻状态。

OLTP(On-Line Transaction Processing)

在线事务处理,一般是指基于数据库支持应用事务处理,用来实现应用的各种事务需要,使基于数据库的数据操作保持原子性,一致性,隔离性,持久性。

DW(Data Warehouse)

数据仓库,保存一个或多个应用的数据库在不同时间点的数据,方便进行数据统计,分析,挖掘,支持管理,决策的。通常要支持存储海量的数据,并且支持在海量数据之上进行OLAP的统计分析。

OLAP(Online Analytical Processing)

联机分析处理,在数据仓库的数据之上,对数据仓库的数据进行统计,分析,包括多维度统计分析,下钻,上卷,切面等,提供直观易懂的结果,支持BI组件对数据的直观展示,辅助管理,决策。

DM(Data Mining)

数据挖掘,在数据仓库之上,通过数据挖掘方法论,在大量的数据中挖掘有价值的数据。分析数据趋势,数据联系,得出科学规律。

BI(Business Inteligence)

商业智能,对OLAP数据分析,DM数据挖掘的数据,给领导者,决策者进行数据直观展示,包括图表,地图,数据趋势,驾驶舱等,最终实现商业价值。

ETL(Extract Transform Load)

数据抽取—传输—加载的过程,一般指实现数据抽取,传输,加载的工具,用来从DB,日志,文件等数据源同步数据到数据仓库。

在一张图中反应在数据治理应用中DB,OLAP,DW,OLTP,DM,BI,ETL各自位置如下。
数据治理
接下来来了解各个关键节点使用到的技术。
(完)(^_&)

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值