ETL工具Sqoop使用

最新推荐文章于 2024-11-07 21:44:07 发布
原创 最新推荐文章于 2024-11-07 21:44:07 发布 · 1.2k 阅读 · 6 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
收录于
hadoop集群

当前文章被收录于：

hadoop集群
5 篇文章 0 人学习
订阅专栏 查看详情
本文介绍了ETL工具Sqoop的使用，包括启动Hadoop、Hbase、Hive等集群，使用root用户操作MySQL集群。详细说明了将数据从MySQL导入HDFS的步骤，如初始化Sqoop服务器连接、建立测试表空间等，还给出了相关练习，如文件复制、创建job导入数据等。

ETL工具Sqoop使用

一：启动集群
Hadoop，Hbase，Hive，Sqoop使用admin用户进行操作。
启动Zookeeper服务
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
启动Hadoop集群
在这里插入图片描述
在这里插入图片描述
用jps命令查看
在这里插入图片描述
二：MySQL集群使用root用户进行操作
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
三：mysql->HDFS
MySQL集群使用root用户进行操作。
Hadoop，Hbase，Hive，Sqoop使用admin用户进行操作。
测试
(1)初始化Sqoop服务器连接操作
在这里插入图片描述
注：其中“host”和“port”分别为Sqoop服务器的主机名和服务器所使用的端口号，“port”采用默认的端口号“12000”，“webapp”为指定Sqoop的jetty服务器的标识名称，可以自己定义。
(2)查看服务器连接
在这里插入图片描述
(3)查看所有连接模板信息
在这里插入图片描述
建立MySQL测试表空间，表和数据
a.创建用户sqoop并授权，建立新的数据库
在这里插入图片描述
b.创建表并查询
在这里插入图片描述
c.插入测试语句
在这里插入图片描述
建立MySQL数据库连接
(1) 把MySQL的数据库连接工具包“mysql-connector-java-5.1.42-bin.jar”上传到用户家目录的“setups”目录下，该目录为事先自行创建用于存放实训相关软件包的目录。
(2) 将MySQL的数据库连接工具包添加到Sqoop的“extra”目录下
在这里插入图片描述
(3)创建数据库连接
在这里插入图片描述
(4)建立HDFS文件系统连接
在这里插入图片描述
在这里插入图片描述
(5)在HDFS创建用于存放导出的数据文件的目录
在这里插入图片描述
(6)创建数据传输事务
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
四：练习
在admin用户家目录/home/admin/新建一个文本文件test001.txt
在这里插入图片描述
从本地文件系统复制文件到HDFS文件系统
在这里插入图片描述
在MySQL提前创新好表结构
在这里插入图片描述
在这里插入图片描述
创建job并执行导入到mysql
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在mysql查询导入的数据
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

标签
#ETL工具Sqoop使用
ETL的使用（sqoop）:数据导入，导出
weixin_40121264的博客
02-12 1410
ETLETL: 是数据抽取（Extract）、数据转换（Transform）和数据加载（Load）的整个过程常用的ETL工具1.Apache Sqoop 是 Apache 软件基金会旗下的一个开源项目，旨在帮助用户高效地在 Hadoop 生态系统和关系型数据库之间传输大量数据2.可以将数据在关系型数据库（如MySQL、Oracle、PostgreSQL等）和 Hadoop生态系统（如HDFS、Hive、HBase等）中进行迁移sqoop官网更多内容,阅读文档Kettle。
大数据中的Kafka， Zookeeper，Flume，Nginx， Sqoop与ETL
最新发布
追赶时代的博客
11-07 432
大数据中有用的重要概念
mysql数据库etl_ETL Automation完整安装方法_(元数据存放在mysql数据库)
weixin_39629947的博客
01-28 376
安装前介质准备：DBI-1.636.tar.gzDBD-mysql-4.037.tar.gzETL.tarmysql-5.6.12-linux-glibc2.5-x86_64.tar.gzPerl下载地址：http://www.cpan.org/modules/by-module/第一部分 Mysql数据库安装链接如：http://jingyan.baidu.com/article/a378c96...
【ETL】ETL大数据集成工具Sqoop、dataX、Kettle、Canal、StreamSets大比拼
m0_54252387的博客
06-27 7843
对于数据仓库，大数据集成类应用，通常会采用ETL工具辅助完成。ETL，是英文 Extract-Transform-Load 的缩写，用来描述将数据从来源端经过抽取（extract）、交互转换（transform）、加载（load）至目的端的过程。当前的很多应用也存在大量的ELT应用模式。常见的ETL工具或类ETL的数据集成同步工具很多，以下对开源的Sqoop、dataX、Kettle、Canal、StreamSetst进行简单梳理比较。通过分析，笔者个人建议优先DataX更优。Sqoop，SQL-to-Ha
EL-admin 搭建流程
想带你去遥远的屿
08-30 4640
一. 安装
ETL详细安装教程(常见错误)
数据分析与统计学之美
12-17 3000
1、安装前的准备工作：创建两个用户名实例并赋予相应的权限 bi_domain用户、bi_resource用户 1）先使用系统管理员用户system登陆到数据库； 2）选中Users–>右击鼠标–>新建–>出现“创建用户”界面； “创建用户”界面如下： 3）针对“创建用户”界面，我们做如下操作； 首先创建“bi_domain”用户： ① 选择“一般”，填写如下内容； ②...
大数据ETL工具对比（Sqoop, DataX, Kettle）
热门推荐
YuannaY的博客
06-28 1万+
DataX和Kettle都是通用的数据集成工具，支持多种数据源和目标，提供了强大的数据转换和清洗功能。 DataX和Kettle的区别在于开发者和用户群体，DataX在阿里巴巴内部得到广泛应用，而Kettle则是一个独立的开源项目。 Sqoop主要用于Hadoop和关系型数据库之间的数据传输，适用于大规模数据的导入导出任务。
ETL工具Sqoop的入门学习(一）
Ganxiang
04-24 976
ETL工具Sqoop的入门学习（一）目录1.Sqoop的定义2.Sqoop的产生背景简介3.Sqoop原理4.几个Sqoop常用的命令使用4.1 环境的介绍4.2 常用命令的使用list-databases，list-tables，import，export 1.Sqoop的定义 Sqoop是一款开源的ETL工具，其主要用户将Hadoop与关系型数据库之间的数据传递。可以将关系型数据库中的数据传递...
Sqoop介绍及使用
jasonliaoxiaoge的专栏
12-05 5654
转至元数据起始 Apache Sqoop是用来实现结构型数据（如关系数据库）和Hadoop之间进行数据迁移的工具。它充分利用了MapReduce的并行特点以批处理的方式加快数据的传输，同时也借助MapReduce实现了容错。 项目地址：http://sqoop.apache.org/ 目前为止，已经演化出了2个版本：sqoop1和sqoop2。 sqoop1的最新版本是1.4.
Sqoop 简介及安装部署
harvey的博客
09-02 2896
1.Sqoop 简介及架构1.Sqoop 简介      Sqoop即SQL to Hadoop，是一个将数据在关系数据库（如 MySQL/Oracle 等）和大数据产品（如 Hadoop/Hive/HBase等）之间导入/导出的有效工具，底层是通过MapReduce作业来完成。它充分利用了MapReduce的并行特点以批处理的方式加快数据的传输，同时也借助MapReduce实现了容错。
安装部署 Sqoop
qq_61203814的博客
03-29 397
使用命令：sqoop list-databases --connect jdbc://127.0.0.1:3006/ --username root -P 测试sqoop与mysql的连接。（2）使用命令：cp sqoop-env-template.sh sqoop-env.sh 将sqoop-env.template.sh 复制为sqoop-env.sh。使用命令：mv sqoop-1.4.5.bin_hadoop-2.0.4-alpha sqoop-1.4.5改名为sqoop-1.4.5。
安装部署ETL工具Sqoop的详细流程
邹么的博客
05-16 363
一、验证Hadoop集群环境是否正常备注：该部分的安装需要在 Hadoop 已经成功安装的基础上,并且要求 Hadoop已经正常启动。使用hdfs dfs -ls / 或者 hadoop fs -ls /命令看可否正常显示 HDFS 上的目录列表；
sqoop使用入门
u013111855的博客
04-03 742
sqoop的使用数据导入 importmysql to hdfsmysql to hivemysql导入hive 过程普通导入导入到hive的指定库和表mysql to hbase数据导出hdfs to mysqlhive to mysqlhbase to mysql sqoop使用时，第一个要用到的命令是：sqoop help 查看帮助文档 第二个常用命令是：sqoop help COMM...
sqoop ETL工具
weixin_43288858的博客
08-03 1652
Sqoop是apache旗下的一款 ”Hadoop和关系数据库之间传输数据”的工具导入数据：将MySQL，Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统导出数据：从Hadoop的文件系统中导出数据到关系数据库(mysql中)...
大数据组件的启动方式以及端口号总结
A的虎的博客
09-15 1728
各种大数据组件的启动方式以及端口号总结。主要是Hadoop生态圈的组件，其中Hadoop2.x和Hadoop3.x的端口号差别较大
Sqoop详解
crazzy_lp的博客
11-19 713
通常一个组织中有价值的数据都要存储在关系型数据库系统中。但是为了进一步进行处理，有些数据需要抽取出来，通过MapReduce程序进行再次加工。为了能够和HDFS系统之外的数据库系统机型交互，MapReduce程序需要使用外部API来访问数据。Sqoop就是一个开源的工具，它允许用户将数据从关系型数据库抽取到hadoop中；也可以把MapReduce处理完的数据导回到数据库中。 1、sqoop...
大数据-ETL工具：Sqoop【关系型数据库(MySQL,Oracle...) ＜==（业务）数据==＞ Hive/HBase/HDFS】【Hadoop与关系数据库之间传送数据的工具】
u013250861的博客
01-14 1870
hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。Hive的优点是学习成本低，可以通过类似SQL语句实现快速MapReduce统计，使MapReduce变得更加简单，而不必开发专门的MapReduce应用程序。hive十分适合对数据仓库进行统计分析。
【ETL工具】Sqoop 经典入门案例
康师傅没有眼泪
11-06 1356
Apache框架Hadoop是一个越来越通用的分布式计算环境，主要用来处理大数据。随着云提供商利用这个框架，更多的用户将数据集在Hadoop和传统数据库之间转移，能够帮助数据传输的工具变得更加重要。Apache Sqoop就是这样一款工具，可以在Hadoop和关系型数据库之间转移大量数据（百度百科）。
业务数据同步工具介绍和使用(Sqoop、Datax、Canal、MaxWell、Flink CDC)
迷雾总会解
06-03 5444
Sqoop ： SQL-to-Hadoop（Apache已经终止Sqoop项目）用途：把关系型数据库的数据转移到HDFS（Hive、Hbase）（重点使用的场景）；Hadoop中的数据转移到关系型数据库中。Sqoop是java语言开发的，底层使用mapreduce。需要注意的是，Sqoop主要使用的是Map，是数据块的转移，没有使用到reduce任务。Sqoop支持全量数据导入和增量数据导入（增量数据导入分两种，一是基于递增列的增量数据导入（Append方式）。二是基于时间列的增量数据导入（LastModi
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值