基于Hadoop集群的Spark集群搭建

最新推荐文章于 2024-12-05 16:40:00 发布
原创 最新推荐文章于 2024-12-05 16:40:00 发布 · 2.8k 阅读 · 29 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
收录于
Linux

当前文章被收录于：

Linux
51 篇文章 4 人学习
订阅专栏 查看详情

基于Hadoop集群的Spark集群搭建

一. 单机版Spark搭建

(1)将下载下来的软件包拉至集群中(主节点上)
在这里插入图片描述
(2)解压至指定目录
在这里插入图片描述
(3)将解压下的文件移至某个特定目录下并查看
在这里插入图片描述
(4)修改环境变量
在这里插入图片描述
(5)使环境变量生效并进入scala命令行测试；
在这里插入图片描述
(6）解压scala压缩包并放置指定目录；
在这里插入图片描述
(7)添加环境变量
在这里插入图片描述
(8)生效环境变量并测试spark(source .bash_profile)
在这里插入图片描述
(9)单机版网页spark测试(主机地址为你当前虚拟机地址，在启动spark的时候你可以看到)
在这里插入图片描述
二. 集群版Spark搭建

(1)修改spark配置文件(注意目录)
在这里插入图片描述
(2)修改配置文件(加入你集群的主机名)
在这里插入图片描述
(3)生成配置文件并修改配置文件(jdk为你本机安装位置)
在这里插入图片描述
在这里插入图片描述
(4)向集群中其他主机发送
在这里插入图片描述
(5)启动Hadoop集群(start-all.sh),启动spark集群(在spark目录下的sbin目录下启动)(主节点启动有Master，从节点为Worker)
在这里插入图片描述在这里插入图片描述
(6)查看端口
在这里插入图片描述
三. 访问方式
(1)添加本地映射端口localhost+8080的方式访问
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
(2)通过主节点IP地址+端口号进入Web端页面查看
在这里插入图片描述
至此，Spark集群搭建完毕。

四. 运行wordcounut程序
(1)在Hadoop集群中放置所需要的.txt文件
在这里插入图片描述
(2)执行命令spark-shell进入命令端后执行命令如下
在这里插入图片描述
至此，wordcount程序执行成功。

标签
#基于Hadoop集群的Spark集群搭建
Mac M1搭建hadoop+spark集群教程
YIU
03-25 9397
最近一直在搞Mac虚拟机，尝试了parallel、vmware、utm，感觉效果都不是很好，踩了了很多很多坑，parallel破解直接劝退我，并且也不是很稳定；wmware for m1刚开始装了一次挺不错的，但是因为我集群磁盘太小扩展磁盘大小的时候，系统就这样崩了，不管最后怎么装都没有用；最后我转战utm，刚开始因为不熟悉utm也踩了很多坑，弃了一段时间，vmware实在装不了了，我又来找utm了【utm yyds 轻便又好用又不花钱（后续发现的问题是容易闪退），推荐mac m1用户使用】。 ps：建议u
基于Hadoop的Spark集群搭建
qq_45703204的博客
10-13 1316
title: Spark集群搭建 date: 2020-03-19 19:30:31 tags: Hadoop 基于Hadoop的Spark集群搭建 准备 Spark三种运行模式简介 Local模式 Local 模式是最简单的一种Spark运行方式，它采用单节点多线程（cpu)方式运行，local模式是一种OOTB（开箱即用）的方式，只需要在spark-env.sh导出JAVA_HOME,无需其他任何配置即可使用，因而常用于开发和学习 方式：./spark-shell - -master loca.
Spark 集群搭建（完整）
weixin_45131680的博客
09-12 7021
如果要在 Yarn 中运行 Spark 程序, 首先会和 RM 交互, 开启 ApplicationMaster, 其中运行了 Driver, Driver创建基础环境后, 会由 RM 提供对应的容器, 运行 Executor, Executor会反向向 Driver 反向注册自己, 并申请 Tasks 执行。对于 Spark Standalone 集群来说, 当 Worker 调度出现问题的时候, 会自动的弹性容错, 将出错的 Task 调度到其它 Worker 执行。
使用Docker搭建Hadoop集群和Spark集群
anron的专栏
08-17 1573
# 行命令退出安全模式 docker exec -it namenode hadoop dfsadmin -safemode leave # create the input directory on HDFS hadoop fs -mkdir -p input # create directory and files insdie namenode mkdir input echo "Hello World" >input/f1.txt echo "Hello Docker" >input
在Hadoop集群的基础上搭建Spark全分布集群
weixin_52687711的博客
12-03 776
由于我们是在Hadoop集群的基础上搭建Spark 集群，所有可以省略以下步骤：1.配置网络2.修改主机名3.将主机名与IP绑定4.配置免密Hadoop全分布式集群搭建。
spark textFile方法
鸭梨的博客
11-19 4467
/** * Read a text file from HDFS, a local file system (available on all nodes), or any * Hadoop-supported file system URI, and return it as an RDD of Strings. * @param path path to the text file on a supported file system * @param minPartitions
Spark集群的搭建
qq_74137843的博客
04-18 2254
（2）配置Workers文件。复制Workers.template文件并重命名为Workers，打开Workers文件删除原有内容，并添加如下代码，每一行代表一个子节点的主机名，这里的workers文件名为，slaves.template。（3）进入Spark的/conf目录下，复制spark-env.sh.template文件并重命名为spark-env.sh。(7)通过命令jps查看进程，开启Spark集群后，master节点增加了Master进程，而子节点则增加了Worker进程。
基于Vmware Workstation上的hadoop集群搭建Spark集群
DumbbellYang的专栏
11-13 1641
在本博客中，总结了如何在前一篇博客在Windows 7上利用Vmware Workstation搭建Ubuntu kylin 14.04的hadoop集群成功的基础上，安装Scala，部署Spark，配置Spark搭建Spark集群的详细步骤。
华为云Hadoop与Spark集群环境搭建
longmao_a的博客
11-09 7086
华为云Hadoop与Spark平台搭建Hadoop2.7.1环境搭建1. 购买华为云服务器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 所使用安装包 JDK8 Hadoop2.7.1 Spark3.2.0 Hadoo
基于Ubuntu系统的Hadoop和Spark集群搭建（保姆级教程）
最新发布
2402_83326678的博客
12-05 3373
本文介绍基于Ubuntu系统如何搭建Hadoop和Spark集群，详细介绍了整个搭建流程，包括安装、配置、部署等。
hadoop、spark集群搭建
斜月&三星
11-20 551
（一台master，三台slave） 所用的软件版本 os： centos7 hadoop: hadoop-2.9.2.tar.gz jdk: jdk-8u131-linux-x64.rpm spark: spark-2.4.7-bin-hadoop2.7.tgz 1. 安装java 将jdk的rpm包上传到在各个节点上，使用rpm安装。 rpm -ivh jdk-8u131-linux-x64.rpm 增加java的环境变量： [root@master ~]# vi /etc/profi
hadoop集群搭建、spark集群搭建、pyspark搭建（linux+window）
lfx1997的博客
10-28 2678
linux和window上安装pyspark库。
SPARK单机模式搭建(从零开始)
热门推荐
Gary,Done的专栏
06-01 1万+
博客原文 安利一篇我翻译的国外大牛的神经网络入门文章 因为是从零开始，所以本文将spark部署成单机模式，并且有些文件放到home的个人目录中，不过看下设置的环境变量的就可以知道，这些文件放那里其实是无所谓的 服务器环境为cenos，并且JDK已经正确安装，可通过jar命令是否可用来判断 $ jar Usage: jar {ctxui}[vfmn0PMe] [jar-file] [ma
搭建Spark的单机版集群
Bruce_shan的博客
10-10 908
租用的阿里云 CentOS 7.3 64位 用 SecureCRT 连接服务器，需要设置下安全组，才能连接上SecureCRT 向服务器上传文件 用 rz命令，然后会弹出文件框来选择vim /etc/profile // 添加java、scala 的环境变量#set java environment JAVA_HOME=/usr/java/jdk1.7.0_80 JRE_HOME=/usr
Spark单机伪分布式环境搭建、完全分布式环境搭建、Spark-on-yarn模式搭建
遇安的博客
03-09 3509
本文详细的写有：Spark伪分布式环境搭建、Spark完全分布式环境搭建、Spark-on-yarn模式环境搭建、Scala环境搭建的详细步骤
【大数据处理学习笔记】2.2 搭建Spark开发环境
weixin_63745352的博客
06-16 946
Executor为应用程序运行在Worker节点上的一个进程，由Worker进程启动，负责执行具体的Task，并存储数据在内存或磁盘上。Spark-Shell是一个强大的交互式数据分析工具，初学者可以很好的使用它来学习相关API，用户可以在命令行下使用Scala编写Spark程序，并且每当输入一条语句，Spark-Shell就会立即执行语句并返回结果，这就是我们所说的REPL（Read-Eval-Print Loop，交互式解释器），Spark-Shell支持Scala和Python。
最简单的Hadoop+Spark大数据集群搭建方法，看这一篇就够啦
m0_60732994的博客
02-17 8867
最近有小伙伴私信我，flink 软件安装在虚拟机上很简单，就是安装包解压即可，有没有 hadoop + spark 的安装文档呢？所以今天周六刚好不用上班，花了一天时间整理了一下自己现在使用集群的搭建过程，希望对各位小伙伴有帮助！Tips：以下是集群搭建过程的记录啦，word 文档和搭建好了的集群，我后续会上传资源区啦，有需要的小伙伴后续可以在我的资源区下载哦！希望和大家一起进步，有啥不清楚滴地方可以一起交流！
Spark快速入门
weixin_33782386的博客
03-12 339
2019独角兽企业重金招聘Python工程师标准>>> ...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值