5分钟极速搭建!手把手用Playground脚本一键部署Hadoop集群,小白也能玩转大数据!(一)

Playground 自动化部署框架安装指南

适用环境:基于 CentOS/Oracle Linux 的多节点大数据集群(如 Hadoop + Spark)
目标:通过 playground 脚本框架,实现 JDK、Hadoop、Spark 等组件的一键初始化与分发部署


下载与上传安装包

  • 访问项目仓库

数舟/playground

下载最新源码压缩包。

  • 将下载的 playground-master.zip 上传至 主控节点(如 114 服务器) 的 /home 目录下。

📎 示意图:将下载的zip安装包上传到114服务器的/home目录下

解压与替换核心脚本

解压文件

# 进入 home 目录并解压
cd /home
 unzip playground-master.zip

⚠️ 重要:为确保兼容性,请使用项目组提供的最新版安装脚本替换默认文件:

替换/opt/playground/hadoop/文件夹下installHadoop.sh和installSpark.sh文件

installSpark.sh

installHadoop.sh

💡 建议先备份原文件,再执行覆盖操作。


执行主安装脚本

执行安装,安装后可以删除当前目录。全部文件已经被移动到/opt中

cd /home/playground-master/
chmod +x playground.sh
./playground.sh install


✅ 安装完成后,所有文件将自动迁移至 /opt/playground/,当前目录可安全删除。

加载环境变量

安装过程会自动配置全局环境变量,并设置 $PLAY_HOME 指向安装根目录。为立即生效,请执行:

# 安装后更新环境变量
# $PLAY_HOME记录脚本的安装位置
source /etc/profile
$PLAY_HOME

切换至 Playground 工作目录

切换到play_home下

cd /opt/playground/
ls

配置集群节点信息

方法一:交互式更新(推荐)

# 执行以下命令,根据提示更新节点信息
playground nodes update

根据提示依次输入各节点的 IP、主机名、用户名和密码。

# 或者直接手动修改$PLAY_HOME/host_ip.txt
# 配置集群信息,格式为:ip hostname user password
192.168.56.151 node01 root 123456
192.168.56.152 node02 root 123456
192.168.56.153 node03 root 123456

方法二:手动编辑配置文件

直接修改 $PLAY_HOME/host_ip.txt,格式如下:

ip hostname user password

示例(生产环境):

密码字段支持明文或加密形式(根据脚本实现而定),请确保权限安全。

📎 示意图:host_ip.txt 配置示例

vim host_ip.txt


10.9.70.114 node01 root S*******
10.9.70.211 node02 root S*******
10.9.70.212 node03 root S*******

(可选)永久修改主机名

若节点主机名未按规范设置,需统一调整以避免通信异常。

查看当前主机名

hostname
hostnamectl

永久修改主机名

vim /etc/hostname
# 将内容改为对应节点名,如 node01

重启生效

reboot

一键初始化集群

此步骤将在所有节点上完成基础环境配置

上传依赖安装包

将 frames.zip(包含 JDK、Hadoop、Spark 等 tar.gz 包)上传至 /home 目录。

解压并注册 JDK

cd /home
unzip frames.zip

📎 示意图:添加JDK包

安装包会放置到$PLAY_HOME/frames目录

cd /home/frames/
playground add jdk-8u191-linux-x64.tar.gz

安装系统依赖(所有节点)

下载依赖的安装包tcl-8.5.13-8.el7.x86_64.rpmexpect-5.45-14.el7_1.x86_64.rpm

https://yum.oracle.com/repo/OracleLinux/OL7/latest/x86_64/index.html

上传至 /home/lib/,并在 每个节点(114、211、212) 执行:

cd /home/lib/
yum install ./*.rpm -y

初始化,会在集群各个节点:配置集群hosts文件、设置免密SSH登录、关闭防火墙、关闭SELinux、分发安装脚本、分发安装包、安装JDK。

执行集群初始化

cd /opt/playground/
playground init

source /etc/profile

该命令将自动在所有节点完成:

  • 同步 /etc/hosts
  • 配置 SSH 免密登录
  • 关闭防火墙(firewalld/iptables)
  • 禁用 SELinux
  • 分发安装脚本与软件包
  • 安装并配置 JDK

后续操作:添加其他组件

任何新的安装包(如 Hadoop、Spark)均可通过以下方式加入管理:,安装包会放置到$PLAY_HOME/frames目录

playground add pkg_name

包将自动存入 $PLAY_HOME/frames/,后续可通过 playground install 部署。


✅ 至此,Playground 自动化部署框架已准备就绪,可高效支撑 Hadoop、Spark 等大数据组件的集群化安装与运维。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Rainbow酱

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值