1、安装及配置虚拟机
2、设置固定 IP
3、安装 JDK 及 Hadoop
4、时间同步服务、关闭防火墙、IP 映射
5、克隆节点配置修改
6、配置免密码登录
7、启动 Hadoop 集群

完全分布式搭建 Hadoop 平台

# 任务背景

本文档较为细致地演示在个人计算机上搭建 Hadoop 完全分布式环境的过程。为了保证能较顺畅地运行 Hadoop 集群,并可以进行基本的大数据开发调试,建议个人计算机硬件最低配置为:内存至少 8GB,硬盘可用容量至少 100GB,CPU 为 Intel i3 以上的处理器。在搭建完全分布式集群之前,还需要准备好必要的软件包,主要的软件和版本如下表所示。

软件版本安装包备注
Linux OSCentos6.5CentOS-6.5-x86_64-minimal.iso64 位
JDK1.7+jdk-7u79-linux-x64.tar.gz64 位
VMware11VMware-workstation-full-11.0.0-2305329.exe
Hadoop2.6.0hadoop-2.6.0.tar_4.gz
EclipseNeon.3 Release (4.6.3)eclipse-jee-neon-3-win32-x86_64.zip已编译好的安装包
Eclipse Hadoop 插件2.6.0hadoop-eclipse-plugin-2.6.0.jar64 位
SSH 连接工具6Xshell-6.0.0204p.exe

Hadoop 完全分布式集群是典型的主从架构,一般需要使用多台服务器来组建。本文集群的拓扑图如下所示,请注意各个服务器的 IP 与名称,在后续的配置工作中将会经常被使用。 图 1-1 Hadoop 集群的拓扑结构 注意事项:如果在虚拟机中设置 ip 时,注意虚拟网络编辑器中的 ip。

DeQIHg.md.png

注意事项:如果在虚拟机中设置 ip 时,注意虚拟网络编辑器中的 ip。