1、安装及配置虚拟机
2、设置固定 IP
3、安装 JDK 及 Hadoop
4、时间同步服务、关闭防火墙、IP 映射
5、克隆节点配置修改
6、配置免密码登录
7、启动 Hadoop 集群
完全分布式搭建 Hadoop 平台
# 任务背景
本文档较为细致地演示在个人计算机上搭建 Hadoop 完全分布式环境的过程。为了保证能较顺畅地运行 Hadoop 集群,并可以进行基本的大数据开发调试,建议个人计算机硬件最低配置为:内存至少 8GB,硬盘可用容量至少 100GB,CPU 为 Intel i3 以上的处理器。在搭建完全分布式集群之前,还需要准备好必要的软件包,主要的软件和版本如下表所示。
软件 | 版本 | 安装包 | 备注 |
---|---|---|---|
Linux OS | Centos6.5 | CentOS-6.5-x86_64-minimal.iso | 64 位 |
JDK | 1.7+ | jdk-7u79-linux-x64.tar.gz | 64 位 |
VMware | 11 | VMware-workstation-full-11.0.0-2305329.exe | |
Hadoop | 2.6.0 | hadoop-2.6.0.tar_4.gz | |
Eclipse | Neon.3 Release (4.6.3) | eclipse-jee-neon-3-win32-x86_64.zip | 已编译好的安装包 |
Eclipse Hadoop 插件 | 2.6.0 | hadoop-eclipse-plugin-2.6.0.jar | 64 位 |
SSH 连接工具 | 6 | Xshell-6.0.0204p.exe |
Hadoop 完全分布式集群是典型的主从架构,一般需要使用多台服务器来组建。本文集群的拓扑图如下所示,请注意各个服务器的 IP 与名称,在后续的配置工作中将会经常被使用。 图 1-1 Hadoop 集群的拓扑结构 注意事项:如果在虚拟机中设置 ip 时,注意虚拟网络编辑器中的 ip。
注意事项:如果在虚拟机中设置 ip 时,注意虚拟网络编辑器中的 ip。