置顶文章

2.7k 字 2 分钟

# 2022 年第十三届蓝桥杯大赛备赛指南 ​ 软件和信息技术产业作为我国的核心产业，是经济社会发展的先导性、战略性产业，软件和信息技术产业在推进信息化和工业化融合，转变发展方式，维护国家安全等方面发挥着重要作用。为推动软件和信息技术产业的发展，促进软件和信息技术专业技术人才培养，向软件和信息技术行业输送具有创新能力和实践能力的高端人才，提升高校毕业生的就业竞争力，全面推动行业发展及人才培养进程，工业和信息化部人才交流中心已成功举办十二届蓝桥杯大赛。大赛的举办得到了各省教育厅和各有关院校的积极响应，更得到了参赛师生的广泛好评，参赛学校超过 1600...
11k 字 10 分钟

# Hive 数据类型操作 # Hive 内部表操作 # 针对基本类型建表 首先，在 master 机器的 /export/data 目录下创建 hivedata 目录，在改文件夹下创建 user.txt ，并添加如下数据内容： 测试数据内容1231,allen,182,tom,233,jerry,28 具体操作如下： 1234567[root@master ~]# mkdir -p /export/data/hivedata[root@master ~]# cd /export/data/hivedata/[root@master hivedata]# vi user.txt...
5.5k 字 5 分钟

# Hive 的安装 ​ 本地和远程模式安装配置方式大致相同，本质上是将 Hive 默认的元数据存储介质由自带的 Derby 数据库替换为 MySQL 数据库，这样无论在任何目录下以任何方式启动 Hive，只要连接的是同一台 Hive 服务，那么所有节点访问的元数据信息是一致的，从而实现元数据的共享。下面就以本地模式为例，讲解安装过程。 ​ 本地模式的 Hive 安装主要包括两个步骤：首先安装 MySQL 服务，再安装 Hive。具体步骤如下： # 安装 MySQL...
758 字 1 分钟

1、安装及配置虚拟机 2、设置固定 IP 3、安装 JDK 及 Hadoop 4、时间同步服务、关闭防火墙、IP 映射 5、克隆节点配置修改 6、配置免密码登录 7、启动 Hadoop 集群 完全分布式搭建 Hadoop 平台 # 任务背景 本文档较为细致地演示在个人计算机上搭建 Hadoop 完全分布式环境的过程。为了保证能较顺畅地运行 Hadoop 集群，并可以进行基本的大数据开发调试，建议个人计算机硬件最低配置为：内存至少 8GB，硬盘可用容量至少 100GB，CPU 为 Intel i3...

精选分类

学科竞赛

程序代码
1 个子项，1 篇文章

每周一练

日常积累
1 个子项，1 篇文章

大数据技术与应用

在线课程
9 个子项，10 篇文章

Linux网络操作系统

在线课程
1 个子项，1 篇文章

趣味杂谈

知识拓展
1 个子项，1 篇文章

数据库

在线课程
1 个子项，1 篇文章

文章列表

20k 字 19 分钟

# 启动 Hadoop 集群 （1）格式化 NameNode 格式化NameNode123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869[root@master bin]# ./hdfs namenode -format20/11/23 06:00:53 INFO namenode.NameNode: STARTUP_MSG:...
2.9k 字 3 分钟

# 配置免密码登录 SSH (Secure Shell) 是建立在 TCP/IP 协议的应用层和传输层基础上的安全协议。SSH 保障了远程登录和网络传输服务的安全性，起到了防止信息泄露等作用。通过 SSH 可以对文件进行加密处理，SSH 也可以运行于多平台，配置 SSH 无密码登录的步骤如下。 # 配置 SSH 无密码登录 （1）使用 ssh-keygen 产生公钥与私钥对，输入命令 “ssh-keygen -t rsa”，接着按三次 Enter 键。 使用ssh-keygen产生公钥与私钥对12345678910111213141516171819202122[root@master...
4.3k 字 4 分钟

# 克隆节点配置修改 在虚拟机 master 上安装及配置完成之后，将虚拟机 master 克隆两台虚拟机，得到 slave1 和 slave2，总共三台虚拟机。但是克隆出来的虚拟机需要一定的配置和修改才能使用。 # 克隆 master 虚拟机 在克隆 master 虚拟机之前需要将 master 虚拟关机后才能使用克隆功能 （1）右键单击虚拟机 master，选择 “管理”→“克隆” 命令，来到欢迎使用克隆虚拟机向导的界面，直接单击下一步，如图 5-1、5-2、5-3 所示 （2）选择 “创建完整克隆” 单击按钮并单击 “下一步” 按钮，如图 5-4...
6.8k 字 6 分钟

# 时间同步服务、关闭防火墙、IP 映射 NTP 是用来使计算机时间同步化的一种协议，它可以使计算机对其服务器或时钟源做同步化，提供高精准度的时间校正。Hadoop 集群对时间要求很高，主节点与各从节点的时间都必须要同步。配置时间同步服务主要是为了进行集群间的时间同步。Hadoop 集群配置时间同步服务的步骤如下： 方式一：在线安装 ntp 服务，在 master 节点安装 NTP 服务。 （1）不换任何下载源的情况下，在 master 节点安装 NTP...
11k 字 10 分钟

# 安装 Jdk 及 Hadoop 在 Linux 下安装 JDK 的步骤如下。 （1）用 Xshell 软件的 Xft 将 JDK 安装包到上传到虚拟机 master，按 “Ctrl+Alt+F” 组合键，弹出文件传输框，把 jdk-7u79-linux-x64.tar.gz 上传到 /opt 目录下，如图 3-1 所示。 （2）进入 /usr 目录，建立文件夹 java，进入 /opt 目录，执行命令 “tar -zxvf jdk-7u79-linux-x64.tar.gz -C /usr/java”，解压文件到 /usr/java...
5k 字 5 分钟

# 设置固定 IP 搭建的集群总共 3 台虚拟机，每台虚拟机均使用 NAT 模式接入网络，为其分配 IP 并保证每台虚拟机的 IP 处于同一子网段内。所有需要配置固定虚拟机的 IP 地址，这里以虚拟机 master 为例，详细介绍虚拟机固定 IP 地址的步骤。 (1) 开启虚拟机并登陆 登录提示信息12345CentOS release 6.5 (Final)Kernel 2.6.32-431.e16.x86_64 on an x86_64master login: root # 输入root账户Pawwword: #...
1.9k 字 2 分钟

# 安装及配置虚拟机 在个人计算机安装 Linux 虚拟机，以远程访问的方式对其进行管理，并在线安装常用的软件包。 # 创建 Linux 虚拟机 VMware Workstaion 是一款功能强大的虚拟机软件，在不影响本机操作系统的情况下，用户可以在虚拟机中同时运行不同版本的操作系统。安装 VMware Workstaion 的过程比较简单，双击下载后的 VMware-workstation-full-11.0.0-2305329.exe，选择安装目录，然后点击 “下一步” 按钮，继续安装，之后输入产品系列号，安装完成后即可安装 Centos 6.5 操作系统。 接下来在安装好的 VMware...
16 字 1 分钟

你这个坏孩子，没有人怪你啊 sss
16 字 1 分钟

你这个坏孩子，没有人怪你啊 sss