文章目录
在Linux系统上搭建Hadoop集群打算工作1、上传CDH编译后的Hadoop
为何要编译Hadoop
因为CDH的所有安装包版本都给出了对应的软件版本,通常情况下是不须要自己进行编译的linux设置默认网关,而且因为CDH给出的Hadoop的安装包没有提供带C程序访问的插口,所以我们在使用本地库(本地库可以拿来做压缩,以及支持C程序等等)的时侯才会出问题。
Hadoop的编译时间受笔记本配置和其他诱因决定linux服务器集群系统是什么,时间通常在30min—4h不等。所以建议你们使用编译后的Hadoop压缩包进行安装配置。
(PS:后续也会跟进更新编译Hadoop的全过程)
2、关闭防火墙、关闭selinux、设置主机名和IP的对应
Linux初始化配置
3、配置ssh无密码访问
Linux集群配置SSH免密访问
4、安装JDK1.7开始进行搭建Hadoop集群第一步:上传编译后的Hadoop压缩包并解压
将我们重新编译然后支持snappy压缩的Hadoop包上传到第一台服务器并解压
第一台机器执行以下命令
cd /export/software
mv hadoop-2.6.0-cdh5.14.0-自己编译后的版本.tar.gz hadoop-2.6.0-cdh5.14.0.tar.gz
tar -zxvf hadoop-2.6.0-cdh5.14.0.tar.gz -C ../servers/
若Linux没有相应文件夹,就创建相关文件夹
第二步:查看Hadoop支持的压缩方法以及本地库
第一台机器执行以下命令
cd /export/servers/hadoop-2.6.0-cdh5.14.0
bin/hadoop checknative
若果出现openssl为false,这么所有机器在线安装openssl即可linux服务器集群系统是什么linux系统介绍,执行以下命令,虚拟机联网以后就可以在线进行安装了
yum -y install openssl-devel
第三步:更改配置文件
第一台机器执行以下命令
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim core-site.xml
fs.defaultFS<