一、环境:
jdk home: /opt/jdk1.8
user: devops
hadoop home: /opt/hadoop-3.2.0
hadoop version: 3.2.0
二、安装配置:
$cd /opt $wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.2.0/hadoop-3.2.0.tar.gz $tar -xzf ./hadoop-3.2.0.tar.gz $cd hadoop-3.2.0 #需要修改成对应的 jdk home $sed -i 's/# JAVA_HOME=\/usr\/java\/testing.*/JAVA_HOME=\/opt\/jdk1.8/g' ./etc/hadoop/hadoop-env.sh $./bin/hadoop version $vi etc/hadoop/core-site.xml #输入如下内容: <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> $vi etc/hadoop/hdfs-site.xml #输入如下内容: <property> <name>dfs.replication</name> <value>1</value> </property> $vi etc/hadoop/mapred-site.xml #输入如下内容: <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <property> <name>yarn.app.mapreduce.am.env</name> <value>HADOOP_MAPRED_HOME=/opt/hadoop-3.2.0</value> </property> <property> <name>mapreduce.map.env</name> <value>HADOOP_MAPRED_HOME=/opt/hadoop-3.2.0</value> </property> <property> <name>mapreduce.reduce.env</name> <value>HADOOP_MAPRED_HOME=/opt/hadoop-3.2.0</value> </property> $vi etc/hadoop/yarn-site.xml 输入如下内容: <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property>
三、设置免密码登陆
$ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa $ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa $cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys $chmod 0600 ~/.ssh/authorized_keys $chmod 755 ~注设置完成后一定测试 ssh localhost 无需输入密码才继续往下可参考https://zhoupinheng.iteye.com/admin/blogs/2436265
相关推荐
利用虚拟机搭建Hadoop伪集群(基于centos7),usr 下有 java 和 hadoop两个文件夹,分别解压对应的文件,jdk 的版本是1.8.0_141,hadoop的版本是2.7.3
centos7 安装 hadoop 2.7.3集群.docx
适合新手,详细 01-Java环境安装 02- Eclipse下载与安装 03-VMware虚拟机的安装 04-在VMware中安装CentOS 05- Hadoop集群+ Hive+ MySQL搭建
centos7通过ambari快速布署hadoop HA集群
在centos7 下面自己编译,安装部署Hadoop集群环境。包括需要插件等等
为了搭建Hadoop平台学习,前期搭建dubbo+Zookeeper集群,这里有详细介绍zookeeeper伪集群和分布式集群, dubbo在tomcat下安装等过程。相关jdk、war、jar等也在百度云...
在《CentOS7下Hadoop3.2.1集群的安装与部署(上)》中我们我们完成了对Hadoop集群的安装与启动。接下来,重点对HDFS和Yarn的HA配置进行介绍。 HDFS高可用 在上述Hadoop集群搭建完成之后,若要启用HA还需要对hdfs-...
CentOS 6.8 + Hadoop2.6.0集群环境搭建指南。
CentOS6.5mini版hadoop集群搭建流程,内容比较简洁明了。
1.建立安装目录 2.下载 3.解压 1.ifconfig查看网卡 3.关闭防火墙 1.在家目录里建立一个1.sh,复制下面的东西进入1.sh 2.执行1.sh
centos6.2下hadoop全分布式集群配置
Centos7上搭建hadoop2.6.0分布式系统,教程超详细! 搭建过程中如果有什么疑问可以邮我1668544151@qq.com 单机搭建伪分布式也适用!
Centos7.0系统下配置Hadoop集群(以3节点为例)超详细过程
1.启动集群时出错: mkdir: cannot create directory ‘/home/user/bigdata/hadoop/logs’ : Permission denied 2.查看log日志文件 Cannot create directory /root/bigdata/hadoop/dfs/name/current
Hadoop_Hadoop集群(第1期)_CentOS安装配置 Hadoop_Hadoop集群(第2期)_机器信息分布表 Hadoop_Hadoop集群(第4期)_SecureCRT使用 Hadoop_Hadoop集群(第5期)_Hadoop安装配置 Hadoop_Hadoop集群(第5期副刊)_...
教程:在linux虚拟机下(centos),通过docker容器,部署hadoop集群。一个master节点和三个slave节点。
CentOs系统下Hadoop集群式搭建配置步骤,一步步带你搭建分布式Hadoop
CentOS Linux中搭建Hadoop和Spark集群详解,Hadoop是一个开源的可运行于大规模集群上的分布式文件系统和运行处理基础框架。其擅长于在廉价机器搭建的集群上进行海量数据(结构化与非结构化)的存储与离线处理。Hadoop...
VM+CentOS+hadoop2.7搭建hadoop完全分布式集群,自己实际实用过程的总结
资源名称:CentOS 6.5 x64下安装19实体节点Hadoop 2.2.0集群配置指南内容简介: CentOS 6.5 x64下安装19实体节点Hadoop 2.2.0集群配置指南主要讲述的是CentOS 6.5 x64下安装19实体节点Hadoop 2.2.0集群配置指南;...