CentOS7安装Hadoop集群

安装Hadoop集群:

一、安装Linux虚拟机和linux系统安装
这边我用的是vmware+CentOS7;
这个可以用镜像来安装,图形化界面,非常简单,这里网上资料很多,不多说。
二、安装JDK

1.卸载系统自带的openjava包
先查询java包
rpm -qa | grep java-1

2.然后卸载openjava:如下命令:
rpm -e --nodeps javapackages-tools-3.4.1-11.el7.noarch
rpm -e --nodeps java-1.8.0-openjdk-1.8.0.181-7.b13.el7.x86_64
rpm -e --nodeps python-javapackages-3.4.1-11.el7.noarch
rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.181-7.b13.el7.x86_64
rpm -e --nodeps java-1.7.0-openjdk-1.7.0.191-2.6.15.5.el7.x86_64
rpm -e --nodeps tzdata-java-2018e-3.el7.noarch
rpm -e --nodeps java-1.7.0-openjdk-headless-1.7.0.191-2.6.15.5.el7.x86_64

3.用root用户上传JDK包执行如下命令
tar -zxvf jdk-8u201-linux-x64.tar.gz -C /usr/lib/jvm

4.修改环境变量
vi /etc/profile
最后新增如下:
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_201
export PATH= J A V A H O M E / b i n : {JAVA_HOME}/bin: JAVAHOME/bin:PATH
5.使其立即生效.
source /etc/profile

6.测试JAVA
java -version

三、安装hadoop–伪分布式
1.把Hadoop的tar包上传到/usr/local目录下,并解压
tar -zxvf hadoop-2.7.7.tar.gz
2.设置无密码登陆
ssh-keygen -t dsa -P ‘’ -f ~/.ssh/id_dsa
3.创建目录
mkdir -p /usr/local/hadoop/tmp
mkdir -p /usr/local/hadoop/hdfs
mkdir -p /usr/local/hadoop/hdfs/name
mkdir -p /usr/local/hadoop/hdfs/data

4.cd /usr/local/hadoop/hadoop-2.7.7/etc/hadoop
vi hadoop-env.sh
#export JAVA_HOME=${JAVA_HOME}
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_201
5.vi yarn-env.sh

export JAVA_HOME=/home/y/libexec/jdk1.6.0/

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_201
6.
vi core-site.xml

fs.defaultFS
hdfs://192.168.199.129:9000


hadoop.tmp.dir
/usr/local/hadoop/tmp

  1. vi hdfs-site.xml


    dfs.namenode.name.dir
    file:/usr/local/hadoop/hdfs/name


    dfs.datanode.data.dir
    file:/usr/local/hadoop/hdfs/data


    dfs.replication
    1


    8.cp mapred-site.xml.template mapred-site.xml
    vi mapred-site.xml


    mapreduce.framwork.name
    yarn

9.vi yarn-site.xml

    <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
    </property>
10.格式化 hdfs namenode -format

11.start-all.sh
jps
如下就是OK了。
[root@hadoop1 ~]# jps
10354 NodeManager
10086 SecondaryNameNode
9767 NameNode
10247 ResourceManager
10701 Jps
9919 DataNode

12.防火墙
firewall-cmd --state
systemctl stop firewalld.service
systemctl disable firewalld.service


四、分布式安装

0、前期准备:

1.这里准备三台机器
1个namenode
3个datanode

127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.198.130 master
192.168.198.131 node1
192.168.198.132 node2

安装规划:
节点名称 NN1 NN2 DN RM NM
master NameNode DataNode NodeManager
node1 SecondaryNameNode DataNode ResourceManager NodeManager
node2 DataNode NodeManager

需要的包,我已经上传,并且已经安装和配置好jdk,所有服务器都一样。而且root的信任关系也都建立OK了。
ssh-keygen -t dsa -P ‘’ -f ~/.ssh/id_dsa

一、解压hadoop包,修改配置
vi hadoop-env.sh

The java implementation to use.

#export JAVA_HOME=${JAVA_HOME}
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_201

vi core-site.xml


fs.defaultFS
hdfs://master:9000


hadoop.tmp.dir
/usr/local/hadoop/tmp

mkdir -p /usr/local/hadoop/tmp

vi hdfs-site.xml


dfs.replication
2


dfs.namenode.name.dir
file:/usr/local/hadoop/hdfs/name
true


dfs.datanode.data.dir
file:/usr/local/hadoop/hdfs/data
true


dfs.namenode.secondary.http-address
node1:50090


dfs.webhdfs.enabled
true

vi mapred-site.xml


mapreduce.framwork.name
yarn

vi yarn-site.xml

    <property>
            <name>yarn.resourcemanager.hostname</name>
            <value>master</value>
    </property>
    <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
    </property>

vi slaves
master
node1
node2

复制到另外节点
scp -r * node1:/usr/local/hadoop/hadoop-2.7.7/etc/hadoop
scp -r * node2:/usr/local/hadoop/hadoop-2.7.7/etc/hadoop

二、运行和测试
–在namenode主节点执行
hdfs namenode -format

主节点上来启动hdfs
start-dfs.sh

主节点:
[root@master hadoop]# jps
15541 Jps
15260 DataNode
15133 NameNode
[root@master hadoop]#

[root@node1 hadoop]# jps
9532 SecondaryNameNode
9438 DataNode
9679 Jps
[root@node1 hadoop]#

[root@node2 hadoop]# jps
11014 DataNode
11357 Jps
[root@node2 hadoop]#

start-yarn.sh
[root@master hadoop]# jps
15923 Jps
15700 NodeManager
15260 DataNode
15133 NameNode
15599 ResourceManager

[root@node1 hadoop]# jps
9744 NodeManager
9856 Jps
9532 SecondaryNameNode
9438 DataNode
[root@node1 hadoop]#

[root@node2 hadoop]# jps
11412 NodeManager
11014 DataNode
11516 Jps
[root@node2 hadoop]#

热门文章

暂无图片
编程学习 ·

那些年让我们目瞪口呆的bug

程序员一生与bug奋战&#xff0c;可谓是杀敌无数&#xff0c;见怪不怪了&#xff01;在某知识社交平台中&#xff0c;一个“有哪些让程序员目瞪口呆的bug”的话题引来了6700多万的阅读&#xff0c;可见程序员们对一个话题的敏感度有多高。 1、麻省理工“只能发500英里的邮件” …
暂无图片
编程学习 ·

redis的下载与安装

下载redis wget http://download.redis.io/releases/redis-5.0.0.tar.gz解压redis tar -zxvf redis-5.0.0.tar.gz编译 make安装 make install快链方便进入redis ln -s redis-5.0.0 redis
暂无图片
编程学习 ·

《大话数据结构》第三章学习笔记--线性表(一)

线性表的定义 线性表&#xff1a;零个或多个数据元素的有限序列。 线性表元素的个数n定义为线性表的长度。n为0时&#xff0c;为空表。 在比较复杂的线性表中&#xff0c;一个数据元素可以由若干个数据项组成。 线性表的存储结构 顺序存储结构 可以用C语言中的一维数组来…
暂无图片
编程学习 ·

对象的扩展

文章目录对象的扩展属性的简洁表示法属性名表达式方法的name属性属性的可枚举性和遍历可枚举性属性的遍历super关键字对象的扩展运算符解构赋值扩展运算符AggregateError错误对象对象的扩展 属性的简洁表示法 const foo bar; const baz {foo}; baz // {foo: "bar"…
暂无图片
编程学习 ·

让程序员最头疼的5种编程语言

世界上的编程语言&#xff0c;按照其应用领域&#xff0c;可以粗略地分成三类。 有的语言是多面手&#xff0c;在很多不同的领域都能派上用场。大家学过的编程语言很多都属于这一类&#xff0c;比如说 C&#xff0c;Java&#xff0c; Python。 有的语言专注于某一特定的领域&…
暂无图片
编程学习 ·

写论文注意事项

参考链接 给研究生修改了一篇论文后&#xff0c;该985博导几近崩溃…… 重点分析 摘要与结论几乎重合 这一条是我见过研究生论文中最常出现的事情&#xff0c;很多情况下&#xff0c;他们论文中摘要部分与结论部分重复率超过70%。对于摘要而言&#xff0c;首先要用一小句话引…
暂无图片
编程学习 ·

安卓 串口开发

上图&#xff1a; 上码&#xff1a; 在APP grable添加 // 串口 需要配合在项目build.gradle中的repositories添加 maven {url "https://jitpack.io" }implementation com.github.licheedev.Android-SerialPort-API:serialport:1.0.1implementation com.jakewhart…
暂无图片
编程学习 ·

2021-2027年中国铪市场调研与发展趋势分析报告

2021-2027年中国铪市场调研与发展趋势分析报告 本报告研究中国市场铪的生产、消费及进出口情况&#xff0c;重点关注在中国市场扮演重要角色的全球及本土铪生产商&#xff0c;呈现这些厂商在中国市场的铪销量、收入、价格、毛利率、市场份额等关键指标。此外&#xff0c;针对…
暂无图片
编程学习 ·

Aggressive cows题目翻译

描述&#xff1a; Farmer John has built a new long barn, with N (2 < N < 100,000) stalls.&#xff08;John农民已经新建了一个长畜棚带有N&#xff08;2<N<100000&#xff09;个牛棚&#xff09; The stalls are located along a straight line at positions…
暂无图片
编程学习 ·

剖析组建PMO的6个大坑︱PMO深度实践

随着事业环境因素的不断纷繁演进&#xff0c;项目时代正在悄悄来临。设立项目经理转岗、要求PMP等项目管理证书已是基操&#xff0c;越来越多的组织开始组建PMO团队&#xff0c;大有曾经公司纷纷建造中台的气质&#xff08;当然两者的本质并不相同&#xff0c;只是说明这个趋势…
暂无图片
编程学习 ·

Flowable入门系列文章118 - 进程实例 07

1、获取流程实例的变量 GET运行时/进程实例/ {processInstanceId} /变量/ {变量名} 表1.获取流程实例的变量 - URL参数 参数需要值描述processInstanceId是串将流程实例的id添加到变量中。变量名是串要获取的变量的名称。 表2.获取流程实例的变量 - 响应代码 响应码描述200指…
暂无图片
编程学习 ·

微信每天自动给女[男]朋友发早安和土味情话

微信通知&#xff0c;每天给女朋友发早安、情话、诗句、天气信息等~ 前言 之前逛GitHub的时候发现了一个自动签到的小工具&#xff0c;b站、掘金等都可以&#xff0c;我看了下源码发现也是很简洁&#xff0c;也尝试用了一下&#xff0c;配置也都很简单&#xff0c;主要是他有一…
暂无图片
编程学习 ·

C语言二分查找详解

二分查找是一种知名度很高的查找算法&#xff0c;在对有序数列进行查找时效率远高于传统的顺序查找。 下面这张动图对比了二者的效率差距。 二分查找的基本思想就是通过把目标数和当前数列的中间数进行比较&#xff0c;从而确定目标数是在中间数的左边还是右边&#xff0c;将查…
暂无图片
编程学习 ·

项目经理,你有什么优势吗?

大侠被一个问题问住了&#xff1a;你和别人比&#xff0c;你的优势是什么呢? 大侠听到这个问题后&#xff0c;脱口而出道&#xff1a;“项目管理能力和经验啊。” 听者抬头看了一下大侠&#xff0c;显然听者对大侠的这个回答不是很满意&#xff0c;但也没有继续追问。 大侠回家…
暂无图片
编程学习 ·

nginx的负载均衡和故障转移

#注&#xff1a;proxy_temp_path和proxy_cache_path指定的路径必须在同一分区 proxy_temp_path /data0/proxy_temp_dir; #设置Web缓存区名称为cache_one&#xff0c;内存缓存空间大小为200MB&#xff0c;1天没有被访问的内容自动清除&#xff0c;硬盘缓存空间大小为30GB。 pro…
暂无图片
编程学习 ·

业务逻辑漏洞

身份认证安全 绕过身份认证的几种方法 暴力破解 测试方法∶在没有验证码限制或者一次验证码可以多次使用的地方&#xff0c;可以分为以下几种情况︰ (1)爆破用户名。当输入的用户名不存在时&#xff0c;会显示请输入正确用户名&#xff0c;或者用户名不存在 (2)已知用户名。…