【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群（第三步）（1）_Spark亚太研究院的博客-CSDN博客_spark集群构建:第三步 csdn
【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群（第三步）（1）
Spark亚太研究院
于 2014-09-04 10:59:19 发布
957
收藏
分类专栏：
Spark书籍连载
文章标签：
spark技术
云计算
spark教程
spark热点
spark集群
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wwttz1974/article/details/39049503
版权
Spark书籍连载
专栏收录该内容
31 篇文章
0 订阅
订阅专栏
第一步：Spark集群需要的软件；
 在1、2讲的从零起步构建好的Hadoop集群的基础上构建Spark集群，我们这里采用2014年5月30日发布的Spark 1.0.0版本，也就是Spark的最新版本，要想基于Spark 1.0.0构建Spark集群，需要的软件如下：
1.Spark 1.0.0，笔者这里使用的是spark-1.0.0-bin-hadoop1.tgz， 具体的下载地址是http://d3kbcqa49mib13.cloudfront.net/spark-1.0.0-bin-hadoop1.tgz
如下图所示：
笔者是保存在了Master节点如下图所示的位置：
2.下载和Spark 1.0.0对应的Scala版本，官方要求的是Scala必须为Scala 2.10.x：
 笔者下载的是“Scala 2.10.4”，具体官方下载地址为http://www.scala-lang.org/download/2.10.4.html 下载后在Master节点上保存为：
第二步：安装每个软件
 安装Scala
打开终端，建立新目录“/usr/lib/scala”，如下图所示：
2.解压Scala文件，如下图所示：
把解压好的Scala移到刚刚创建的“/usr/lib/scala”中，如下图所示
3.修改环境变量:
进入如下图所示的配置文件中：
按下“i”进入INSERT模式，把Scala的环境编写信息加入其中，如下图所示：
从配置文件中可以看出，我们设置了“SCALA_HOME”并把Scala的bin目录设置到了PATH中。
按下“esc“键回到正常模式，保存并退出配置文件：
执行以下命令是配置文件的修改生效：
4.在终端中显示刚刚安装的Scala版本，如下图所示
发现版本是”2.10.4”，这正是我们期望的。
当我们输入“scala”这个命令的的时候，可以直接进入Scala的命令行交互界面：
此时我们输入“9*9”这个表达式：
此时我们发现Scala正确的帮我们计算出了结果 。
此时我们完成了Master上Scala的安装；
由于我们的 Spark要运行在Master、Slave1、Slave2三台机器上，此时我们需要在Slave1和Slave2上安装同样的Scala，使用scp命令把Scala安装目录和“~/.bashrc”都复制到Slave1和Slave2相同的目录之之下，当然，你也可以按照Master节点的方式手动在Slave1和Slave2上安装。
在Slave1上Scala安装好后的测试效果如下：
在Slave2上Scala安装好后的测试效果如下：
至此，我们在Master、Slave1、Slave2这三台机器上成功部署Scala。
Spark亚太研究院
关注
关注
点赞
收藏
打赏
评论
【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群（第三步）（1）
第一步：Spark集群需要的软件； 在1、2讲的从零起步构建好的Hadoop集群的基础上构建Spark集群，我们这里采用2014年5月30日发布的Spark 1.0.0版本，也就是Spark的最新版本，要想基于Spark 1.0.0构建Spark集群，需要的软件如下： 1.Spark 1.0.0，笔者这里使用的是spark-1.0.0-bin-hadoop1.tgz，
复制链接
扫一扫
专栏目录
Spark实战高手之路-从零开始
05-02
Spark实战高手之路-从零开始
大数据Spark实战高手之路1---熟练的掌握Scala语言系列课程
07-03
大数据Spark实战高手之路1---熟练的掌握Scala语言系列课程
参与评论
您还未登录，请先
登录
后发表或查看评论
Spark实战高手之路——从零开始
weixin_34025151的博客
02-17
113
2019独角兽企业重金招聘Python工程师标准>>>
...
【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群（第三步）（1）...
weixin_34194087的博客
09-04
46
2019独角兽企业重金招聘Python工程师标准>>>
...
Spark实战高手之路
09-22
Spark实战
【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群（第三步）（3）
wwttz1974的专栏
09-10
1092
启动并查看集群的状况
第一步：启动Hadoop集群，这个在第二讲中讲解的非常细致，在此不再赘述：
启动之后在Master这台机器上使用jps命令，可以看到如下进程信息：
在Slave1 和Slave2上使用jps会看到如下进程信息：
第二步：启动Spark集群
在Hadoop集群成功启动的基础上，启动Spark集群需要使用Spark的sbin
【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群（第二步）（1）
wwttz1974的专栏
08-28
763
在VMWare 中准备第二、第三台运行Ubuntu系统的机器；
在VMWare中构建第二、三台运行Ubuntu的机器和构建第一台机器完全一样，再次不在赘述。。
与安装第一台Ubuntu机器不同的几点是：
第一点：我们把第二、三台Ubuntu机器命名为了Slave1、Slave2，如下图所示：
创建完的VMware中就有三台虚拟机了：
第二
【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群（第五步）（1）...
weixin_33801856的博客
06-03
51
第一步：构造分布式Hadoop2.2.0集群
1,在Windows 7（本教程中的Spark集群执行的机器是8G的Windows内存）上安装VMware虚拟机（我们安装的是VMware-workstation-full-9.0.2），本教程中的VMware Workstation下载地址：
https://my.vmware.com/cn/web/vm...
【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群（第五步）（6）
wwttz1974的专栏
11-03
821
结束historyserver的命令如下所示：
第四步：验证Hadoop分布式集群
首先在hdfs文件系统上创建两个目录，创建过程如下所示：
Hdfs中的/data/wordcount用来存放Hadoop自带的WordCount例子的数据文件，程序运行的结果输出到/output/wordcount目录中，透过Web控制可以发现我们成功创建了两个文件夹：
Spark实战高手之路-第2章动手实战Scala（1）.pdf
08-14
Spark实战高手之路-第2章动手实战Scala（1）.pdf
大数据Spark实战高手之路职业学习路线图
大数据Spark教程详解
02-10
1516
从零起步，分阶段无任何障碍逐步掌握大数据统一计算平台Spark，从Spark框架编写和开发语言Scala开始，到Spark企业级开发，再到Spark框架源码解析、Spark与Hadoop的融合、商业案例和企业面试，一次性彻底掌握Spark，成为云计算大数据时代的幸运儿和弄潮儿，笑傲大数据职场和人生！
学习目标：
1、掌握Scala；
2、精通Spark企业及开发；
3、精通Spark框架源...
Spark实战-Spark SQL（三）
易者悠也
03-27
619
SparkSQL实战
大数据Spark实战高手之路---熟练的掌握Scala语言系列课程
wofala886的专栏
01-09
752
课程名字：熟练的掌握Scala语言系列课程
课程网盘下载： http://pan.baidu.com/s/1pJuRAsV 密码: ahr3
要是网盘失效了，请加我QQ： 3113533060
课程内容：
共10章，58课时，总时长944分钟
想要深入研究spark,掌握好scala至关重要,目前scala的课程非常的少,本套课程讲的非常不错!!!
熟练的掌握Scala语
【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群（第三步）（2）
wwttz1974的专栏
09-09
1153
安装Spark
Master、Slave1、Slave2这三台机器上均需要安装Spark。
首先在Master上安装Spark，具体步骤如下：
第一步：把Master上的Spark解压：
【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群（第四步）（1）
wwttz1974的专栏
09-11
568
那我们如何验证Spark Shell对README.md这个文件中的“Spark”出现的15次是正确的呢？其实方法很简单，我们可以使用Ubuntu自带的wc命令来统计，如下所示：
发现此时的执行结果也是15次，和Spark Shell的计数是一样一样的。
【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群（第五步）（1）
wwttz1974的专栏
10-08
1526
第一步：构造分布式Hadoop2.2.0集群
1,在Windows 7（本教程中的Spark集群运行的机器是8G的Windows内存）上安装VMware虚拟机（我们安装的是VMware-workstation-full-9.0.2），本教程中的VMware Workstation下载地址：
https://my.vmware.com/cn/web/vmware/det
【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群（第二步）（3）
wwttz1974的专栏
09-02
858
首先修改Master的core-site.xml文件，此时的文件内容是：
我们把“localhost”域名修改为“Master”:
【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群-安装Ubuntu系统(1)
wwttz1974的专栏
08-11
708
Unbuntu系统是我们开发Hadoop时最常用的操作系统，下面带领大家一步步完成Vmware虚拟机下Unbuntu系统的安装
创建Vmware中的虚拟系统：
【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群（第五步）（5）
wwttz1974的专栏
10-21
1185
从控制台我们可以看见有两个DataNode，此时我们点击“Live Nodes”查看一下其信息：
从控制台中看到了我们的两个Datanode节点SparkWorker1和SparkWorker2，这正是我们预期中的！
第三步：启动yarn集群
使用jps命令可以发现SparkMaster机器上启动了ResourceManager进程：
而在Spa
“相关推荐”对你有帮助么？
非常没帮助
没帮助
一般
有帮助
非常有帮助
提交
©️2022 CSDN
皮肤主题：大白
设计师：CSDN官方博客
返回首页
Spark亚太研究院
CSDN认证博客专家
CSDN认证企业博客
码龄11年
暂无认证
67
原创
93万+
周排名
91万+
总排名
4万+
访问
等级
1100
积分
21
粉丝
获赞
评论
收藏
私信
关注
热门文章
【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群（第五步）（1）
1526
【Spark亚太研究院系列丛书】Spark实战高手之路-第3章Spark架构设计与编程模型第1节：为什么Spark是大数据必然的现在和未来？(1)
1301
Spark GraphX宝刀出鞘，图文并茂研习图计算秘笈与熟练的掌握Scala语言【大数据Spark实战高手之路】
1228
【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群（第五步）（5）
1185
【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群（第三步）（2）
1153
分类专栏
spark互动问答
13篇
Spark观点文章
3篇
Spark书籍连载
31篇
最新评论
【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群（第五步）（6）
sinat_24924775:
刚好最近在学习，会继续关注你，感谢你的分享。
您愿意向朋友推荐“博客详情页”吗？
强烈不推荐
不推荐
一般般
推荐
强烈推荐
提交
最新文章
【Spark亚太研究院系列丛书】Spark实战高手之路-第3章Spark架构设计与编程模型第3节：Spark架构设计(2)
【Spark亚太研究院系列丛书】Spark实战高手之路-第3章Spark架构设计与编程模型第3节：Spark架构设计(1)
【Spark亚太研究院系列丛书】Spark实战高手之路-第3章Spark架构设计与编程模型第2节：Spark架构设计(2)
2014年67篇
目录
目录
分类专栏
spark互动问答
13篇
Spark观点文章
3篇
Spark书籍连载
31篇
目录
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
打赏作者
Spark亚太研究院
你的鼓励将是我创作的最大动力
¥2
¥4
¥6
¥10
¥20
输入1-500的整数
余额支付
(余额：-- )
扫码支付
扫码支付：¥2
获取中
扫码支付
您的余额不足，请更换扫码支付或充值
打赏作者
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额
抵扣说明：
1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。 2.余额无法直接购买下载，可以购买VIP、C币套餐、付费专栏及课程。
余额充值