189 8069 5689
在上一篇中 大数据学习系列之五 ----- Hive整合HBase图文详解 ： http://www.panchengming.com/2017/12/18/pancm62/ 中使用Hive整合HBase，并且测试成功了。在之前的大数据学习系列之一 ----- Hadoop环境搭建(单机) : http://www.panchengming.com/2017/11/26/pancm55/ 中成功的搭建了Hadoop的环境，本文主要讲的是Hadoop+Spark 的环境。虽然搭建的是单机版，但是改成集群版的也相当容易，这点以后会写关于Hadoop+Spark+HBase+Hive+Zookeeper 等集群的相关说明的。
站在用户的角度思考问题，与客户深入沟通，找到江南网站设计与江南网站推广的解决方案，凭借多年的经验，让设计与互联网技术结合，创造个性化、用户体验好的作品，建站类型包括：网站设计制作、成都网站建设、企业官网、英文网站、手机端网站、网站推广、域名注册、虚拟空间、企业邮箱。业务覆盖江南地区。
本地虚拟机
操作系统:linux CentOS 7
Cpu：2核
内存：2G
硬盘:40G
JDK:1.8 （jdk-8u144-linux-x64.tar.gz）
Hadoop:2.8.2 (hadoop-2.8.2.tar.gz)
Scala：2.12.2 (scala-2.12.2.tgz)
Spark: 1.6 (spark-1.6.3-bin-hadoop2.4-without-hive.tgz)
官网地址:
JDK：
http://www.oracle.com/technetwork/java/javase/downloads
Hadopp:
http://www.apache.org/dyn/closer.cgi/hadoop/common
Spark：
http://spark.apache.org/downloads.html
Hive on Spark (spark集成hive的版本)
http://mirror.bit.edu.cn/apache/spark/
Scala:
http://www.scala-lang.org/download
百度云:
链接：https://pan.baidu.com/s/1geT3A8N 密码：f7jb
在配置Hadoop+Spark整合之前，应该先做一下配置。
做这些配置为了方便，使用root权限。
首先更改主机名，目的是为了方便管理。
查看本机的名称
输入:
hostname 更改本机名称
输入:
hostnamectl set-hostname master注:主机名称更改之后，要重启(reboot)才会生效。
修改hosts文件，做关系映射
输入
vim /etc/hosts添加
主机的ip 和 主机名称
192.168.219.128 master关闭防火墙，方便外部访问。
CentOS 7版本以下输入:
关闭防火墙
service iptables stopCentOS 7 以上的版本输入：
systemctl stop firewalld.service输入:
date查看服务器时间是否一致，若不一致则更改
更改时间命令
date -s ‘MMDDhhmmYYYY.ss’因为Spark的配置依赖与Scala，所以先要配置Scala。
Scala的配置
将下载好的Scala文件解压
输入
tar -xvf scala-2.12.2.tgz然后移动到/opt/scala 里面
并且重命名为scala2.1
输入
mv scala-2.12.2 /opt/scala
mv scala-2.12.2 scala2.1编辑 /etc/profile 文件
输入:
export SCALA_HOME=/opt/scala/scala2.1
export PATH=.:${JAVA_HOME}/bin:${SCALA_HOME}/bin:$PATH输入:
source /etc/profile使配置生效
输入 scala -version 查看是否安装成功
注:如果spark成功启动，但是无法访问界面，首先检查防火墙是否关闭，然后在使用jps查看进程，如果都没问题的，一般就可以访问界面。如果还是不行，那么检查hadoop、scala、spark的配置。
那么本文到此结束，谢谢阅读！
如果觉得不错，可以点击一下赞或推荐。
版权声明:
作者：虚无境
博客园出处：http://www.cnblogs.com/xuwujing
CSDN出处：http://blog.csdn.net/qazwsxpcm
个人博客出处：http://www.panchengming.com
原创不易，转载请标明出处，谢谢！
