Mac 配置Hadoop、spark、Scala、jdk

这篇具有很好参考价值的文章主要介绍了Mac 配置Hadoop、spark、Scala、jdk。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

Mac 配置Hadoop、spark、Scala、jdk1.8

一、安装jdk1.8(适配于 Mac M1芯片)

下载地址:

Java Downloads | Oracle

1.下载好使用 终端 进行解压

tar -zxf jdk-8u401-macosx-aarch64.tar.gz

2.配置环境变量

1.终端打开 .bash_profile
vim ~/.bash_profile
2.将以下代码放进 .bash_profile 里面(注意修改路径)
export PATH=${PATH}:/Users/laohe_juan/Downloads/jdk1.8.0_401.jdk/Contents/Home
export PATH=$JAVA_HOME/bin:$PATH
3.esc按键 + :号键 输入 wq (保存并退出)
4.重新加载 .bash_profile 文件
source ~/.bash_profile
5.输入以下代码检查配置是否成功
java -version

Mac 配置Hadoop、spark、Scala、jdk,macos,hadoop,spark,scala,java

二、安装Spark

下载链接:

News | Apache Spark

1.下载好并使用 终端 进行解压
tar -zxf spark-3.1.1-bin-hadoop3.2.tar
2.进行环境配置
1.终端打开 .bash_profile
vim ~/.bash_profile
2.以下代码放进 .bash_profile 里面(注意修改路径)
# 方式一

export SPARK_HOME=/Users/laohe_juan/Downloads/spark-3.1.1-bin-hadoop3.2
export PATH=$PATH:$SPARK_HOME/bin
export PYSPARK_PYTHON=python3
# 注意 python3是自己系统安装的版本


# 方式二
export SPARK_HOME=/Users/laohe_juan/Downloads/spark-3.1.1-bin-hadoop3.2
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
3.esc按键 + :号键 输入 wq (保存并退出)
4.重新加载 .bash_profile 文件
source ~/.bash_profile
5.输入以下代码检查配置是否成功
pyspark

Mac 配置Hadoop、spark、Scala、jdk,macos,hadoop,spark,scala,java

使用方式二:
1.进入 conf 修改 文件名
cd Downloads/spark-3.1.1-bin-hadoop3.2/conf
#  修改一下两个文件
mv spark-env.sh.template spark-enc.sh
mv workers.template workers 
2.修改配置文件 spark-enc.sh
vim spark-enc.sh

添加如下:( 注意修改地址 )

export JAVA_HOME=/Users/laohe_juan/Downloads/jdk1.8.0_401.jdk/
export HADOOP_HOME=/Users/laohe_juan/Downloads/hadoop-3.1.3/
export HADOOP_CONF_DIR=/Users/laohe_juan/Downloads/hadoop-3.1.3/etc/hadoop
export SPARK_MASTER_HOST=localhost
3.进入 sbin 修改 启动命令 (使不与 hadoop 同样)
mv start-all.sh start-spark.sh    //启动spark
mv stop-all.sh stop-spark.sh     //关闭spark
4.启动spark (出现 Master 和 Worker 则启动成功)
start-spark.sh

Mac 配置Hadoop、spark、Scala、jdk,macos,hadoop,spark,scala,java

​​​​​​​

三、安装Hadoop(确保ssh)

下载链接:

Apache Hadoop

0.ssh
1.确保已经安装SSH
ps -e|grep ssh

查看版本号:

ssh -V
2.依次输入以下命令(免密)
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/id_rsa.pub
3.ssh测试
ssh localhost

Mac 配置Hadoop、spark、Scala、jdk,macos,hadoop,spark,scala,java

1.下载好并使用 终端 进行解压
tar -zxf hadoop-3.1.3.tar
2.进行环境配置
1.终端打开 .bash_profile
vim ~/.bash_profile
2.以下代码放进 .bash_profile 里面(注意修改路径)
export HADOOP_HOME=/Users/laohe_juan/Downloads/hadoop-3.1.3/
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME 
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/nativ"
3.esc按键 + :号键 输入 wq (保存并退出)
4.重新加载 .bash_profile 文件
source ~/.bash_profile
5.输入以下代码检查配置是否成功
hadoop version
3.修改配置文件(首先进入到Hadoop)
cd /Users/laohe_juan/Downloads/hadoop-3.1.3/etc/hadoop
1.打开 hadoop-env.sh 配置 jdk 路径 ( 注意路径两边的引号需要添加 )
export JAVA_HOME="/Users/laohe_juan/Downloads/jdk1.8.0_401.jdk/Contents/Home"
2.配置 core-site.sh 文件 ( 注意路径需要修改为自己的 )
<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/Users/laohe_juan/Downloads/hdfs/tmp/</value>
    </property>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://127.0.0.1:9000</value>
    </property>
</configuration>
3.配置 hdfs-site.xml 文件 ( 注意路径需要修改为自己的 )
<configuration>
  <property>
      <name>dfs.data.dir</name>
      <value>/Users/laohe_juan/Downloads/hdfs/namenode</value>
  </property>
  <property>
      <name>dfs.data.dir</name>
      <value>/Users/laohe_juan/Downloads/hdfs/datanode</value>
  </property>
  <property>
      <name>dfs.replication</name>
      <value>1</value>
  </property>
</configuration>
4.配置 mapred-site.xml 文件
<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>
5.配置 yarn-site.xml 文件
<configuration>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  </property>
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>127.0.0.1</value>
  </property>
  <property>
    <name>yarn.acl.enable</name>
    <value>0</value>
  </property>
  <property>
    <name>yarn.nodemanager.env-whitelist</name>
    <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PERPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
  </property>
</configuration>
6.执行 命令
hdfs namenode -format

成功则如下:

Mac 配置Hadoop、spark、Scala、jdk,macos,hadoop,spark,scala,java

注意:如果后面有进程没有启动成功时,切记 查看进程(在安装目录下的 logs 目录),然后有关 没有匹配的目录类型的日志报错的话,多半是在最开始配置中有错误然后没有重新生成对应的目录及文件!所以重新执行此命令大概率就解决了。

7.启动集群
start-all.sh
8.查看集群是否全部启动成功
jps

Hadoop 配置文件总阅:

Mac 配置Hadoop、spark、Scala、jdk,macos,hadoop,spark,scala,java

成功后的所有进程:

Mac 配置Hadoop、spark、Scala、jdk,macos,hadoop,spark,scala,java

四、安装Scala ( 确保有java环境 )

下载安装(此用到的是2.12版本)

下载地址:Scala 2.12.0 | The Scala Programming Language

1.下载好使用 终端 解压

tar -zxf scala-2.12.0.tar

2.配置环境变量

1.终端打开 .bash_profile
vim ~/.bash_profile
2.将以下代码放进 .bash_profile 里面(注意修改路径)
export PATH=${PATH}:/Users/laohe_juan/Downloads/scala-2.12.0/bin
export PATH=$SCALA_HOME/bin:$PATH
3.esc按键 + :号键 输入 wq (保存并退出)
4.重新加载 .bash_profile 文件
source ~/.bash_profile
5.输入以下代码检查配置是否成功
scala -version

Mac 配置Hadoop、spark、Scala、jdk,macos,hadoop,spark,scala,java文章来源地址https://www.toymoban.com/news/detail-843544.html

到了这里,关于Mac 配置Hadoop、spark、Scala、jdk的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 大数据平台安装实验: ZooKeeper、Kafka、Hadoop、Hbase、Hive、Scala、Spark、Storm

    ​ 在大数据时代,存在很多开源的分布式数据采集、计算、存储技术,本实验将在熟练掌握几种常见Linux命令的基础上搭建几种常用的大数据采集、处理分析技术环境。 相关安装包下载: 链接:https://pan.baidu.com/s/1Wa2U3qstc54IAUCypcApSQ 提取码:lcd8 Hadoop大数据平台所需工具、软件

    2023年04月09日
    浏览(67)
  • 构建大型企业应用程序:Scala和Hadoop的最佳实践

    作者:禅与计算机程序设计艺术 随着大数据和云计算技术的兴起,很多大型企业正在构建面向海量数据的大型分布式应用程序。这些应用程序一般由多个独立的小模块组成,这些模块需要分布在不同的服务器上进行通信,数据需要存储到海量的磁盘和内存中,并且需要处理复

    2024年02月11日
    浏览(23)
  • spring boot java项目整合Scala&Spark,接口api调用方式调用scala代码,配置分享

    版本说明: spring boot: 2.5.9 jdk:1.8 spark:2.4.5 sclala:2.11.12 首先你需要有一个完美的spring boot项目(java版本)能成功运行,这就不赘述了,按照网上的自己搭建吧,然后重要的来了,我捣鼓了两天时间,各样的报错见过了,网上的处理方法要嘛是不全,要嘛是没有用,各种办

    2024年02月10日
    浏览(30)
  • 认识spark,Scala简介

    Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。 是加州大学伯克利分校AMP实验室(Algorithms, Machines, and People Lab)开发的通用内存并行计算框架Spark得到了众多大数据公司的支持,这些公司包括Hortonworks、IBM、Intel、Cloudera、MapR、Pivotal、百度、阿里、腾讯、京

    2024年03月20日
    浏览(24)
  • spark源码的scala解析

    一、scala抽象类和java的有何不同? 在org/apache/spark/util/collection/SortDataFormat.scala中有以下抽象类 private[spark] abstract class SortDataFormat[K, Buffer] {...}    然后在org/apache/spark/graphx/Edge.scala中,直接调用了xxx = new SortDataFormat[Edge[ED], Array[Edge[ED]]] {...} 为啥可以直接new一个抽象类呢??sc

    2024年02月12日
    浏览(20)
  • spark概述与scala的安装

    1. Spark是什么 Spark  基于内存 式计算的 分布式 的 统一化 的数据分析引擎 2. Spark 模块 Spark 框架模块包含:Spark Core、Spark SQL、Spark Streaming、Spark GraphX、 Spark MLlib,而后四项的能力都是建立在核心引擎之上。 3.Spark 四大特点 Spark使用 Scala 语言进行实现,它是一种面向对象、函

    2024年03月10日
    浏览(30)
  • Spark Scala大数据编程实例

    Scala是一门现代的多范式编程语言,平滑地集成了面向对象和函数式语言的特性,旨在以简练、优雅的方式来表达常用编程模式。Scala的设计吸收借鉴了许多种编程语言的思想,只有很少量特点是Scala自己独有的。Scala语言的名称来自于“可伸展的语言”,从写个小脚本到建立

    2024年02月04日
    浏览(29)
  • Spark-Scala语言实战(16)

    在之前的文章中,我们学习了三道任务,运用之前学到的方法。想了解的朋友可以查看这篇文章。同时,希望我的文章能帮助到你,如果觉得我的文章写的不错,请留下你宝贵的点赞,谢谢。 Spark-Scala语言实战(15)-CSDN博客 文章浏览阅读1.5k次,点赞38次,收藏32次。今天开始

    2024年04月16日
    浏览(23)
  • Spark-Scala语言实战(6)

    在之前的文章中,我们学习了如何在scala中定义与使用类和对象,并做了几道例题。想了解的朋友可以查看这篇文章。同时,希望我的文章能帮助到你,如果觉得我的文章写的不错,请留下你宝贵的点赞,谢谢。 Spark-Scala语言实战(5)-CSDN博客 文章浏览阅读1.6k次,点赞51次,

    2024年04月17日
    浏览(21)
  • spark与scala的对应版本查看

    https://mvnrepository.com/artifact/org.apache.spark/spark-core 总结 spark3.0 以后,不再支持 scala2.11 spark3.0 以后,只能用 scala2.12以上

    2024年02月02日
    浏览(16)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包