Windows下的Spark环境配置(含IDEA创建工程--《Spark大数据技术与应用》第九章-菜品推荐项目)

这篇具有很好参考价值的文章主要介绍了Windows下的Spark环境配置(含IDEA创建工程--《Spark大数据技术与应用》第九章-菜品推荐项目)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。


前言

本文适用于《Spark大数据技术与应用》第九章-菜品推荐项目环境配置:`

跟着做就行…
资源都在网盘里面,纯粹的无脑配置…


提示:以下是本篇文章正文内容,所用资源版本过低,用于课本实验,且已有Java环境

一、下载资源

scala:2.12.8
spark:1.6.2
hadoop:2.6.4
hadoop启动文件exe

JAVA
如果按照我的方法在仍然不能使用的话,那大概率就是你的JAVA环境有问题,那么你就用我的JAVA文件找一篇JAVA配置的文章把JAVA环境换成我的

链接:https://pan.baidu.com/s/1dVLt3q_D3AQuwRZ0Q2TVvg 提取码:rfwb

Windows下的Spark环境配置(含IDEA创建工程--《Spark大数据技术与应用》第九章-菜品推荐项目)Windows下的Spark环境配置(含IDEA创建工程--《Spark大数据技术与应用》第九章-菜品推荐项目)

二、本地配置步骤

1.解压


记住:解压到根目录下或者父目录不带空格 还不如直接这样直接搞到D盘下面(反正你水完课设再也不用了)

Windows下的Spark环境配置(含IDEA创建工程--《Spark大数据技术与应用》第九章-菜品推荐项目)

2.引入本地环境

1.打开高级环境配置并且找到“环境变量”
Windows下的Spark环境配置(含IDEA创建工程--《Spark大数据技术与应用》第九章-菜品推荐项目)
2.进入之后在系统变量里面找到path
Windows下的Spark环境配置(含IDEA创建工程--《Spark大数据技术与应用》第九章-菜品推荐项目)
3.将Spark,Hadoop,scala三个文件的bin文件路径引入path里面

注意:Hadoop文件的bin和sbin都要引入

Windows下的Spark环境配置(含IDEA创建工程--《Spark大数据技术与应用》第九章-菜品推荐项目)

4.系统编辑新建名为HADOOP_HOME的变量
Windows下的Spark环境配置(含IDEA创建工程--《Spark大数据技术与应用》第九章-菜品推荐项目)
Windows下的Spark环境配置(含IDEA创建工程--《Spark大数据技术与应用》第九章-菜品推荐项目)

3.启动HADOOP文件

首先你要检查你的C盘
有没有tmp文件,tmp文件下面有没有hive文件,没有你要手动创建
Windows下的Spark环境配置(含IDEA创建工程--《Spark大数据技术与应用》第九章-菜品推荐项目)
将winutils.exe文件复制到hadoop的bin目录下面
Windows下的Spark环境配置(含IDEA创建工程--《Spark大数据技术与应用》第九章-菜品推荐项目)
打开cmd
输入

前面半句是你自己的winutils.exe路径,后半句是C盘hive的路径,不要无脑复制

D:\hadoop-2.6.4\bin\winutils.exe chmod 777 C:\tmp\hive

Windows下的Spark环境配置(含IDEA创建工程--《Spark大数据技术与应用》第九章-菜品推荐项目)

4.进行Spark测试

打开cmd
输入

spark-shell

出现这两句话即为成功
Windows下的Spark环境配置(含IDEA创建工程--《Spark大数据技术与应用》第九章-菜品推荐项目)
Windows下的Spark环境配置(含IDEA创建工程--《Spark大数据技术与应用》第九章-菜品推荐项目)


注:一般问题

1.出现CMD出现Spark字母,但是出现如下

Windows下的Spark环境配置(含IDEA创建工程--《Spark大数据技术与应用》第九章-菜品推荐项目)
说明是Hadoop的配置问题。重新看我的过程

2.连字母都出现不了而且scala和spark配置没有问题
说明是JAVA环境问题

三、IDEA引入Spark项目

1.idea按照scala插件


File->Plugins->搜索scala->然后下载按照->重启idea
Windows下的Spark环境配置(含IDEA创建工程--《Spark大数据技术与应用》第九章-菜品推荐项目)

2.新建scala项目

点这个创建
Windows下的Spark环境配置(含IDEA创建工程--《Spark大数据技术与应用》第九章-菜品推荐项目)
java用本地的
Windows下的Spark环境配置(含IDEA创建工程--《Spark大数据技术与应用》第九章-菜品推荐项目)

3.配置项目

在File->Projct structure->Libraies
点击左上角加号
Windows下的Spark环境配置(含IDEA创建工程--《Spark大数据技术与应用》第九章-菜品推荐项目)
点击java引入包
Windows下的Spark环境配置(含IDEA创建工程--《Spark大数据技术与应用》第九章-菜品推荐项目)
找到你下载的Spark文件下面的lib文件点击引入

Windows下的Spark环境配置(含IDEA创建工程--《Spark大数据技术与应用》第九章-菜品推荐项目)
Windows下的Spark环境配置(含IDEA创建工程--《Spark大数据技术与应用》第九章-菜品推荐项目)
再次点击加号,点击scala
点击下方browse按钮
Windows下的Spark环境配置(含IDEA创建工程--《Spark大数据技术与应用》第九章-菜品推荐项目)
找到本地scala的文件引入
Windows下的Spark环境配置(含IDEA创建工程--《Spark大数据技术与应用》第九章-菜品推荐项目)
成功
Windows下的Spark环境配置(含IDEA创建工程--《Spark大数据技术与应用》第九章-菜品推荐项目)

4.新建scala类

Windows下的Spark环境配置(含IDEA创建工程--《Spark大数据技术与应用》第九章-菜品推荐项目)
点击Object,输入类名
Windows下的Spark环境配置(含IDEA创建工程--《Spark大数据技术与应用》第九章-菜品推荐项目)
完成
Windows下的Spark环境配置(含IDEA创建工程--《Spark大数据技术与应用》第九章-菜品推荐项目)文章来源地址https://www.toymoban.com/news/detail-484733.html

到了这里,关于Windows下的Spark环境配置(含IDEA创建工程--《Spark大数据技术与应用》第九章-菜品推荐项目)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • IDEA配置Spark运行环境

    在IDEA中添加scala插件 创建maven项目 并添加scala的sdk 前提 :本地已安装Scala 安装Scala插件(在线) Preferences - Plugins - Browse Repositories - 搜索 scala - install 创建Maven工程 File - New - Project… - Maven - Next 引入Scala框架 所在项目(点击右键) - Add Framework Support… -选择 Scala-点击 OK 相关依赖ja

    2024年02月12日
    浏览(23)
  • IDEA2022 配置spark开发环境

    本人强烈建议在 linux环境下 学习 spark!!! Apache Spark 是一个快速且通用的分布式计算引擎,可以在大规模数据集上进行高效的数据处理,包括数据转换、数据清洗、机器学习等。在本文中,我们将讨论如何在 Windows 上配置 Spark 开发环境,以及如何进行开发和测试等。 为了

    2024年02月10日
    浏览(15)
  • windows环境下的adb配置

    ADB全称Android Debug Bridge, 是android sdk里的一个工具, 用这个工具可以直接操作管 理android模拟器或者真实的andriod设备(如G1手机)。例如有刷机习惯的同学就可以把刷机包下载到电脑上,用adb命令刷到手机上,或者手机上内置不可卸载的app,也可以通过adb命令很方便的卸载。adb指令

    2024年02月15日
    浏览(14)
  • Windows下的CodeBlocks配置Opencv环境

    目录 1.Opencv下载 2.CodeBlocks下载 3.Cmake编译工具下载 4.编译Opencv源码 5.编译OpenCV库文件  (1)方式一  (2)方式二 6.动态链接库文件环境配置 7.CodeBlocks配置 8.编写使用OpenCV例子 9.程序异常终止解决 拓展 提示:建议读者安装或者配置环境变量的路径中最好不要包含任何的特殊

    2024年02月03日
    浏览(27)
  • 【安装】windows环境下的 JDK官网下载 & 安装配置 & 环境变量

    Oracle 甲骨文中国 | 云应用和云平台 选择产品/Java 下载JDK8 点击下载Java 选择Java archive 选择x64位安装包 登录下载 不用安装公共JRE,安装JDK时默认会安装JRE(Java Runtime Environment) JDK: Java D evelopment K it —Java开发环境 JRE: Java R untime E nviroment — Java运行环境 JVM: Java V irtual M achine —

    2024年02月16日
    浏览(26)
  • Windows下配置Hadoop及Spark环境

    教程所用各版本说明 由于项目用的JDK17,所以单独给Hadoop配了JDK11,建议直接配置JAVA_HOME环境变量为JDK11,因为后面Spark需要用到JAVA_HOME 下载JDK11 链接:https://www.oracle.com/java/technologies/javase/jdk11-archive-downloads.html 目前Hadoop和Spark兼容 JDK11 和 JDK8 单独修改Hadoop的话,需要在Hadoop目

    2023年04月20日
    浏览(18)
  • Intellij IDEA编写Spark应用程序的环境配置和操作步骤

    本文介绍如何在win系统中使用IDEA开发spark应用程序,并将其打成jar包上传到虚拟机中的三个Ubuntu系统,然后在分布式环境中运行。 主要步骤包括: 安装Scala插件:在Intellij IDEA中安装Scala插件,并重启IDEA。 创建Maven项目:在Intellij IDEA中创建一个Maven项目,选择Scala语言,并添加

    2024年02月12日
    浏览(26)
  • Node-v14.20.0 Windows下的环境变量配置

    1. Node.js 下载与安装 1.1 下载 Node.js 并一路默认安装到 D:DevEnvnodejs 中 1.2 环境变量配置 1.3 淘宝镜像加速

    2024年02月07日
    浏览(20)
  • 如何在本地搭建Maven环境并整合进IDEA中以及创建web工程?【2023最新版】

    编译软件:IntelliJ IDEA 2019.2.4 x64 操作系统:win10 x64 位 家庭版 Maven版本:apache-maven-3.6.3 使用Maven之前 : 自行在网络中下载iar包,效率较低 。如在谷歌、百度中搜素相关 jar包资源 使用Maven之后 : 统一在一个地址下载jar包等资源 。如使用阿里云镜像服务器下载等.… 使用Mave

    2024年02月02日
    浏览(29)
  • jdk22+maven环境配置教程+idea的maven环境配置(Windows系统)

    jdk是Java开发必要的编程环境,idea是常用的Java开发工具,这里着重解释一下maven。 maven就是我们经常看见的pom.xml文件,maven有以下三点功能: 1.项目构建(可以帮助我们更快速的打包、构建项目) 2.依赖管理,例如我们连接数据库需要的jar包驱动、处理excel表格的驱动等,还有

    2024年04月13日
    浏览(25)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包