SparkCore

本教程详细介绍了PySpark中SparkCore的RDD持久化和Checkpoint功能，重点讲解了缓存和检查点的作用、如何进行缓存、如何设置检查点目录以及它们之间的区别。还提供了join操作的示例和Spark算子补充知识。

        RDD（ Resilient Distributed Dataset ）叫做弹性分布式数据集 ，是Spark中最基本的数据抽象。         代码中是一个抽象类，它代表一个弹性的、不可变、可分区、里面的元素可并行计算的集合。 RDD代表的是 弹性、可分区、不可变、元素可并行计算 的计算。 1. 弹性

三大数据结构分别是： ➢ RDD : 弹性分布式数据集 ➢ 累加器：分布式共享只写变量 ➢ 广播变量：分布式共享只读变量 RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是 Spark 中最基本的 数据处理模型 。 代码中是一个抽象类，它代表一个弹性的、不可变、可分区、里面

1、Master(standalone):资源管理的主节点（进程） 2、Cluster Manager:在集群上获取资源的外部服务(例如：standalone,Mesos,Yarn) 3、Worker Node(standalone):资源管理的从节点(进程)或者说管理本机资源的进程 4、Driver Program:用于连接工作进程(Worker)的程序 5、Executor:是一个worker进程所管理的节点

1需求分析： 根据数据文件对数据进行分析，完成如下功能： （1）查询学生成绩表中的前5名； （2）输出单科成绩为100分的学生ID； （3）输出每位学生所有科目的总成绩。 2数据源（bigdata.txt，math.txt，student.txt） 3代码实现 （1）查询学生成绩表中的前5名；这里指的是单科成

PySpark实现SouGou统计分析 jieba分词： pip install jieba 从哪里下载pypi 三种分词模式 精确模式，试图将句子最精确地切开，适合文本分析；默认的方式 全模式，把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义； 搜索引擎模式，在精确模式的基础上，对

本教程详细介绍了PySpark中SparkCore的RDD持久化和Checkpoint功能，重点讲解了缓存和检查点的作用、如何进行缓存、如何设置检查点目录以及它们之间的区别。还提供了join操作的示例和Spark算子补充知识。

视频地址：尚硅谷大数据Spark教程从入门到精通_哔哩哔哩_bilibili 尚硅谷大数据技术Spark教程-笔记01【SparkCore（概述、快速上手、运行环境、运行架构）】 尚硅谷大数据技术Spark教程-笔记02【SparkCore（核心编程，RDD-核心属性-执行原理-基础编程-并行度与分区-转换算子）】 尚硅

前言：今天是温习 Spark 的第 2 天啦！主要梳理了 Spark 核心数据结构：RDD(弹性分布式数据集)，其中包括基于内存计算的 SparkCore 各类技术知识点希望对大家有帮助！ Tips：\\\"分享是快乐的源泉💧，在我的博客里，不仅有知识的海洋🌊，还有满满的正能量加持💪，快来和我一起