大数据内存计算引擎Spark生态圈系统

大数据内存计算引擎Spark生态圈系统

实现高效、可扩展的数据处理和分析

¥99.9
本课程包括
  • 12小时58分钟的视频随时观看
  • 课程包含 5 道测试题
  • 可在APP随时观看
  • 结业证书
你将收获
  • 理解大数据处理的基本原理:Spark是一个大数据处理框架,通过学习Spark,你可以理解大数据处理的基本原理和技术。
  • 掌握Spark的使用:课程可能会教你如何使用Spark进行数据处理和分析,包括使用Spark的核心API、SQL接口以及MLlib、GraphX等库。
  • 理解Spark的架构和内部工作原理:通过学习Spark,你可以理解其架构和内部工作原理,包括其分布式计算模型、任务调度机制、内存管理等。
  • 掌握Spark的性能调优和故障排查:课程可能会教你如何对Spark进行性能调优,以满足高吞吐量、低延迟的需求,并教你如何进行故障排查。
  • 理解Spark生态系统:Spark有一个丰富的生态系统,包括Hadoop、Hive、HBase、Kafka等。通过学习Spark,你可以理解这些组件如何与Spark集成,以及如何在实际应用中使用它们。
浏览相关主题
课程介绍

通过这个课程,你不仅可以学习到Spark的理论知识,也可以通过实践操作,掌握Spark的使用方法。

适合人群
  • 数据科学家和数据分析师:Spark提供了强大的数据处理和分析能力,对于数据科学家和数据分析师来说,学习Spark可以帮助他们更高效地处理和分析大规模数据。
  • 大数据工程师:对于大数据工程师来说,Spark是他们工具箱中的重要工具。Spark不仅可以处理大规模数据,还可以与其他大数据生态系统(如Hadoop、Kafka等)进行集成。
  • 软件工程师和系统工程师:对于软件工程师和系统工程师来说,学习Spark可以帮助他们理解大数据处理的基本原理和技术,对于设计和实现大数据处理系统有很大帮助。
  • 研究人员和学者:对于从事相关研究的人员和学者来说,Spark可以作为一个强大的研究工具,帮助他们处理和分析大规模数据。
  • 对大数据和机器学习感兴趣的人:对于对大数据和机器学习感兴趣的人来说,学习Spark可以帮助他们进一步了解这两个领域的基本原理和技术。
讲师介绍
曾任京东大学大数据学院院长 曾任Oracle中国有限公司高级技术顾问
擅长领域:
  • 大数据系统
  • 数据库
  • 数据挖掘与分析
  • 数据可视化
  • Java
  • Docker
  • K8S
擅长领域:大数据、数据库、云原生、容器技术
课程大纲
共0节 时长0分钟 全部收起
1.离线计算引擎 Spark Core
共22节 | 8小时18分钟
  • 0.课程简介
    15分钟
  • 1.1 Spark 基础
    30分钟
  • 1.2 Spark简介
    17分钟
  • 1.3 Spark的体系架构
    12分钟
  • 1.4 使用Spark-submit提交任务
    13分钟
  • 1.5 Spark HA
    14分钟
  • 1.6 基于文件系统的单点修复
    16分钟
  • 2.1 Spark RDD?
    2小时20分钟
  • 2.2 什么是Spark RDD(1)?
    24分钟
  • 2.3 什么是Spark RDD(2)?
    10分钟
  • 2.4 什么是Spark RDD(3)?
    21分钟
  • 2.5 什么是Spark RDD(4)?
    5分钟
  • 2.6 什么是Spark RDD(5)?
    7分钟
  • 2.7 什么是Spark RDD(6)?
    20分钟
  • 2.8 什么是Spark RDD(7)?
    14分钟
  • 2.9 什么是Spark RDD(8)?
    15分钟
  • 3.1 Spark编程案例(1)
    24分钟
  • 3.2 Spark编程案例(2)
    15分钟
  • 3.3 Spark编程案例(3)
    16分钟
  • 3.4 Spark编程案例(4)
    21分钟
  • 3.5 Spark编程案例(5)
    21分钟
  • 3.6 Spark编程案例(6)
    29分钟
2.数据分析引擎 Spark SQL
共12节 | 2小时32分钟
  • 0.课程简介
    11分钟
  • 1.1 Spark SQL 基础
    12分钟
  • 1.2 什么是Spark SQL(1)?
    26分钟
  • 1.3 什么是Spark SQL(2)?
    9分钟
  • 1.4 什么是Spark SQL(3)?
    7分钟
  • 2.1 Spark SQL 的数据源(1)
    12分钟
  • 2.2 Spark SQL的数据源(2)
    11分钟
  • 2.3 Spark SQL的数据源(3)
    11分钟
  • 3.优化 Spark SQL
    15分钟
  • 4.1 Spark SQL 编程案例(1)
    17分钟
  • 4.2 Spark SQL编程案例(2)
    9分钟
  • 4.3 Spark SQL编程案例(3)
    12分钟
3.流处理引擎Spark Streaming
共10节 | 2小时7分钟
  • 0.课程简介
    8分钟
  • 1.1 Spark Streaming基础(1)
    11分钟
  • 1.2 Spark Streaming基础(2)
    12分钟
  • 1.3 Spark Streaming基础(3)
    13分钟
  • 2.1 Spark Streaming进阶(1)
    9分钟
  • 2.2 Spark Streaming进阶(2)
    22分钟
  • 2.3 Spark Streaming进阶(3)
    13分钟
  • 2.4 Spark Streaming进阶(4)
    19分钟
  • 2.5 Spark Streaming进阶(5)
    14分钟
  • 3.优化 Spark Streaming
    7分钟
测试
共5题
购课须知

课程有效期:

自购买课程之日起 365 天,部分参与营销活动产品以活动规则为准,请同学在有效期内学习、观看课程。

上课模式:

课程采取录播模式,请注意自学课无班级微信群、班主任带班及助教批改服务。

注:自学课不支持退款,确保你是真的需要再进行报名,报完名之后还请认真学习。