前途微信公众号
前途微信公众号
前途微信公众号
下载前途APP
返回顶部
前途微信公众号
前途微信公众号
前途微信公众号
下载前途APP
返回顶部
【公开课】大数据spark入门到精通(三)
信息科技
收藏
2020-09-07
43集
61.4、常用算子练习1-1
62.5、常用算子练习2-1
63.1、案例需求-求用户在某基站停留的时间-1
64.2、案例实现-求用户在某基站停留的时间-1
65.3、案例实现-求用户访问学科的子网页top3-1
66.4、案例实现-求用户访问学科的子网页top3-chache、自定义分区器-
67.1、spark集群启动流程-1
68.2、spark任务提交流程-1
69.3、wordcount中创建了那些rdd-1
70.4、案例分析实现-按照ip统计区域访问量-1
71.1、rdd之间的依赖关系-1
72.2、dag的生成和stage的划分-1
73.3、webui观察stage划分和任务的生成-1
74.4、自定义二次排序-1
75.1、checkpoint-1
76.2、sparksql介绍-1
77.3、创建dataframe-1
78.4、dataframe常用操作-dsl风格语法-1
79.5、dataframe常用操作-sql风格语法-1
80.6、通过反射推断schema-1
81.7、通过structtype直接指定schema-
82.8、hive-on-spark-1
83.1、sparkstreaming简介-1
84.2、实例分析:sparkstreaming获取netcat产生的数据进行实
85.3、sparkstreaming实现按批次累加-1
86.4、窗口函数概念及使用场景-1
87.5、窗口函数实现wordcount-1
88.6、spark-on-yarn-1
89.7、补充:sparkstreaming依赖-1
90.1、关于查看源码的一些介绍-1
91.2、导入源码-1
92.3、集群启动流程-master类-1
93.4、集群启动流程-worker类-1
94.5、sparksubmit提交任务-1
95.6、sparkcontext-1
96.7、创建driveractor和clientactor的过程-1
97.8、clientactor向master注册任务信息过程-1
98.9、任务调度的两种方式及master通知worker启动executor的
99.10、executor向driveractor反向注册的过程-1
100.11、rdd生成和stage划分-1
101.12、生成任务并提交-1
102.13、task任务执行流程-1
103.14、总结-任务生成及提交流程-1
长期致力于解决工作者数据获取痛点、助力工作者执行决策 结合个人提升和组织管理能力,全面助力行业效能发展
快速导航