type
Post
status
Published
date
Jun 18, 2023
slug
summary
tags
累加器
category
Spark
icon
password

实现原理

累加器用来把 Executor 端变量信息聚合到 Driver 端。在 Driver 程序中定义的变量,在 Executor 端的每个 Task 都会得到这个变量的一份新的副本,每个 task 更新这些副本的值后, 传回 Driver 端进行 merge。

基础编程

系统累加器

自定义累加器

多线程与GILUDF/UDAF
Loading...