type
Post
status
Published
date
Jun 12, 2023
slug
summary
tags
UDF
UDAF
category
Spark
icon
password

UDF

  1. 创建 DataFrame
  1. 注册UDF
  1. 创建临时表
  1. 应用UDF

UDAF

强类型的 Dataset 和弱类型的 DataFrame 都提供了相关的聚合函数, 如 count(), countDistinct(),avg(),max(),min()。除此之外,用户可以设定自己的自定义聚合函数。通 过继承 UserDefinedAggregateFunction 来实现用户自定义弱类型聚合函数。从 Spark3.0 版本 后,UserDefinedAggregateFunction 已经不推荐使用了。可以统一采用强类型聚合函数 Aggregator
需求:计算平均工资
一个需求可以采用很多种不同的方法实现需求
  1. 实现方式 - RDD
  1. 实现方式 - 累加器
  1. 实现方式 - UDAF - 弱类型
  1. 实现方式 - UDAF - 强类型
Spark3.0 版本可以采用强类型的 Aggregator 方式代替 UserDefinedAggregateFunction
Spark累加器SparkSQL数据的加载和保存
Loading...
目录
0%