Spark中的闭包引用和广播变量

闭包引用 概念 所有编程语言都有闭包的概念，闭包就是在一个函数中引用了函数外的变量。 Spark中，普通的变量是在Driver程序中创建的，RDD的计算是在分布式集群中的task程序上进行的。因此，当分布式算子的函数引用了外部的变量时，Driver会把该变量序列化后通过网络发送给每一个task（只针
posted @ 2024-05-03 19:07  Ji_Lei  阅读(139)  评论(0)  编辑  收藏  举报