企业🤖AI Agent构建引擎,智能编排和调试,一键部署,支持私有化部署方案 广告
## spark广播变量及其原理:   当在Executor端用到了Driver变量,不使用广播变量,在每个Executor中有多少个task就有多少个Driver端变量副本。如果使用广播变量在每个Executor端中只有一份Driver端的变量副本。广播变量在Driver定义,在Exector端不可改变,在Executor端不能定义   原理:实际上就是Executor端用到了driver端的变量,如果在executor端你使用到了driver端的广播变量,如果不使用广播变量,在每个executor中有多少task就有多少变量副本。使用了广播变量,实际上就是为了减少executor端的备份,最终减少executor端的内存。