Spark学习之路（八）SparkCore的调优之开发调优

• 2019年06月08日

** Spark学习之路（八）SparkCore的调优之开发调优：** <Excerpt in index | 首页摘要> 在大数据计算领域，Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作，应用范围与前景非常广泛。在美团•大众点评，已经有很多同学在各种项目中尝试使用Spark。大多数同学（包括笔者在内），最初开始尝试使用Spark的原因很简单，主要就是为了让大数据计算作业的执行速度更快、性能更高。然而，通过Spark开发出高性能的大数据计算作业，并不是那么简单的。如果没有对Spark作业进行合理的调优，Spark作业的执行速度可能会很慢，这样就完全体现不出Spark作为一种快速大数据计算引擎的优势来。因此，想要用好Spark，就必须对其进行合理的性能优化。…

Spark学习之路（七）Spark 运行流程

• 2019年06月07日

** Spark学习之路（七）Spark 运行流程：** <Excerpt in index | 首页摘要> Spark学习之路（七）Spark 运行流程…

map与flatMap的区别

• 2019年06月06日

** map与flatMap的区别：** <Excerpt in index | 首页摘要> map与flatMap的区别…

Spark学习之路（五）Spark伪分布式安装

• 2019年06月05日

** Spark学习之路（五）Spark伪分布式安装：** <Excerpt in index | 首页摘要> Spark学习之路（五）Spark伪分布式安装…

Spark学习之路（四）Spark的广播变量和累加器

• 2019年06月04日

** Spark学习之路（四）Spark的广播变量和累加器：** <Excerpt in index | 首页摘要> 在spark程序中，当一个传递给Spark操作(例如map和reduce)的函数在远程节点上面运行时，Spark操作实际上操作的是这个函数所用变量的一个独立副本。这些变量会被复制到每台机器上，并且这些变量在远程机器上的所有更新都不会传递回驱动程序。通常跨任务的读写变量是低效的，但是，Spark还是为两种常见的使用模式提供了两种有限的共享变量：广播变（broadcast variable）和累加器（accumulator）…