Spark Count函数

2024年12月26日 Spark Count函数 极客笔记

Spark Count函数

在Spark中,Count函数返回数据集中元素的数量。

Count函数示例

在这个示例中,我们计算数据集中存在的元素数量。

  • 使用并行化集合创建RDD。
scala> val data = sc.parallelize(List(1,2,3,4,5))
  • 现在,我们可以使用以下命令来阅读生成的结果。
scala> data.collect

  • 将count()函数应用于计算元素的数量。
scala> val countfunc = data.count()

这里,我们得到了期望的输出。

本文链接:http://so.lmcjl.com/news/20190/

展开阅读全文