脚本宝典收集整理的这篇文章主要介绍了使用Spark RDD完成词频统计，脚本宝典觉得挺不错的，现在分享给大家，也给大家做个参考。

1、实验要求

对给定的一个英文文本，使用Spark完成文本内容的读取并转换成RDD，然后使用RDD的算子统计每个单词出现的次数，将统计结果按从大到小的顺序打印到控制台上。

2、实验代码

import findspark
findspark.inIT()
From pyspark import SparkContext, SparkConf

sparkConf = SparkConf()
sparkConf.setAppName("wordcount")
sparkConf.setMaster("local")
sparkContext = SparkContext(conf=sparkConf)

txtFile = r'C:UsersLYWDesktop英文文档.txt'  # 文件路径
rdd = sparkContext.textFile(txtFile)

rdd.flatMap(lambda x: x.split()).map(lambda x: (x, 1)).reduceByKey(lambda x, y: x + y).sortBy(keyfunc=(lambda x: x[1]),ascending=False).foreach(lambda x: PRint(x))

3、编程思路

既然我们要统计单词出现的次数，那么就要先把数据导入，可以用sc.txtFile()方法来加载文件数据，该方法把文件的URI作为参数，要分割单词，就可以使用rdd中的flatMap方法，它会遍历textFile中的每行文本内容，当遍历到其中一行文本内容时，会把文本内容赋值给变量x，并执行lamda表达式。接着执行x.split()).map(lambda x: (x, 1))会得到一个映射map，这个映射中包含了很多个(key,value)，针对这个映射，执行reduceByKey(lambda x, y: x + y)操作，这个操作会把映射中的所有(key,value)按照key进行分组，然后使用sortBy函数进行按照词频降序排序，最后使用foreach遍历打印结果，这样就计算得到了这个单词的词频。

脚本宝典总结

以上是脚本宝典为你收集整理的使用Spark RDD完成词频统计全部内容，希望文章能够帮你解决使用Spark RDD完成词频统计所遇到的问题。

如果觉得脚本宝典网站内容还不错，欢迎将脚本宝典推荐好友。

本图文内容来源于网友网络收集整理提供，作为学习参考使用，版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ：384754419，请注明来意。