脚本宝典收集整理的这篇文章主要介绍了spark能跑Python么，脚本宝典觉得挺不错的，现在分享给大家，也给大家做个参考。

@H_406_2@

spark能跑Python么？

spark是可以跑Python程序的。python编写好的算法，或者扩展库的，比如sklearn都可以在spark上跑。直接使用spark的MLlib也是可以的，大部分算法都有。

Spark 是一个通用引擎，可用它来完成各种各样的运算，包括 SQL 查询、文本处理、机器学习等。

本次实验是搭有spark环境的linux下跑的，spark版本为1.6.1，相当于在在spark本地执行，spark文件放在/opt/moudles/spark-1.6.1/（代码中会看到）

编写python测试程序

#test.py文件
# -*- coding:utf-8 -*-
import os
import Sys
#配置环境变量并导入pyspark
os.environ['SPARK_HOME'] = r'/opt/moudles/spark-1.6.1'
sys.path.apPEnd("/opt/moudles/spark-1.6.1/python")
sys.path.append("/opt/moudles/spark-1.6.1/python/lib/py4j-0.9-src.zip")
From pyspark import SparkContext, SparkConf
appName ="spark_1" #应用程序名称
master= "spark://hadoop01:7077"#hadoop01为主节点hostname，请换成自己的主节点主机名称
conf = SparkConf().setAppName(appName).setMaster(master)
sc = SparkContext(conf=conf)
data = [1, 2, 3, 4, 5]
distData = sc.parallelize(data)
res = distData.reduce(lambda a, b: a + b)
PRint("===========================================")
print (res)
print("===========================================")

执行python程序

执行如下命令

python test.py

执行与结果分别如下图所示：

以上就是spark能跑Python么的详细内容，更多请关注脚本宝典其它相关文章！

脚本宝典总结

以上是脚本宝典为你收集整理的spark能跑Python么全部内容，希望文章能够帮你解决spark能跑Python么所遇到的问题。

如果觉得脚本宝典网站内容还不错，欢迎将脚本宝典推荐好友。

本图文内容来源于网友网络收集整理提供，作为学习参考使用，版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ：384754419，请注明来意。