使用PyCharm配置Spark的Python开发环境(基础)

发布时间:2019-06-09 发布网站:脚本宝典
脚本宝典收集整理的这篇文章主要介绍了使用PyCharm配置Spark的Python开发环境(基础)脚本宝典觉得挺不错的,现在分享给大家,也给大家做个参考。

在本地搭建好Spark 1.6.0后,除了使用spark-submIT提交Python程序外,我们可以使用Pycharm这个IDE在本地进行开发调试,提升我们的开发效率。配置过程也十分简单,在stackoverflow上搜索到的。同时,IntelliJ IDEA加入Python插件后也可以使用Python开发Spark程序,配置步骤一致。

我的博客原文地址链接:http://blog.tomgou.xyz/shi-yong-pycharmpei-zhi-sparkde-pythonkai-fa-huan-jing.html

0.安装PyCharm和py4j

我的系统环境(Ubuntu 14.04.4 LTS)

下载安装最新版本的PyCharm,官网地址:https://www.jetbrains.com/pycharm/download/

安装步骤:

  • Unpack the pycharm-5.0.4.tar.gz using the following command: tar xfz pycharm-5.0.4.tar.gz

  • Run pycharm.sh From the bin subdirectory

安装py4j:

$ sudo pip install py4j

1.配置Pycharm

打开PyCharm,创建一个PRoject。
然后选择“Run” ->“Edit configurations” ->“environment VARiables”

使用PyCharm配置Spark的Python开发环境(基础)


增加SPARK_HOME目录与PYTHONPATH目录。

  • SPARK_HOME:Spark安装目录

  • PYTHONPATH:Spark安装目录下的Python目录

    使用PyCharm配置Spark的Python开发环境(基础)


2.测试Pycharm

运行一个小的Spark程序看看:

"""SimpleApp"""

from pyspark import SparkContext

LOGFile = "/home/tom/spark-1.6.0/README.md"
sc = SparkContext("local","Simple App")
logData = sc.textFile(logFile).cache()

numAs = logData.filter(lambda s: 'a' in s).count()
numBs = logData.filter(lambda s: 'b' in s).count()

print("Lines with a: %i, lines with b: %i"%(numAs, numBs))

运行结果:

Lines with a: 58, lines with b: 26

脚本宝典总结

以上是脚本宝典为你收集整理的使用PyCharm配置Spark的Python开发环境(基础)全部内容,希望文章能够帮你解决使用PyCharm配置Spark的Python开发环境(基础)所遇到的问题。

如果觉得脚本宝典网站内容还不错,欢迎将脚本宝典推荐好友。

本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ:384754419,请注明来意。