使用PyCharm配置Spark的Python開發(fā)環(huán)境（基礎(chǔ)）

madthumb 發(fā)布于2019-07-24 18:29 / 2356人閱讀

摘要：在本地搭建好后，除了使用提交程序外，我們可以使用這個(gè)在本地進(jìn)行開發(fā)調(diào)試提升我們的開發(fā)效率。配置過(guò)程也十分簡(jiǎn)單，在上搜索到的。同時(shí)，加入插件后也可以使用開發(fā)程序，配置步驟一致。安裝步驟安裝配置打開，創(chuàng)建一個(gè)。

在本地搭建好Spark 1.6.0后，除了使用spark-submit提交Python程序外，我們可以使用PyCharm這個(gè)IDE在本地進(jìn)行開發(fā)調(diào)試,提升我們的開發(fā)效率。配置過(guò)程也十分簡(jiǎn)單，在stackoverflow上搜索到的。同時(shí)，IntelliJ IDEA加入Python插件后也可以使用Python開發(fā)Spark程序，配置步驟一致。

我的博客原文地址鏈接：http://blog.tomgou.xyz/shi-yong-pycharmpei-zhi-sparkde-pythonkai-fa-huan-jing.html

0.安裝PyCharm和py4j

我的系統(tǒng)環(huán)境（Ubuntu 14.04.4 LTS）

下載安裝最新版本的PyCharm，官網(wǎng)地址：https://www.jetbrains.com/pycharm/download/ 。

安裝步驟：

Unpack the pycharm-5.0.4.tar.gz using the following command: tar xfz pycharm-5.0.4.tar.gz

Run pycharm.sh from the bin subdirectory

安裝py4j：

$ sudo pip install py4j

1.配置Pycharm

打開PyCharm，創(chuàng)建一個(gè)Project。
然后選擇“Run” ->“Edit Configurations” ->“Environment variables”

增加SPARK_HOME目錄與PYTHONPATH目錄。

SPARK_HOME:Spark安裝目錄

PYTHONPATH:Spark安裝目錄下的Python目錄

2.測(cè)試Pycharm

運(yùn)行一個(gè)小的Spark程序看看：

"""SimpleApp"""

from pyspark import SparkContext

logFile = "/home/tom/spark-1.6.0/README.md"
sc = SparkContext("local","Simple App")
logData = sc.textFile(logFile).cache()

numAs = logData.filter(lambda s: "a" in s).count()
numBs = logData.filter(lambda s: "b" in s).count()

print("Lines with a: %i, lines with b: %i"%(numAs, numBs))

運(yùn)行結(jié)果：

Lines with a: 58, lines with b: 26

云服務(wù)器 GPU云服務(wù)器 pycharm 配置python環(huán)境 python開發(fā)環(huán)境配置 java開發(fā)環(huán)境的配置 linux系統(tǒng) 如何配置java系統(tǒng)的開發(fā)環(huán)境

文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請(qǐng)注明本文地址：http://systransis.cn/yun/37777.html

相關(guān)文章

如何在pycharm中配置Spark

摘要：因?yàn)樽鳂I(yè)要用到這個(gè)和就著手開始配置，但是搜了一圈還是發(fā)現(xiàn)了不少雷。如右上角所示，選擇。設(shè)置環(huán)境，創(chuàng)建和配置路徑如圖所示，都可以在安裝路徑下找到選擇你的右上角添加和的路徑這兩個(gè)文件都在中的文件夾下，自己找一下保存，因?yàn)樽鳂I(yè)要用到這個(gè)SPARK和python, 就著手開始配置，但是搜了一圈還是發(fā)現(xiàn)了不少雷。就把我自己的解決辦法發(fā)上來(lái)：打開pycharm,導(dǎo)入已有的或者新建工程。2.創(chuàng)建...

Bmob 2019-07-31 10:55 評(píng)論0 收藏0
工欲善其事必先利其器：用什么寫Python？

摘要：然而，每個(gè)人對(duì)編輯器的喜好各不相同，甚至引發(fā)出諸如神的編輯器與編輯器之神這種信仰之爭(zhēng)。我們用來(lái)寫的工具有兩類一種是被稱為的集成開發(fā)環(huán)境，它們?yōu)殚_發(fā)而生。但僅我上述提及的幾個(gè)其實(shí)也足夠用了。正如標(biāo)題所說(shuō)工欲善其事，必先利其器。通常來(lái)說(shuō)，每個(gè)程序員都有自己趁手的兵器：代碼編輯器。你要是讓他換個(gè)開發(fā)環(huán)境，恐怕開發(fā)效率至少下降三成。然而，每個(gè)人對(duì)編輯器的喜好各不相同，甚至引發(fā)出諸如神的編...

Brenner 2019-07-31 11:16 評(píng)論0 收藏0
使用Docker開發(fā)Django項(xiàng)目

摘要：背景當(dāng)多個(gè)項(xiàng)目且某些包無(wú)法兼容時(shí)，通常我們使用虛擬環(huán)境即可解決。但事實(shí)上不僅僅只能用于線上應(yīng)用部署，我們的開發(fā)調(diào)試環(huán)境也可以使用。背景當(dāng)多個(gè)Python項(xiàng)目且某些包無(wú)法兼容時(shí)，通常我們使用虛擬環(huán)境即可解決。但是在團(tuán)隊(duì)中多個(gè)環(huán)境其實(shí)相對(duì)比較固定了，較少變更，如果換電腦或者新人加入需要重新一個(gè)一個(gè)配置虛擬環(huán)境并安裝相應(yīng)的包，會(huì)耗費(fèi)很多時(shí)間，而且由于重新安裝的包依賴可能會(huì)有版本變更導(dǎo)致...

MASAILA 2019-06-28 16:56 評(píng)論0 收藏0
使用Docker開發(fā)Django項(xiàng)目

摘要：背景當(dāng)多個(gè)項(xiàng)目且某些包無(wú)法兼容時(shí)，通常我們使用虛擬環(huán)境即可解決。但事實(shí)上不僅僅只能用于線上應(yīng)用部署，我們的開發(fā)調(diào)試環(huán)境也可以使用。背景當(dāng)多個(gè)Python項(xiàng)目且某些包無(wú)法兼容時(shí)，通常我們使用虛擬環(huán)境即可解決。但是在團(tuán)隊(duì)中多個(gè)環(huán)境其實(shí)相對(duì)比較固定了，較少變更，如果換電腦或者新人加入需要重新一個(gè)一個(gè)配置虛擬環(huán)境并安裝相應(yīng)的包，會(huì)耗費(fèi)很多時(shí)間，而且由于重新安裝的包依賴可能會(huì)有版本變更導(dǎo)致...

lentoo 2019-07-30 18:42 評(píng)論0 收藏0
Python開發(fā)工具之Pycharm最新安裝教程

摘要：開發(fā)工具之最新安裝教程可以說(shuō)是一款進(jìn)行開發(fā)功能強(qiáng)大的編輯器。鑒于近期很少有關(guān)最新版本的安裝教程，為了能夠幫助剛剛學(xué)習(xí)的朋友們。另外一個(gè)是社區(qū)版可以進(jìn)行純的開發(fā)，免費(fèi)試用無(wú)需付費(fèi)。 Python開發(fā)工具之Pycharm最新安裝教程 Pycharm可以說(shuō)是一款進(jìn)行Python開發(fā)功能強(qiáng)大的編輯器...

klinson 2021-11-11 16:54 評(píng)論0 收藏0