資訊專欄INFORMATION COLUMN
摘要：安裝從官網(wǎng)下載最新版本的發(fā)布。安裝完成后可以使用來測試是否安裝成功。在解壓后的目錄使用第一個程序是分析日志，中的。代碼如下中的所有轉(zhuǎn)換都是惰性的，只有發(fā)生一個要求返回結(jié)果給的動作時，這些轉(zhuǎn)換才會被執(zhí)行。資源官網(wǎng)知乎精華答案編程指南版
安裝
從官網(wǎng)下載最新版本的發(fā)布。目前是1.1.0
安裝Java和JDK。安裝完成后可以使用java -version來測試是否安裝成功。
在spark解壓后的目錄使用./sbt/sbt --assembly
Hello World
第一個程序是分析Nginx日志，中的http response code。代碼如下：
from pyspark import SparkContext
logFile = "20141010.log"
sc = SparkContext("local", "Hello Spark")
logData = sc.textFile(logFile).cache()
counts = logData.map(lambda line: line.split()[8]).map(lambda word: (word, 1)).reduceByKey(lambda a, b: a + b)
counts.saveAsTextFile("spark_results")
Debug Shell
./spark-1.1.0/bin/pyspark
Submit File
./bin/spark-submit --master local[4] SimpleApp.py
Notes
Spark中的所有轉(zhuǎn)換都是惰性的，只有發(fā)生一個要求返回結(jié)果給Driver的動作時，這些轉(zhuǎn)換才會被執(zhí)行。
資源
Spark官網(wǎng)
CSDN Spark
知乎精華答案
Spark編程指南（Python）版
文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址：http://systransis.cn/yun/39089.html
摘要：編程指南例子集群模式與如何部署集群模式提交部署應(yīng)用如何監(jiān)控算子如何配置，有哪些配置選項配置大全提示默認(rèn)端口端口調(diào)優(yōu) 編程指南：http://spark.apache.org/docs/... ApiDoc: http://spark.apache.org/docs/... 0、例子 http://spark.apache.org/examp... 1、集群模式與如何部署？ 集...
摘要：學(xué)習(xí)致謝一數(shù)據(jù)數(shù)據(jù)網(wǎng)站二需求針對用戶查詢?nèi)罩緮?shù)據(jù)中不同字段，使用讀取日志數(shù)據(jù)，封裝到數(shù)據(jù)集中，調(diào)用函數(shù)和函數(shù)進(jìn)行處理不同業(yè)務(wù)統(tǒng)計分析三分詞工具測試使用比較流行好用的中文分區(qū)面向生產(chǎn)環(huán)境的自然語言處理工具包，是由一系列模 ...
閱讀 2790·2021-11-02 14:42
閱讀 3173·2021-10-08 10:04
閱讀 1194·2019-08-30 15:55
閱讀 1036·2019-08-30 15:54
閱讀 2327·2019-08-30 15:43
閱讀 1688·2019-08-29 15:18
閱讀 871·2019-08-29 11:11
閱讀 2370·2019-08-26 13:52
