成人国产在线小视频_日韩寡妇人妻调教在线播放_色成人www永久在线观看_2018国产精品久久_亚洲欧美高清在线30p_亚洲少妇综合一区_黄色在线播放国产_亚洲另类技巧小说校园_国产主播xx日韩_a级毛片在线免费

資訊專欄INFORMATION COLUMN

CentOS7 install spark+ipython-nodebook

soasme / 691人閱讀

摘要:使用瀏覽器作為界面,向后臺(tái)的服務(wù)器發(fā)送請(qǐng)求,并顯示結(jié)果。本文主要介紹在上安裝流程該文件是用戶登錄時(shí),操作系統(tǒng)定制用戶環(huán)境時(shí)使用的第一個(gè)文件,應(yīng)用于登錄到系統(tǒng)的每一個(gè)用戶。

ipython-nodebook

IPython notebook 目前已經(jīng)成為用 Python 做教學(xué)、計(jì)算、科研的一個(gè)重要工具。

IPython Notebook 使用瀏覽器作為界面,向后臺(tái)的 IPython 服務(wù)器發(fā)送請(qǐng)求,并顯示結(jié)果。

在瀏覽器的界面中使用單元(Cell)保存各種信息。Cell 有多種類型,經(jīng)常使用的有表示格式化文本的 Markdown單元,和表示代碼的 Code單元。


本文主要介紹在 centos7 minimal 上安裝 ipython-nodebook 流程

1. install ifconfig
yum search ifconfig
yum install net-tools.x86_64
2. install vim
yum search vim
yum install vim-enhanced
3. install wget
[libin@centos-linux-1 x]$ yum search wget
Loaded plugins: fastestmirror
Loading mirror speeds from cached hostfile
* base: mirrors.skyshe.cn
* extras: mirrors.163.com
* updates: mirrors.163.com
============================================================================================ N/S matched: wget =============================================================================================
wget.x86_64 : A utility for retrieving files using the HTTP or FTP protocols

 Name and summary matches only, use "search all" for everything.

[libin@centos-linux-1 x]$ yum install wget.x86_64
4. install Jdk
# green install jdk-7u80-linux-x64.gz
# edit /etc/profile add
## libin add ##

### JAVA ###
JAVA_HOME=/home/x/jdk
JAVA_BIN=$JAVA_HOME/bin
PATH=$JAVA_HOME/bin:$PATH
CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/jre/lib/dt.jar:$JAVA_HOME/jre/lib/tools.jar
export JAVA_HOME JAVA_BIN PATH CLASSPATH
"/etc/profile" 86L, 2035C

# /etc/profile:該文件是用戶登錄時(shí),操作系統(tǒng)定制用戶環(huán)境時(shí)使用的第一個(gè)文件,應(yīng)用于登錄到系統(tǒng)的每一個(gè)用戶。 對(duì)所有用戶有效 ##
5. install Scala
# green install scala-2.10.4.tgz
# edit /etc/profile add

### Scala ###
#export SCALA_HOME=/usr/local/xSoft/scala
export SCALA_HOME=/home/x/scala
export PATH=${SCALA_HOME}/bin:$PATH
6. install Spark (Standalone)
green install spark-1.5.2-bin-hadoop2.6.tgz
cp conf/spark-env.sh.template conf/spark-env.sh

edit conf/spark-env.sh add

export JAVA_HOME=/home/x/jdk
export SCALA_HOME=/home/x/scala
export SPARK_HOME=/home/x/spark
export SPARK_MASTER_IP=192.168.181.113
export MASTER=spark://192.168.181.113:7077

export SPARK_EXECUTOR_INSTANCES=2
export SPARK_EXECUTOR_CORES=1

export SPARK_WORKER_MEMORY=1000m
export SPARK_EXECUTOR_MEMORY=300m

export SPARK_LIBRARY_PATH=${SPARK_HOME}/lib

#export SPARK_LAUNCH_WITH_SCALA=0
#export SCALA_LIBRARY_PATH=${SPARK_HOME}/lib


#export SPARK_LIBRARY_PATH=/home/deploy/spark/spark-1.5.2-bin-hadoop2.6/lib
7. install ipython-nodebook

openssh、zlib

yum -y install openssh-clients
yum install zlib

setuptools、pip

tar xvf setuptools-18.1.tar.gz
cd setuptools-18.1
sudo python setup.py build
sudo python setup.py install

tar xvf pip-8.1.0.tar.gz
cd pip-8.1.0
sudo python setup.py build
sudo python setup.py install

ipython、matplotlib

sudo pip install ipython
sudo pip install matplotlib

python-dev、g++

sudo yum install python-devel (如果沒有安裝 python 源代碼,會(huì)報(bào)找不到 Python.h 的頭文件錯(cuò)誤)
sudo yum install gcc-c++

install python-notebook

# 前面install的各種py相關(guān), 為個(gè)這一步

sudo pip install notebook
8. start-up notebook
PYSPARK_DRIVER_PYTHON=ipython PYSPARK_DRIVER_PYTHON_OPTS="notebook --ip=192.168.181.113" /home/x/spark/bin/pyspark

瀏覽器訪問 http://192.168.181.113:8888/notebooks

9. spark-notebook example1
%pylab inline
%matplotlib inline
import numpy as np
import matplotlib.pyplot as plt

data =[33,25,20,12,10]
plt.figure(num=1, figsize=(6,6))
plt.axes(aspect=1)
plt.title("Plot 3", size=14)
plt.pie(data, labels=("Group 1","Group 2","Group 3","Group 4","Group 5"))
plt.savefig("/home/x/spark/test_libin/plot3.png", format="png")

maybe attention point
python -V

#若系統(tǒng)默認(rèn)是python2.6,需要升級(jí)到2.7
tar xvf Python-2.7.tgz
./configure --with-zlib=/usr/include --prefix=/usr/local/python27 --prefix=/usr/local/python27

make
make install
mv /usr/bin/python /usr/bin/python_old
ln -s /usr/local/python27/bin/python /usr/bin/
python
此處已經(jīng)可以正常使用python2.7了
但是因?yàn)閥um是使用的2.6的版本來用的,所以 還需要修改一下
[root@wangyuelou Python-2.7.2]# vim /usr/bin/yum
#!/usr/bin/python   #修改此處為2.6的位置

文章版權(quán)歸作者所有,未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為,您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請(qǐng)注明本文地址:http://systransis.cn/yun/37817.html

相關(guān)文章

  • hue 3.12 安裝及組件配置

    摘要:安裝示例基于安裝安裝前需要安裝大量的軟件和包,因?yàn)楹捅仨毜囊蕾嚢惭b中依賴包所需依賴包依賴包致命錯(cuò)誤找不到的問題解決沒有那個(gè)文件或目錄沒有那個(gè)文件或目錄依賴包的安裝這邊沒有分先后順序基本都會(huì)使 Hue 安裝 示例基于Centos7安裝Hue,安裝前需要安裝大量的軟件和包,因?yàn)閜ython和c必須的依賴包 安裝Centos7中Hue依賴包 yum install ant gcc g++...

    itvincent 評(píng)論0 收藏0
  • 配置openvpn訪問USDP集群 智能大數(shù)據(jù)平臺(tái) USDP

    摘要:配置訪問集群配置訪問集群配置訪問集群本篇目錄服務(wù)端服務(wù)端客戶端客戶端大數(shù)據(jù)客戶端大數(shù)據(jù)客戶端為保障云端大數(shù)據(jù)集群環(huán)境安全,防止受到來自互聯(lián)網(wǎng)的攻擊病毒等威脅而帶來的侵害和數(shù)據(jù)安全隱患,建議您在使用云端服務(wù)時(shí),能對(duì)云端環(huán)境配置相對(duì)嚴(yán)苛 配置openvpn訪問USDP集群本篇目錄VPN服務(wù)端VPN客戶端大數(shù)據(jù)客戶端為保障云端大數(shù)據(jù)集群環(huán)境安全,防止受到來自互聯(lián)網(wǎng)的攻擊、病毒等威脅而帶來的侵害和數(shù)...

    ernest.wang 評(píng)論0 收藏2893

發(fā)表評(píng)論

0條評(píng)論

最新活動(dòng)
閱讀需要支付1元查看
<