資訊專欄INFORMATION COLUMN
摘要：開發(fā)指南開發(fā)指南開發(fā)指南如果使用進(jìn)行機(jī)器學(xué)習(xí)方面的數(shù)據(jù)分析，需要在集群上安裝一些依賴包。以版本為例，安裝方法如下是一款專為科學(xué)和工程設(shè)計(jì)的工具包。以版本為例，安裝方法如下是下，專門面向機(jī)器學(xué)習(xí)的工具包。
developer/pythondev.md
如果使用pyspark進(jìn)行機(jī)器學(xué)習(xí)方面的數(shù)據(jù)分析，需要在集群上安裝一些python依賴包。這里將介紹常用的幾個(gè)依賴包的安裝方法。更多的依賴包下載及安裝，可以參考PyPI網(wǎng)站。
1. NumPy因?yàn)椴糠忠蕾嚢恢С?.6版本。所以，以下所有安裝均以Python2.7為例。建議將集群上的Python升級(jí)到2.7版本。
NumPy一個(gè)用python實(shí)現(xiàn)的科學(xué)計(jì)算包，可用來存儲(chǔ)和處理大型矩陣，比Python自身的嵌套列表結(jié)構(gòu)要高效的多。
最新版NumPy可以在PyPI網(wǎng)站搜索到。
以numpy-1.12.0版本為例，安裝方法如下：
unzip numpy-1.12.0.zip
cd numpy-1.12.0
python setup.py installSciPy是一款專為科學(xué)和工程設(shè)計(jì)的Python工具包。
最新版SciPy可以在PyPI網(wǎng)站搜索到。
在安裝Scipy前，需要先安裝好NumPy。
以scipy-0.18.1版本為例，安裝方法如下：
tar zxf scipy-0.18.1.tar.gz
cd scipy-0.18.1
python setup.py installScikit-Learn是SciPy下，專門面向機(jī)器學(xué)習(xí)的工具包。
最新版Scikit-Learn可以在PyPI網(wǎng)站搜索到。
在安裝Scikit-Learn前，需要先安裝好NumPy和Scipy。
以scikit-learn-0.18.1版本為例，安裝方法如下：
tar zxf scikit-learn-0.18.1.tar.gz
cd scikit-learn-0.18.1
python setup.py installSymPy是Python的數(shù)學(xué)符號(hào)計(jì)算庫，用它可以進(jìn)行數(shù)學(xué)公式的符號(hào)推導(dǎo)。
最新版SymPy可以在PyPI網(wǎng)站搜索到。
以sympy-1.0版本為例，安裝方法如下：
tar zxf sympy-1.0.tar.gz
cd sympy-1.0
python setup.py installPandas (Python Data Analysis Library)是基于NumPy的解決數(shù)據(jù)分析任務(wù)的一種工具。
最新版Pandas可以在PyPI網(wǎng)站搜索到。
以pandas-0.19.2版本為例，安裝方法如下：
tar zxf pandas-0.19.2.tar.gz
cd pandas-0.19.2
python setup.py installMatplotlib是Python常用的繪圖庫，它提供了一整套和matlab相似的命令A(yù)PI，十分適合交互式地進(jìn)行制圖。
最新版Matplotlib可以在PyPI網(wǎng)站搜索到。
以matplotlib-2.0.0版本為例，安裝方法如下：
yum install libpng-devel libpng -y
tar zxf matplotlib-2.0.0.tar.gz
cd matplotlib-2.0.0
python setup.py installMySQLdb是Python提供的連接MySQL的接口。
最新版MySQLdb可以在PyPI網(wǎng)站搜索到。
以MySQL-python-1.2.5版本為例，安裝方法如下：
yum install python-pip python-devel mysql-devel zlib-devel openssl-devel -y
unzip MySQL-python-1.2.5.zip
cd MySQL-python-1.2.5
python setup.py install文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請(qǐng)注明本文地址：http://systransis.cn/yun/126892.html
摘要：也可以將托管集群設(shè)置為快捷方式，通過左側(cè)快捷方式菜單欄點(diǎn)擊進(jìn)入?？蚣芗褐袃H部署。用于做存儲(chǔ)集群，有專屬的節(jié)點(diǎn)機(jī)型。節(jié)點(diǎn)管理節(jié)點(diǎn)，負(fù)責(zé)協(xié)調(diào)整個(gè)集群服務(wù)。目前僅節(jié)點(diǎn)支持綁定。通過云主機(jī)內(nèi)網(wǎng)進(jìn)行登錄。登錄密碼為集群創(chuàng)建時(shí)設(shè)置的密碼。 快速上手本篇目錄創(chuàng)建集群提交任務(wù)本文檔將帶領(lǐng)您如何創(chuàng)建UHadoop集群，并使用UHadoop集群完成數(shù)據(jù)處理任務(wù)。創(chuàng)建集群本章簡(jiǎn)單介紹了用戶使用UHadoop服務(wù)...
Python如何為Python安裝新的庫？1.yum安裝可以使用yum search命令來查找具體的包名稱 請(qǐng)確認(rèn)ucloud源上的版本是否和預(yù)期的版本一致 2.pip安裝如果本地源上面沒有，yum和pip都可以通過設(shè)置代理來通過有外網(wǎng)權(quán)限的機(jī)器來下載參考yum設(shè)置代理和pip設(shè)置代理3.源碼安裝可以在PyPI網(wǎng)站搜索需要的依賴包。下載后解壓，并執(zhí)行python setup.py install來...
摘要：創(chuàng)建任務(wù)創(chuàng)建任務(wù)選擇這個(gè)標(biāo)簽拖動(dòng)到中。頁面權(quán)限控制頁面權(quán)限控制頁面權(quán)限控制點(diǎn)擊管理用戶組選擇要修改的組名稱，設(shè)置相應(yīng)權(quán)限并保存 Hue開發(fā)指南本篇目錄1. 配置工作流2. Hue頁面權(quán)限控制Hue是面向 Hadoop 的開源用戶界面，可以讓您更輕松地運(yùn)行和開發(fā) Hive 查詢、管理 HDFS 中的文件、運(yùn)行和開發(fā) Pig 腳本以及管理表。服務(wù)默認(rèn)已經(jīng)啟動(dòng)，用戶只需要配置外網(wǎng)IP，在防火墻中配...
.png?v=1644489545)
摘要：架構(gòu)架構(gòu)元數(shù)據(jù)管理元數(shù)據(jù)管理元數(shù)據(jù)管理創(chuàng)建集群時(shí)可在控制臺(tái)開啟元數(shù)據(jù)獨(dú)立管理。若項(xiàng)目中已開啟過元數(shù)據(jù)獨(dú)立管理，則新集群開啟該功能時(shí)，不再創(chuàng)建新的，而是將新集群的元數(shù)據(jù)存儲(chǔ)于已有的中。 元數(shù)據(jù)管理本篇目錄介紹產(chǎn)品架構(gòu)元數(shù)據(jù)管理介紹UHadoop 支持將 Hive-Metastore 的數(shù)據(jù)庫獨(dú)立于 Hadoop 集群部署，也支持多個(gè)集群訪問同一個(gè) Hive 元數(shù)據(jù)庫，可在控制臺(tái)對(duì)其做管理。產(chǎn)品...
摘要：查看上的歷史日志查看上的歷史日志任務(wù)的日志在任務(wù)運(yùn)行結(jié)束之后會(huì)上傳到上，當(dāng)日志文件過大無法通過來查看時(shí)，可以通過將日志文件從上下載下來查看。掛載在允許的主機(jī)上執(zhí)行 常用操作本篇目錄應(yīng)用的Web接口查看日志配置NFS掛載hdfs到本地應(yīng)用的Web接口Hadoop 提供了基于 Web 的用戶界面，可通過它查看您的 Hadoop 集群。Web 服務(wù)會(huì)在主節(jié)點(diǎn)上運(yùn)行（Active NameNode或...
閱讀 454·2024-11-07 18:25
閱讀 130762·2024-02-01 10:43
閱讀 944·2024-01-31 14:58
閱讀 904·2024-01-31 14:54
閱讀 83006·2024-01-29 17:11
閱讀 3264·2024-01-25 14:55
閱讀 2058·2023-06-02 13:36
閱讀 3167·2023-05-23 10:26
