成人国产在线小视频_日韩寡妇人妻调教在线播放_色成人www永久在线观看_2018国产精品久久_亚洲欧美高清在线30p_亚洲少妇综合一区_黄色在线播放国产_亚洲另类技巧小说校园_国产主播xx日韩_a级毛片在线免费

資訊專欄INFORMATION COLUMN

SQLflow:基于python開(kāi)發(fā)的分布式機(jī)器學(xué)習(xí)平臺(tái), 支持通過(guò)寫(xiě)sql的方式,運(yùn)行spark,

legendaryedu / 3009人閱讀

摘要：主頁(yè)腳本頁(yè)面單頁(yè)面注意下載文件配置中的路徑。一個(gè)簡(jiǎn)單的操作集群的是不是很簡(jiǎn)單。正在新增版深度學(xué)習(xí)功能謝謝支持。

簡(jiǎn)書(shū)博客: https://www.jianshu.com/u/3fe... 百度云搜索：http://www.lqkweb.com 搜網(wǎng)盤(pán)：http://www.swpan.cn 淘寶券搜索：http://www.wodecai.cn 淘寶券：http://www.tbquan.cn 你我搜：http://www.niwosou.cn 開(kāi)源Flask+Bootstrap網(wǎng)址導(dǎo)航: http://hao.tbquan.cn

開(kāi)發(fā)交流QQ群: 941879291

SQLflow (python3.6)

SQLflow based on python development, support to Spark, as the underlying distributed computing engine, through a set of unified configuration file to complete the batch, flow calculation, the Rest service development.

2019-03-26 更新后臺(tái)路由,前端抽取base模板并更新使用ajax方式執(zhí)行sql語(yǔ)句

主頁(yè)：






結(jié)果頁(yè)：




SQLflow

SQLflow 基于python開(kāi)發(fā), 支持通過(guò)寫(xiě)sql的方式操作分布式集群, 數(shù)據(jù)處理, 機(jī)器學(xué)習(xí)、深度學(xué)習(xí)模型訓(xùn)練, 模型部署, 分布式爬蟲(chóng), 數(shù)據(jù)可視化等。

Build

python3.6

git clone https://github.com/lqkweb/sql...

pip install -r requirements.txt

python manage.py

主頁(yè)：http://127.0.0.1:5000
腳本頁(yè)面：http://127.0.0.1:5000/script
單sql頁(yè)面：http://127.0.0.1:5000/sql

【注意：1、下載apache spark文件配置manage.py中的SPARK_HOME路徑。2、data.csv是放到sqlflow/data目錄中】

Usage

在腳本執(zhí)行頁(yè)面：http://127.0.0.1:5000/script 輸入 select from A limit 3; 或者 select from A limit 3 as B; 生成臨時(shí)表A或者B

生成臨時(shí)表A數(shù)據(jù):

select * from A limit 3;

生成臨時(shí)表B數(shù)據(jù):

select * from A limit 3 as B;

打開(kāi)單sql執(zhí)行頁(yè)面：http://127.0.0.1:5000/sql, 直接就可以用spark sql任意語(yǔ)法操作數(shù)據(jù)表A和數(shù)據(jù)表B了:

desc A
select * from A limit 2
select * from B limit 2

[注] "as B" 相當(dāng)于創(chuàng)建了一個(gè) B 臨時(shí)表。

一個(gè)簡(jiǎn)單的sql操作spark集群的Demo,是不是很簡(jiǎn)單。

[附] sparksql doc: https://spark.apache.org/docs...

還有更多sql版黑科技，sql版scikitlearn, sqlspider, sqlcharts, sqlkeras深度學(xué)習(xí)平臺(tái)正在內(nèi)測(cè)中！ 正在新增sql版機(jī)器學(xué)習(xí)算法功能, 謝謝支持。 正在新增sql版爬蟲(chóng)功能, 謝謝支持。 正在新增sql版數(shù)據(jù)可視化功能, 謝謝支持。 正在新增sql版keras深度學(xué)習(xí)功能, 謝謝支持。 記得給個(gè)star鼓勵(lì)一下！Thanks?(?ω?)?

文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請(qǐng)注明本文地址：http://systransis.cn/yun/43201.html

相關(guān)文章

  • PySpark SQL 相關(guān)知識(shí)介紹

    摘要：大數(shù)據(jù)除了體積和速度外，數(shù)據(jù)的多樣性和準(zhǔn)確性也是大數(shù)據(jù)的一大特點(diǎn)。這些也被稱為大數(shù)據(jù)的特征。介紹是一個(gè)解決大數(shù)據(jù)問(wèn)題的分布式可伸縮的框架。介紹計(jì)算的模型最早出現(xiàn)在谷歌的一篇研究論文中。相關(guān)鏈接介紹是一個(gè)通用的分布式編程框架。 本文作者：foochane?本文鏈接：https://foochane.cn/article/2019060601.html 1 大數(shù)據(jù)簡(jiǎn)介 大數(shù)據(jù)是這個(gè)時(shí)代最...

    CoderStudy 評(píng)論0 收藏0

  • Spark 快速入門(mén)

    摘要：數(shù)據(jù)科學(xué)任務(wù)主要是數(shù)據(jù)分析領(lǐng)域，數(shù)據(jù)科學(xué)家要負(fù)責(zé)分析數(shù)據(jù)并建模，具備統(tǒng)計(jì)預(yù)測(cè)建模機(jī)器學(xué)習(xí)等方面的經(jīng)驗(yàn)，以及一定的使用或語(yǔ)言進(jìn)行編程的能力。監(jiān)控運(yùn)行時(shí)性能指標(biāo)信息。 Spark Spark 背景 什么是 Spark 官網(wǎng)：http://spark.apache.org Spark是一種快速、通用、可擴(kuò)展的大數(shù)據(jù)分析引擎，2009年誕生于加州大學(xué)伯克利分校AMPLab，2010年開(kāi)源，20...

    wangshijun 評(píng)論0 收藏0

  • 道器相融，由Angel論一個(gè)優(yōu)秀機(jī)器學(xué)習(xí)平臺(tái)的自我修養(yǎng)

    摘要：而道器相融，在我看來(lái)，那煉丹就需要一個(gè)好的丹爐了，也就是一個(gè)優(yōu)秀的機(jī)器學(xué)習(xí)平臺(tái)。因此，一個(gè)機(jī)器學(xué)習(xí)平臺(tái)要取得成功，最好具備如下五個(gè)特點(diǎn)精辟的核心抽象一個(gè)機(jī)器學(xué)習(xí)平臺(tái)，必須有其靈魂，也就是它的核心抽象。 *本文首發(fā)于 AI前線 ，歡迎轉(zhuǎn)載，并請(qǐng)注明出處。 摘要 2017年6月，騰訊正式開(kāi)源面向機(jī)器學(xué)習(xí)的第三代高性能計(jì)算平臺(tái) Angel，在GitHub上備受關(guān)注；2017年10月19日，騰...

    leo108 評(píng)論0 收藏0

發(fā)表評(píng)論

0條評(píng)論

最新活動(dòng)
閱讀需要支付1元查看
<