資訊專欄INFORMATION COLUMN
簡 介
Spark SQL是spark中處理結(jié)構(gòu)化數(shù)據(jù)的模塊，區(qū)別于RDD接口，Spark SQL接口提供了更多關(guān)于數(shù)據(jù)結(jié)構(gòu)和執(zhí)行計算的信息，Spark SQL使用這些額外的信息進行額外的優(yōu)化，Spark SQL有兩種交互方式，SQL和DataSet API方式，但是這兩種方式使用的相同的執(zhí)行引擎。
Spark SQL可以從Hive中讀取數(shù)據(jù)，也可以通過編程語言與Spark SQL交互，這將返回DataSet/DataFrame數(shù)據(jù)集，也可以通過命令行或JDBC/ODBC與Spark SQL進行交互。
DataSet是分布式數(shù)據(jù)集，是Spark 1.6版本新增接口，其支持java、scala語言。DataFrame相當于關(guān)系型數(shù)據(jù)庫的表，其支持的數(shù)據(jù)源有結(jié)構(gòu)化文件、配置單元中的表、外部數(shù)據(jù)庫或RDD，其支持java、scala、python和R語言。
使用步驟
spark支持對hive的讀寫，但是需要增加hive依賴，自spark2.0.0版本以后，可以使用spark.sql.warehouse.dir來配置默認數(shù)據(jù)倉庫的位置。
方法如下：
spark也可以方便的與關(guān)系型數(shù)據(jù)庫進行集成，可以對關(guān)系型數(shù)據(jù)庫進行讀寫，由于關(guān)系型數(shù)據(jù)庫都是結(jié)構(gòu)化數(shù)據(jù)庫，使用spark sql也可方便的進行分析。
下面以mysql為例進行說明：
1）首先需要添加驅(qū)動依賴：
2）讀取數(shù)據(jù)
3）寫入數(shù)據(jù)
創(chuàng)建user實體
總 結(jié)
end
文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址：http://systransis.cn/yun/129643.html
摘要：項目地址前言大數(shù)據(jù)技術(shù)棧思維導圖大數(shù)據(jù)常用軟件安裝指南一分布式文件存儲系統(tǒng)分布式計算框架集群資源管理器單機偽集群環(huán)境搭建集群環(huán)境搭建常用命令的使用基于搭建高可用集群二簡介及核心概念環(huán)境下的安裝部署和命令行的基本使用常用操作分區(qū)表和分桶表視圖 項目GitHub地址：https://github.com/heibaiying... 前 言 大數(shù)據(jù)技術(shù)棧思維導圖 大數(shù)據(jù)常用軟件安裝指...
摘要：原文鏈接簡介寫在前面本系列是綜合了自己在學習過程中的理解記錄對參考文章中的一些理解個人實踐過程中的一些心得而來。其次，本系列是基于目前最新的系列開始的，目前的更新速度很快，記錄一下版本好還是必要的。 原文鏈接：『 Spark 』1. spark 簡介 寫在前面 本系列是綜合了自己在學習spark過程中的理解記錄 ＋ 對參考文章中的一些理解 ＋ 個人實踐spark過程中的一些心得而來。寫...
摘要：摘要第九屆中國數(shù)據(jù)庫技術(shù)大會，阿里云高級技術(shù)專家架構(gòu)師封神曹龍帶來題為大數(shù)據(jù)時代數(shù)據(jù)庫云架構(gòu)生態(tài)實踐的演講。主要內(nèi)容有三個方面首先介紹了業(yè)務(wù)挑戰(zhàn)帶來的架構(gòu)演進，其次分析了及生態(tài)，最后分享了大數(shù)據(jù)數(shù)據(jù)庫的實際案例。數(shù)據(jù)備份及恢復。 摘要： 2018第九屆中國數(shù)據(jù)庫技術(shù)大會，阿里云高級技術(shù)專家、架構(gòu)師封神（曹龍）帶來題為大數(shù)據(jù)時代數(shù)據(jù)庫-云HBase架構(gòu)&生態(tài)&實踐的演講。主要內(nèi)容有三個方...
閱讀 1356·2023-01-11 13:20
閱讀 1707·2023-01-11 13:20
閱讀 1215·2023-01-11 13:20
閱讀 1906·2023-01-11 13:20
閱讀 4165·2023-01-11 13:20
閱讀 2757·2023-01-11 13:20
閱讀 1402·2023-01-11 13:20
閱讀 3671·2023-01-11 13:20
