Apache Kylin安裝部署

xorpay 發(fā)布于2019-07-24 10:39 / 1011人閱讀

摘要：安裝環(huán)境依賴于大數(shù)據(jù)平臺(tái)，安裝部署之前確認(rèn)，大數(shù)據(jù)平臺(tái)已經(jīng)安裝。

0x01 Kylin安裝環(huán)境

Kylin依賴于hadoop大數(shù)據(jù)平臺(tái)，安裝部署之前確認(rèn)，大數(shù)據(jù)平臺(tái)已經(jīng)安裝Hadoop, HBase, Hive。

1.1 了解kylin的兩種二進(jìn)制包

預(yù)打包的二進(jìn)制安裝包：apache-kylin-1.6.0-bin.tar.gz
特別二進(jìn)制包：apache-kylin-1.6.0-HBase1.x-bin.tar.gz

說明：特別二進(jìn)制包是一個(gè)在HBase 1.1+環(huán)境上編譯的Kylin快照二進(jìn)制包；安裝它需要HBase 1.1.3或更高版本，否則之前版本中有一個(gè)已知的關(guān)于fuzzy key過濾器的缺陷，會(huì)導(dǎo)致Kylin查詢結(jié)果缺少記錄:HBASE-14269。此外還需注意的是，這不是一個(gè)正式的發(fā)布版(每隔幾周rebase KYLIN 1.3.x 分支上最新的改動(dòng))，沒有經(jīng)過完整的測試。

0x02 安裝部署 2.1 下載

可以選擇自己需要的版本進(jìn)行下載，這里下載的是pache-kylin-1.6.0-bin.tar.gz

2.2 安裝

$ tar -zxvf apache-kylin-1.6.0-bin.tar.gz
$ mv apache-kylin-1.6.0 /home/hadoop/cloud/
$ ln -s /home/hadoop/cloud/apache-kylin-1.6.0 /home/hadoop/cloud/kylin

2.3 配置環(huán)境變量

在/etc/profile里配置KYLIN環(huán)境變量和一個(gè)名為hive_dependency的變量

# vim /etc/profile

//追加
export KYLIN_HOME=/home/hadoop/kylin
export PATH=$PATH:$ KYLIN_HOME/bin
export hive_dependency=/home/hadoop/hive/conf:/home/hadoop/hive/lib/*:/home/hadoop/hive/hcatalog/share/hcatalog/hive-hcatalog-core-2.0.0.jar

使配置文件生效

# source /etc/profile
# su hadoop
$ source /etc/profile

這個(gè)配置需要在從節(jié)點(diǎn)master2,slave1,slave2上同時(shí)配置，因?yàn)閗ylin提交的任務(wù)交給mr后，hadoop集群將任務(wù)分發(fā)給從節(jié)點(diǎn)時(shí)，需要hive的依賴信息，如果不配置，則mr任務(wù)將報(bào)錯(cuò)為: hcatalogXXX找不到。

2.4 配置kylin.sh

$ vim ~/cloud/kylin/bin/kylin.sh

//顯式聲明 KYLIN_HOME
export KYLIN_HOME=/home/Hadoop/kylin
//在HBASE_CLASSPATH_PREFIX中顯示增加$hive_dependency依賴
export HBASE_CLASSPATH_PREFIX=${tomcat_root}/bin/bootstrap.jar:${tomcat_root}/bin/tomcat-juli.jar:${tomcat_root}/lib/*:$hive_dependency:$HBASE_CLASSPATH_PREFIX

2.5 檢查環(huán)境是否設(shè)置成功

$ check-env.sh
KYLIN_HOME is set to /home/hadoop/kylin

2.6 配置kylin.properties

進(jìn)入conf文件夾，修改kylin各配置文件kylin.properties如下

$ vim ~/cloud/kylin/conf/kylin.properties

kylin.rest.servers=master:7070
#定義kylin用于MR jobs的job.jar包和hbase的協(xié)處理jar包，用于提升性能。
kylin.job.jar=/home/hadoop/kylin/lib/kylin-job-1.6.0-SNAPSHOT.jar
kylin.coprocessor.local.jar=/home/hadoop/kylin/lib/kylin-coprocessor-1.6.0-SNAPSHOT.jar

2.7 配置kylin_hive_conf.xml和kylin_job_conf.xml

將kylin_hive_conf.xml和kylin_job_conf.xml的副本數(shù)設(shè)置為2


  dfs.replication
  2
  Block replication

2.8 啟動(dòng)服務(wù)

注意：在啟動(dòng)Kylin之前，先確認(rèn)以下服務(wù)已經(jīng)啟動(dòng)

hadoop的hdfs/yarn/jobhistory服務(wù)

start-all.sh
mr-jobhistory-daemon.sh start historyserver

hive 元數(shù)據(jù)庫

hive --service metastore &

zookeeper

zkService.sh start

需要在每個(gè)節(jié)點(diǎn)上執(zhí)行，分別啟動(dòng)所有節(jié)點(diǎn)的zookeeper服務(wù)

hbase

start-hbase.sh

檢查hive和hbase的依賴

$ find-hive-dependency.sh
$ find-hbase-dependency.sh

啟動(dòng)和停止kylin的命令

$ kylin.sh start
$ kylin.sh stop

Web訪問地址：　http://192.168.1.10:7070/kylin/login

默認(rèn)的登錄username/password 是 ADMIN/KYLIN

0x03 測試 3.1 測試Kylin自帶的sample

Kylin提供一個(gè)自動(dòng)化腳本來創(chuàng)建測試CUBE，這個(gè)腳本也會(huì)自動(dòng)創(chuàng)建出相應(yīng)的hive數(shù)據(jù)表。運(yùn)行sample例子的步驟：

S1：運(yùn)行${KYLIN_HOME}/bin/sample.sh腳本

$ sample.sh

關(guān)鍵提示信息：

KYLIN_HOME is set to /home/hadoop/kylin
Going to create sample tables in hive...
Sample hive tables are created successfully; Going to create sample cube...
Sample cube is created successfully in project "learn_kylin"; Restart Kylin server or reload the metadata from web UI to see the change.

S2：在MYSQL中查看此sample創(chuàng)建了哪幾張表

select DB_ID,OWNER,SD_ID,TBL_NAME from TBLS;

S3：在hive客戶端查看創(chuàng)建的表和數(shù)據(jù)量（1w條）

hive> show tables;
OK
kylin_cal_dt
kylin_category_groupings
kylin_sales
Time taken: 1.835 seconds, Fetched: 3 row(s)
hive> select count(*) from kylin_sales;
OK
Time taken: 65.351 seconds, Fetched: 1 row(s)

S4：重啟kylin server 刷新緩存

$ kylin.sh stop
$ kylin.sh start

S5：用默認(rèn)的用戶名密碼ADMIN/KYLIN訪問192.168.200.165:7070/kylin

進(jìn)入控制臺(tái)后選擇project為learn_kylin的那個(gè)項(xiàng)目。

S6：選擇測試cube “kylin_sales_cube”，點(diǎn)擊“Action”-“Build”，選擇一個(gè)2014-01-01以后的日期，這是為了選擇全部的10000條測試記錄。

選擇一個(gè)生成日期
點(diǎn)擊提交會(huì)出現(xiàn)重建任務(wù)成功提交的提示

S7：監(jiān)控臺(tái)查看這個(gè)任務(wù)的執(zhí)行進(jìn)度，直到這個(gè)任務(wù)100%完成。

任務(wù)完成
切換到model控制臺(tái)會(huì)發(fā)現(xiàn)cube的狀態(tài)成為了ready，表示可以執(zhí)行sql查詢了
執(zhí)行過程中，在hive里會(huì)生成臨時(shí)表，待任務(wù)100%完成后，這張表會(huì)自動(dòng)刪除

0x04 常見錯(cuò)誤 4.1 運(yùn)行check-env.sh提示

please make sure user has the privilege to run hbase shell

檢查hbase環(huán)境變量是否配置正確。重新配置后問題解決。
參考：http://www.jianshu.com/p/632b...

4.2 hadoop-env.sh腳本問題

Kylin安裝問題--/home/hadoop-2.5.1/contrib/capacity-scheduler/.jar (No such file or directory)

WARNING: Failed to process JAR
 [jar:file:/home/hadoop-2.5.1/contrib/capacity-scheduler/.jar!/] for
 TLD files
 java.io.FileNotFoundException:
 /home/hadoop-2.5.1/contrib/capacity-scheduler/.jar (No such file or
 directory)
 at java.util.zip.ZipFile.open(Native Method)
 at java.util.zip.ZipFile.(ZipFile.java:215)
 at java.util.zip.ZipFile.(ZipFile.java:145)
 at java.util.jar.JarFile.(JarFile.java:153)
 at java.util.jar.JarFile.(JarFile.java:90)
 at sun.net.www.protocol.jar.URLJarFile.(URLJarFile.java:93)
 at sun.net.www.protocol.jar.URLJarFile.getJarFile(URLJarFile.java:69)
 at sun.net.www.protocol.jar.JarFileFactory.get(JarFileFactory.java:99)
 at
 sun.net.www.protocol.jar.JarURLConnection.connect(JarURLConnection.java:122)
 at
 sun.net.www.protocol.jar.JarURLConnection.getJarFile(JarURLConnection.java:89)
 at org.apache.tomcat.util.scan.FileUrlJar.(FileUrlJar.java:41)
 at org.apache.tomcat.util.scan.JarFactory.newInstance(JarFactory.java:34)
 at org.apache.catalina.startup.TldConfig.tldScanJar(TldConfig.java:485)
 at org.apache.catalina.startup.TldConfig.access$100(TldConfig.java:61)
 at
 org.apache.catalina.startup.TldConfig$TldJarScannerCallback.scan(TldConfig.java:296)
 at
 org.apache.tomcat.util.scan.StandardJarScanner.process(StandardJarScanner.java:258)
 at
 org.apache.tomcat.util.scan.StandardJarScanner.scan(StandardJarScanner.java:220)
 at org.apache.catalina.startup.TldConfig.execute(TldConfig.java:269)
 at
 org.apache.catalina.startup.TldConfig.lifecycleEvent(TldConfig.java:565)
 at
 org.apache.catalina.util.LifecycleSupport.fireLifecycleEvent(LifecycleSupport.java:117)
 at
 org.apache.catalina.util.LifecycleBase.fireLifecycleEvent(LifecycleBase.java:90)
 at
 org.apache.catalina.core.StandardContext.startInternal(StandardContext.java:5412)
 at org.apache.catalina.util.LifecycleBase.start(LifecycleBase.java:150)
 at
 org.apache.catalina.core.ContainerBase.addChildInternal(ContainerBase.java:901)
 at
 org.apache.catalina.core.ContainerBase.addChild(ContainerBase.java:877)
 at org.apache.catalina.core.StandardHost.addChild(StandardHost.java:649)
 at org.apache.catalina.startup.HostConfig.deployWAR(HostConfig.java:1081)
 at
 org.apache.catalina.startup.HostConfig$DeployWar.run(HostConfig.java:1877)
 at
 java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:471)
 at java.util.concurrent.FutureTask.run(FutureTask.java:262)
 at
 java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
 at
 java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)

其實(shí)這個(gè)問題只是一些小bug問題把這個(gè)腳本的內(nèi)容改動(dòng)一下就好了${HADOOP_HOME}/etc/hadoop/hadoop-env.sh把下面的這一段循環(huán)語句給注釋掉

#for f in $HADOOP_HOME/contrib/capacity-scheduler/*.jar; do
#  if [ "$HADOOP_CLASSPATH" ]; then
#    export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$f
#  else
#    export HADOOP_CLASSPATH=$f
#  fi
#done

4.3 清理kylin空間

kylin.sh org.apache.kylin.storage.hbase.util.StorageCleanupJob --delete true

4.4 Permission denied

kylin cube測試時(shí)，報(bào)錯(cuò)：org.apache.hadoop.security.AccessControlException: Permission denied: user=root, access=WRITE, inode="/user":hdfs:supergroup:drwxr-xr-x

解決辦法：

1 配置hdfs-site.xml


    dfs.permissions
    false

2 在hdfs上給目錄/user 777的權(quán)限

$ hadoop fs -chmod -R 777 /user

0x05 參考鏈接

http://kylin.apache.org/cn/do...
http://kylin.apache.org/cn/do...
http://www.cnblogs.com/avivay...

2017-02-17 19:51:39 星期五

update1: 2017-05-04 20:10:05 星期四

云服務(wù)器 GPU云服務(wù)器 apache 安裝 apache部署安裝apache apache安裝

文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請注明本文地址：http://systransis.cn/yun/35865.html

發(fā)表評(píng)論

登陸后可評(píng)論

0條評(píng)論

xorpay

男|高級(jí)講師

我要關(guān)注我要私信

TA的文章

物聯(lián)網(wǎng)工程導(dǎo)論

閱讀 710·2021-11-18 10:02
[11.11]傲游主機(jī)：VPS全場75折,充111元送111元,美國CN2/香港CN2/德國CN2/

閱讀 2248·2021-11-15 18:13
備戰(zhàn)藍(lán)橋杯——算法訓(xùn)練之過河馬

閱讀 3173·2021-11-15 11:38
游戲掛機(jī)用什么云主機(jī)-請問云服務(wù)器可以托管掛機(jī)游戲嗎？

閱讀 2962·2021-09-22 15:55
VmShell INC：運(yùn)營回歸美國新增流量與桌面型產(chǎn)品！年付8折,GIA線路準(zhǔn)商用中

閱讀 3683·2021-08-09 13:43
全新WordPress 5.8版本更新編輯器功能再次強(qiáng)大

閱讀 2452·2021-07-25 14:19
css級(jí)聯(lián)與繼承

閱讀 2461·2019-08-30 14:15
CSS選擇器及其優(yōu)先級(jí)

閱讀 3457·2019-08-30 14:15

成人国产在线小视频_日韩寡妇人妻调教在线播放_色成人www永久在线观看_2018国产精品久久_亚洲欧美高清在线30p_亚洲少妇综合一区_黄色在线播放国产_亚洲另类技巧小说校园_国产主播xx日韩_a级毛片在线免费

資訊專欄INFORMATION COLUMN

上云采購季！| 2核2G4M爆款云服務(wù)器低至59元/年，更有多臺(tái)、長期優(yōu)惠，快來選購！

Apache Kylin安裝部署

相關(guān)文章

新技術(shù)到底靠不靠譜？在中國用一下就知道了

UCloud一站式智能大數(shù)據(jù)平臺(tái)USDP免費(fèi)版正式發(fā)布！

UCloud發(fā)布一站式智能大數(shù)據(jù)平臺(tái)USDP免費(fèi)版附USDP資源下載地址

發(fā)表評(píng)論

0條評(píng)論

xorpay

男|高級(jí)講師

TA的文章

物聯(lián)網(wǎng)工程導(dǎo)論

[11.11]傲游主機(jī)：VPS全場75折,充111元送111元,美國CN2/香港CN2/德國CN2/

備戰(zhàn)藍(lán)橋杯——算法訓(xùn)練之過河馬

游戲掛機(jī)用什么云主機(jī)-請問云服務(wù)器可以托管掛機(jī)游戲嗎？

VmShell INC：運(yùn)營回歸美國新增流量與桌面型產(chǎn)品！年付8折,GIA線路準(zhǔn)商用中

全新WordPress 5.8版本更新編輯器功能再次強(qiáng)大

css級(jí)聯(lián)與繼承

CSS選擇器及其優(yōu)先級(jí)

最新活動(dòng)

資訊專欄INFORMATION COLUMN

上云采購季！| 2核2G4M爆款云服務(wù)器低至59元/年，更有多臺(tái)、長期優(yōu)惠，快來選購！

Apache Kylin安裝部署

相關(guān)文章

發(fā)表評(píng)論

0條評(píng)論

男|高級(jí)講師

TA的文章

最新活動(dòng)

上云采購季！| 2核2G4M爆款云服務(wù)器低至59元/年，更有多臺(tái)、長期優(yōu)惠，快來選購！