成人国产在线小视频_日韩寡妇人妻调教在线播放_色成人www永久在线观看_2018国产精品久久_亚洲欧美高清在线30p_亚洲少妇综合一区_黄色在线播放国产_亚洲另类技巧小说校园_国产主播xx日韩_a级毛片在线免费

資訊專欄INFORMATION COLUMN

clickhouse安裝部署

IT那活兒 / 2971人閱讀
clickhouse安裝部署



簡(jiǎn)介



ClickHouse 是俄羅斯的 Yandex 于2016年開源的列式存儲(chǔ)數(shù)據(jù)庫（DBMS)，主要用于在線分析處理查詢（OLAP），能夠使用SQL查詢實(shí)時(shí)生成分析數(shù)據(jù)報(bào)告。它主要有如下特點(diǎn)：

  • 列式存儲(chǔ)與數(shù)據(jù)壓縮
  • 向量化執(zhí)行引擎
  • 關(guān)系模型與SQL查詢
  • 多樣化的表引擎
  • 多線程與分布式
  • 多主架構(gòu)
  • 數(shù)據(jù)分片與分布式查詢

使用ClickHouse作為OLAP服務(wù)的常見的應(yīng)用場(chǎng)景包括：

  • 大多數(shù)是讀請(qǐng)求

  • 數(shù)據(jù)批寫入

  • 不修改已添加的數(shù)據(jù)

  • 查詢?yōu)槎嘈猩倭?/span>

  • 存儲(chǔ)寬表

  • 單查詢行數(shù)較大

  • 無事務(wù)要求，對(duì)數(shù)據(jù)一致性要求低

  • 數(shù)據(jù)被過濾或聚合后能夠被盛放在單臺(tái)服務(wù)器的內(nèi)存中

  • 處理單個(gè)查詢時(shí)需要高吞吐量

  • 每一個(gè)查詢除了一個(gè)大表外都很小



部署



1. 操作系統(tǒng)配置

1）CPU是否支持SSE 4.2

grep -q sse4_2 /proc/cpuinfo && echo "SSE 4.2 supported" || echo "SSE 4.2 not supported"

如果CPU不支持SSE4.2，需要進(jìn)行源碼安裝

2）修改資源限制

#/etc/security/limits.conf在文件末尾添加：

* soft nofile 65536

* hard nofile 65536

* soft nproc 131072

* hard nproc 131072

3）取消SELINUX

#vi /etc/selinux/config

SELINUX=disabled

4）關(guān)閉防火墻

service iptables stop

service ip6tables stop

5）安裝依賴

yum install -y libtool

yum install -y *unixODBC*

yum search libicu

yum install libicu.x86_64

6）創(chuàng)建系統(tǒng)用戶及數(shù)據(jù)目錄

#創(chuàng)建用戶

useradd clickhouse

#創(chuàng)建clickhouse數(shù)據(jù)目錄、配置文件目錄、啟動(dòng)文件目錄、日志目錄

mkdir /data1/clickhouse/{cnf,data,bin,logs,tmp}

chown -R clickhouse.clickhouse /data1/clickhouse


2. Clickhouse部署

1）軟件安裝

本文件使用二進(jìn)制文件進(jìn)行安裝，需從https://repo.clickhouse.tech/tgz/下載如下類型包：

  • clickhouse-common-static：安裝ClickHouse編譯的二進(jìn)制文件

  • clickhouse-server：為clickhouse-server創(chuàng)建符號(hào)鏈接并安裝默認(rèn)服務(wù)器配置

  • clickhouse-client：為clickhouse-client和其他與客戶端相關(guān)的工具創(chuàng)建符號(hào)鏈接。并安裝客戶端配置文件

  • clickhouse-common-static-dbg — 安裝帶有調(diào)試信息的ClickHouse編譯的二進(jìn)制文件

每個(gè)tgz包中都有一個(gè)doing.sh腳本，用于安裝相應(yīng)文件，把clickhouse配置文件存放至/etc下，并配置clickhouse開機(jī)自啟動(dòng)服務(wù)。

本文件采用手工方式安裝軟件，以便于日后單機(jī)部署多個(gè)clickhouse實(shí)例。

#解壓tgz包

tar -xzf clickhouse*.tgz

#手工拷貝文件夾下文件至相應(yīng)目錄，除etc/install目錄外，如

2）編輯配置文件

  • 拷貝配置文件

#拷貝clickhouse-server包下etc目錄文件至/data1/clickhouse/cnf
cp etc/* /data1/clickhouse/cnf

#創(chuàng)建附加配置文件目錄
mkdir /data1/clickhouse/cnf/{config.d,users.d}

  • 編輯clickhouse服務(wù)配置文件
    /data1/clickhouse/cnf/config.xml


#日志配置

#偵聽配置

#數(shù)據(jù)、臨時(shí)目錄

  • 編輯clickhouse用戶配置文件

##配置默認(rèn)用戶密碼

xi /data1/clickhouse/cnf/users.d/default-password.xml


3. 創(chuàng)建啟動(dòng)腳本

  • 編輯clickhouse啟動(dòng)腳本

vi /data1/clickhouse/bin/ch.sh

  • 啟動(dòng)clickhouse

/data1/clickhouse/bin/ch.sh start


4. 創(chuàng)建數(shù)據(jù)庫、普通用戶
使用default用戶登陸clickhouse

 創(chuàng)建數(shù)據(jù)庫

創(chuàng)建用戶

 使用新用戶登陸


總結(jié)



Clickhouse做為OLAP數(shù)據(jù)庫，使用列式及壓縮存儲(chǔ)數(shù)據(jù)，使用向量化執(zhí)行查詢，其性能非常高效，本文僅部署clickhouse單節(jié)點(diǎn)，以進(jìn)行測(cè)試，但生產(chǎn)環(huán)境為了保證數(shù)據(jù)的高可用及性能，可使用分片、副本等方式構(gòu)建高可用集群。


END


更多精彩干貨分享

點(diǎn)擊下方名片關(guān)注

IT那活兒

文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請(qǐng)注明本文地址：http://systransis.cn/yun/129776.html

相關(guān)文章

  • 基于開源應(yīng)用快速構(gòu)建HTAP系統(tǒng)

    摘要：利用快速構(gòu)建系統(tǒng)。構(gòu)建系統(tǒng)和的安裝本文不再贅述，直接開始動(dòng)手構(gòu)建系統(tǒng)。分別為和，用于讀寫組，用于只讀組。最后配置的監(jiān)控服務(wù)可選，非必須至此，一個(gè)全部基于開源應(yīng)用的簡(jiǎn)易系統(tǒng)就構(gòu)建好了。利用ProxySQL、MySQL、ClickHouse快速構(gòu)建HTAP系統(tǒng)。1. 關(guān)于ClickHouse企業(yè)里隨著數(shù)據(jù)量的增加，以及日趨復(fù)雜的分析性業(yè)務(wù)需求，主要適用于OLTP場(chǎng)景的MySQL壓力越來越大。多年...

    Tecode 評(píng)論0 收藏0

  • k8s與審計(jì)-- 將clickhouse增加為 heapster sink

    摘要：前言在資源審計(jì)和計(jì)費(fèi)這塊，容器和虛機(jī)有很大區(qū)別。支持諸多輸出，稱為。所以本文主要講如何為增加。實(shí)際上，基于增加并且更改，也可以做到，只不過需要裝一些包指令，結(jié)果就是鏡像變大。實(shí)際運(yùn)行日志截圖由于的出色的寫入性能，運(yùn)行非常穩(wěn)定。 前言 在k8s資源審計(jì)和計(jì)費(fèi)這塊，容器和虛機(jī)有很大區(qū)別。相對(duì)虛機(jī)來講，容器不容易實(shí)現(xiàn)。資源指標(biāo)收集可以采用heapster，也可以用prometheus。之前文...

    tunny 評(píng)論0 收藏0

  • k8s與審計(jì)-- 將clickhouse增加為 heapster sink

    摘要：前言在資源審計(jì)和計(jì)費(fèi)這塊，容器和虛機(jī)有很大區(qū)別。支持諸多輸出，稱為。所以本文主要講如何為增加。實(shí)際上，基于增加并且更改，也可以做到，只不過需要裝一些包指令，結(jié)果就是鏡像變大。實(shí)際運(yùn)行日志截圖由于的出色的寫入性能，運(yùn)行非常穩(wěn)定。 前言 在k8s資源審計(jì)和計(jì)費(fèi)這塊，容器和虛機(jī)有很大區(qū)別。相對(duì)虛機(jī)來講，容器不容易實(shí)現(xiàn)。資源指標(biāo)收集可以采用heapster，也可以用prometheus。之前文...

    edagarli 評(píng)論0 收藏0

發(fā)表評(píng)論

0條評(píng)論

最新活動(dòng)
閱讀需要支付1元查看
<