摘要:顯示處于不可中斷的休眠的進(jìn)程數(shù)量。在等待顯示被交換到磁盤的數(shù)據(jù)塊的數(shù)量。服務(wù)器硬件優(yōu)化物理狀態(tài)燈自帶管理設(shè)備遠(yuǎn)程控制卡設(shè)備,開關(guān)機(jī)硬件監(jiān)控。
數(shù)據(jù)庫層面問題解決思路
一般應(yīng)急調(diào)優(yōu)的思路:
針對突然的業(yè)務(wù)辦理卡頓,無法進(jìn)行正常的業(yè)務(wù)處理!需要立馬解決的場景!
1、show processlist 2、explain select id ,name from stu where name="clsn"; # ALL id name age sex select id,name from stu where id=2-1 函數(shù) 結(jié)果集>30; show index from table; 3、通過執(zhí)行計(jì)劃判斷,索引問題(有沒有、合不合理)或者語句本身問題 4、show status like "%lock%"; # 查詢鎖狀態(tài) kill SESSION_ID; # 殺掉有問題的session
常規(guī)調(diào)優(yōu)思路:
針對業(yè)務(wù)周期性的卡頓,例如在每天 10-11 點(diǎn)業(yè)務(wù)特別慢,但是還能夠使用,過了這段時間就好了。
1、查看 slowlog,分析 slowlog,分析出查詢慢的語句。
2、按照一定優(yōu)先級,進(jìn)行一個一個的排查所有慢語句。
3、分析 top sql,進(jìn)行 explain 調(diào)試,查看語句執(zhí)行時間。
4、調(diào)整索引或語句本身。
系統(tǒng)層面
cpu方面:
vmstat、sar top、htop、nmon、mpstat
內(nèi)存:
free 、ps -aux 、
IO 設(shè)備(磁盤、網(wǎng)絡(luò)):
iostat 、 ss 、 netstat 、 iptraf、iftop、lsof、
vmstat 命令說明:
Procs:r 顯示有多少進(jìn)程正在等待 CPU 時間。b 顯示處于不可中斷的休眠的進(jìn)程數(shù)量。在等待 I/O
Memory:swpd 顯示被交換到磁盤的數(shù)據(jù)塊的數(shù)量。未被使用的數(shù)據(jù)塊,用戶緩沖數(shù)據(jù)塊,用于操作系統(tǒng)的數(shù)據(jù)塊的數(shù)量
Swap:操作系統(tǒng)每秒從磁盤上交換到內(nèi)存和從內(nèi)存交換到磁盤的數(shù)據(jù)塊的數(shù)量。s1 和 s0 最好是 0
Io:每秒從設(shè)備中讀入 b1 的寫入到設(shè)備 b0 的數(shù)據(jù)塊的數(shù)量。反映了磁盤 I/O
System:顯示了每秒發(fā)生中斷的數(shù)量(in)和上下文交換(cs)的數(shù)量
Cpu:顯示用于運(yùn)行用戶代碼,系統(tǒng)代碼,空閑,等待 I/O 的 CPU 時間
iostat 命令說明
實(shí)例命令: iostat -dk 1 5
iostat -d -k -x 5 (查看設(shè)備使用率(%util)和響應(yīng)時間(await))
tps:該設(shè)備每秒的傳輸次數(shù)。“一次傳輸”意思是“一次 I/O 請求”。多個邏輯請求可能會被合并為“一次 I/O 請求”。
iops :硬件出廠的時候,廠家定義的一個每秒最大的 IO 次數(shù),"一次傳輸"請求的大小是未知的。
kB_read/s:每秒從設(shè)備(drive expressed)讀取的數(shù)據(jù)量;
KB_wrtn/s:每秒向設(shè)備(drive expressed)寫入的數(shù)據(jù)量;
kB_read:讀取的總數(shù)據(jù)量;
kB_wrtn:寫入的總數(shù)量數(shù)據(jù)量;這些單位都為 Kilobytes。
系統(tǒng)層面問題解決辦法
你認(rèn)為到底負(fù)載高好,還是低好呢?
在實(shí)際的生產(chǎn)中,一般認(rèn)為 cpu 只要不超過 90% 都沒什么問題 。
當(dāng)然不排除下面這些特殊情況:
問題一:cpu 負(fù)載高,IO 負(fù)載低
內(nèi)存不夠
磁盤性能差
SQL 問題 ------>去數(shù)據(jù)庫層,進(jìn)一步排查 sql 問題
IO 出問題了(磁盤到臨界了、raid 設(shè)計(jì)不好、raid 降級、鎖、在單位時間內(nèi) tps 過高)
tps 過高: 大量的小數(shù)據(jù) IO、大量的全表掃描
問題二:IO 負(fù)載高,cpu 負(fù)載低
大量小的 IO 寫操作:
autocommit ,產(chǎn)生大量小 IO
IO/PS 磁盤的一個定值,硬件出廠的時候,廠家定義的一個每秒最大的 IO 次數(shù)。
大量大的 IO 寫操作
SQL 問題的幾率比較大
問題三:IO 和 cpu 負(fù)載都很高
硬件不夠了或 SQL 存在問題
五、基礎(chǔ)優(yōu)化
優(yōu)化思路
定位問題點(diǎn):
硬件 --> 系統(tǒng) --> 應(yīng)用 --> 數(shù)據(jù)庫 --> 架構(gòu)(高可用、讀寫分離、分庫分表)
處理方向:
明確優(yōu)化目標(biāo)、性能和安全的折中、防患未然
硬件優(yōu)化
主機(jī)方面:
根據(jù)數(shù)據(jù)庫類型,主機(jī) CPU 選擇、內(nèi)存容量選擇、磁盤選擇
平衡內(nèi)存和磁盤資源
隨機(jī)的 I/O 和順序的 I/O
主機(jī) RAID 卡的 BBU(Battery Backup Unit)關(guān)閉
cpu 的選擇:
cpu 的兩個關(guān)鍵因素:核數(shù)、主頻
根據(jù)不同的業(yè)務(wù)類型進(jìn)行選擇:
cpu 密集型:計(jì)算比較多,OLTP 主頻很高的 cpu、核數(shù)還要多
IO 密集型:查詢比較,OLAP 核數(shù)要多,主頻不一定高的
內(nèi)存的選擇:
OLAP 類型數(shù)據(jù)庫,需要更多內(nèi)存,和數(shù)據(jù)獲取量級有關(guān)。
OLTP 類型數(shù)據(jù)一般內(nèi)存是 cpu 核心數(shù)量的 2 倍到 4 倍,沒有最佳實(shí)踐。
存儲方面:
根據(jù)存儲數(shù)據(jù)種類的不同,選擇不同的存儲設(shè)備
配置合理的 RAID 級別(raid 5、raid 10、熱備盤)
對與操作系統(tǒng)來講,不需要太特殊的選擇,最好做好冗余(raid1)(ssd、sas 、sata)
raid 卡:主機(jī) raid 卡選擇:
實(shí)現(xiàn)操作系統(tǒng)磁盤的冗余(raid1)
平衡內(nèi)存和磁盤資源
隨機(jī)的 I/O 和順序的 I/O
主機(jī) RAID 卡的 BBU(Battery Backup Unit)要關(guān)閉
網(wǎng)絡(luò)設(shè)備方面:
使用流量支持更高的網(wǎng)絡(luò)設(shè)備(交換機(jī)、路由器、網(wǎng)線、網(wǎng)卡、HBA 卡)
注意:以上這些規(guī)劃應(yīng)該在初始設(shè)計(jì)系統(tǒng)時就應(yīng)該考慮好。
服務(wù)器硬件優(yōu)化
1、物理狀態(tài)燈:
2、自帶管理設(shè)備:遠(yuǎn)程控制卡(FENCE 設(shè)備:ipmi ilo idarc),開關(guān)機(jī)、硬件監(jiān)控。
3、第三方的監(jiān)控軟件、設(shè)備(snmp、agent)對物理設(shè)施進(jìn)行監(jiān)控
4、存儲設(shè)備:自帶的監(jiān)控平臺。EMC2(hp 收購了), 日立(hds),IBM 低端 OEM hds,高端存儲是自己技術(shù),華為存儲
系統(tǒng)優(yōu)化
Cpu:
基本不需要調(diào)整,在硬件選擇方面下功夫即可。
內(nèi)存:
基本不需要調(diào)整,在硬件選擇方面下功夫即可。
SWAP:
MySQL 盡量避免使用 swap。阿里云的服務(wù)器中默認(rèn) swap 為 0
IO :
raid、no lvm、 ext4 或 xfs、ssd、IO 調(diào)度策略
Swap 調(diào)整(不使用 swap 分區(qū))
這個參數(shù)決定了 Linux 是傾向于使用 swap,還是傾向于釋放文件系統(tǒng) cache。在內(nèi)存緊張的情況下,數(shù)值越低越傾向于釋放文件系統(tǒng) cache。當(dāng)然,這個參數(shù)只能減少使用 swap 的概率,并不能避免 Linux 使用 swap。
修改 MySQL 的配置參數(shù) innodb_flush_method,開啟 O_DIRECT 模式。這種情況下,InnoDB 的 buffer pool 會直接繞過文件系統(tǒng) cache 來訪問磁盤,但是redo log 依舊會使用文件系統(tǒng) cache。值得注意的是,Redo log 是覆寫模式的,即使使用了文件系統(tǒng)的 cache,也不會占用太多
IO 調(diào)度策略:
系統(tǒng)參數(shù)調(diào)整
Linux 系統(tǒng)內(nèi)核參數(shù)優(yōu)化:
用戶限制參數(shù)(MySQL 可以不設(shè)置以下配置):
應(yīng)用優(yōu)化
業(yè)務(wù)應(yīng)用和數(shù)據(jù)庫應(yīng)用獨(dú)立,防火墻:iptables、selinux 等其他無用服務(wù)(關(guān)閉):
安裝圖形界面的服務(wù)器不要啟動圖形界面 runlevel 3,另外,思考將來我們的業(yè)務(wù)是否真的需要 MySQL,還是使用其他種類的數(shù)據(jù)庫。用數(shù)據(jù)庫的最高境界就是不用數(shù)據(jù)庫。
六、數(shù)據(jù)庫優(yōu)化
SQL 優(yōu)化方向:
執(zhí)行計(jì)劃、索引、SQL 改寫
架構(gòu)優(yōu)化方向:
高可用架構(gòu)、高性能架構(gòu)、分庫分表
數(shù)據(jù)庫參數(shù)優(yōu)化
調(diào)整:
實(shí)例整體(高級優(yōu)化,擴(kuò)展)
連接層(基礎(chǔ)優(yōu)化)
設(shè)置合理的連接客戶和連接方式
文章版權(quán)歸作者所有,未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為,您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址:http://systransis.cn/yun/31069.html
摘要:編輯大咖說閱讀字?jǐn)?shù)用時分鐘內(nèi)容摘要對于真正企業(yè)級應(yīng)用,需要分布式數(shù)據(jù)庫具備什么樣的能力相比等分布式數(shù)據(jù)庫,他們條最佳性能優(yōu)化性能優(yōu)化索引與優(yōu)化關(guān)于索引與優(yōu)化的基礎(chǔ)知識匯總。 mysql 數(shù)據(jù)庫開發(fā)常見問題及優(yōu)化 這篇文章從庫表設(shè)計(jì),慢 SQL 問題和誤操作、程序 bug 時怎么辦這三個問題展開。 一個小時學(xué)會 MySQL 數(shù)據(jù)庫 看到了一篇適合新手的 MySQL 入門教程,希望對想學(xué) ...
摘要:編輯大咖說閱讀字?jǐn)?shù)用時分鐘內(nèi)容摘要對于真正企業(yè)級應(yīng)用,需要分布式數(shù)據(jù)庫具備什么樣的能力相比等分布式數(shù)據(jù)庫,他們條最佳性能優(yōu)化性能優(yōu)化索引與優(yōu)化關(guān)于索引與優(yōu)化的基礎(chǔ)知識匯總。 mysql 數(shù)據(jù)庫開發(fā)常見問題及優(yōu)化 這篇文章從庫表設(shè)計(jì),慢 SQL 問題和誤操作、程序 bug 時怎么辦這三個問題展開。 一個小時學(xué)會 MySQL 數(shù)據(jù)庫 看到了一篇適合新手的 MySQL 入門教程,希望對想學(xué) ...
閱讀 3547·2021-09-22 15:50
閱讀 3245·2019-08-30 15:54
閱讀 2757·2019-08-30 14:12
閱讀 3067·2019-08-30 11:22
閱讀 2089·2019-08-29 11:16
閱讀 3584·2019-08-26 13:43
閱讀 1198·2019-08-23 18:33
閱讀 930·2019-08-23 18:32