成人国产在线小视频_日韩寡妇人妻调教在线播放_色成人www永久在线观看_2018国产精品久久_亚洲欧美高清在线30p_亚洲少妇综合一区_黄色在线播放国产_亚洲另类技巧小说校园_国产主播xx日韩_a级毛片在线免费

資訊專欄INFORMATION COLUMN

窺探PostgreSQL執(zhí)行計劃

IT那活兒 / 2760人閱讀
窺探PostgreSQL執(zhí)行計劃
點擊上方“IT那活兒”公眾號，關(guān)注后了解更多內(nèi)容，不管IT什么活兒，干就完了?。?！

在dba的日常工作中，時常會收到應(yīng)用側(cè)的通知“XX幫看看某數(shù)據(jù)庫是不是有問題，SQL跑不動了，好慢之類的等等”。這種一般都是SQL性能類問題，通過執(zhí)行計劃我們將直觀的確認(rèn)SQL性能是否存在隱患,掌握執(zhí)行計劃這項技能就顯得尤為重要，下面就一起來學(xué)習(xí)一下pg的執(zhí)行計劃吧。

首先我們先要搞懂SQL執(zhí)行計劃到底是個什么東東,簡單的來講就是SQL語句在數(shù)據(jù)庫內(nèi)部從取數(shù)據(jù)到返回結(jié)果集的一個完整過程，通過這個過程，我們可以看到SQL每一步的開銷，進(jìn)而判斷SQL響應(yīng)是否正常.那在pg中執(zhí)行計劃又包含4大類型，如下：

  • 1.控制節(jié)點(ControlNode)：

    Append/Uniq組織多個字表或子查詢的執(zhí)行節(jié)點，主要用于union操作.

  • 2.掃描節(jié)點(ScanNode)：

    用于掃描表等對象以獲取結(jié)果集,比如常見得全表掃描(SeqScan),索引掃描(IndexScan).

  • 3.物化節(jié)點(MaterializationNode):

    緩存執(zhí)行結(jié)果，等待后續(xù)調(diào)用，比如用來排序、聚合計算等

  • 4.連接節(jié)點（JoinNode）：

    多表連接時，表連接方式，比如hashjoin，nestedloopjoin ,merge join 等等.

叨叨了這么多，接下來我們還是制作2張表進(jìn)行實戰(zhàn)練習(xí)，畢竟實戰(zhàn)岀真知。

  • t_user,用戶表，并填充50萬行數(shù)據(jù)信息.

  • t_cust,cust表，以tid關(guān)聯(lián)t_user表，并填充150萬行數(shù)據(jù)信息.具體如下：

在pg中查看執(zhí)行計劃使用explain命令,語法如下：

EXPLAIN [ ( option[, ...] ) ] statement

EXPLAIN [ ANALYZE ][ VERBOSE ] statement
這里option可選項如下：

  • ANALYZE [boolean ]

  • VERBOSE [boolean ]

  • COSTS [ boolean]

  • BUFFERS [boolean ]

  • TIMING [ boolean]

  • SUMMARY [boolean ]

  • FORMAT { TEXT |XML | JSON | YAML }

注意EXPLAIN默認(rèn)不執(zhí)行語句,只顯示估算信息，EXPLAIN ANALYZE會實際執(zhí)行語句且輸出真實消耗信息，當(dāng)我們診斷DML語句時就要格外小心ANALYZE選項以免影響生產(chǎn)數(shù)據(jù)。

先來看一個簡單查詢計劃：

這里SeqScan on t_user即上文提及的掃描節(jié)點(ScanNode),代表著以全表掃描的方式訪問t_user表。圓括號中cost單位毫秒，0.00代表這一步計劃的啟動開銷。12423為這一步計劃的總開銷.rows為結(jié)果行數(shù)，width為平均行的字節(jié)數(shù)。

注意這里都是估算，查看實際執(zhí)行的信息需要使EXPLAINANALYZE，如下：

其中actual為實際耗時信息,以及最后輸出的該語句的總時長。相較于總執(zhí)行時長60.519ms的開銷，主要都消耗在了掃描節(jié)點(60.494ms)上,且掃描節(jié)點下的Filter和RowsRemoved byFilter輸出也提示基本上是99%的過濾性;這一步計劃就可以發(fā)現(xiàn)存在優(yōu)化空間，在tid字段上建立索引再來觀察執(zhí)行計劃.如下:

可以看到表的掃描節(jié)點已經(jīng)更新成索引掃描(Indexscan using idx_user),sql Execution time從60ms下降到0.08ms,提升明顯。

再來看一個帶有控制節(jié)點的計劃：

由于這條語句使用了union操作，所以計劃中便出現(xiàn)了Append控制節(jié)點(ControlNode),對它的2個掃描子節(jié)點進(jìn)行數(shù)據(jù)合并.注意這2個子掃描節(jié)點由于是同層關(guān)系(以->觀察),執(zhí)行順序?qū)⒂缮现料隆?/span>

接下來是帶有物化節(jié)點(MaterializationNode)的計劃：

這里的GroupAggregate以及Sort節(jié)點便是物化節(jié)點。其使用子掃描節(jié)點的數(shù)據(jù)進(jìn)行排序和分組計算。需要注意由于->存在不同層級，則最里層最先執(zhí)行，即第一步執(zhí)行SeqScan返回結(jié)果集，第二步處理的是其子項第一步的結(jié)果，所以這里就出現(xiàn)了物化節(jié)點，第三步同理,處理的是第二步的結(jié)果，同樣是物化節(jié)點。

最后我們在來看2種常見的表連接執(zhí)行計劃：

第一種HashJoin:

既然是表連接，必然會出現(xiàn)連接節(jié)點;那圖中黃色部分就代表這是一個使用HashJoin算法關(guān)聯(lián)的連接節(jié)點。根據(jù)由里至外，由上至下規(guī)則;則過程如下：

  • 第一步:對t_user進(jìn)行全表掃描，根據(jù)tid< 150000過濾350001行，返回149999行；

  • 第二步:對第一步的結(jié)果集進(jìn)行Hash處理生成HashBuckets；

  • 第三步:對t_cust進(jìn)行全表掃描,返回結(jié)果集1500000行；

  • 第四步:根據(jù)HashJoin條件,使用步驟三的結(jié)果集與HashBuckets關(guān)聯(lián)取出匹配的行,返回結(jié)果集.225044行；

  • 第五步:對第三步hash結(jié)果集進(jìn)行聚合算并最終返回結(jié)果集1行。

第二種NestedLoop:

圖中黃色部分就代表這是一個使用NestedLoop算法關(guān)聯(lián)的連接節(jié)點;具體執(zhí)行過程如下：

  • 第一步：t_cust.cname字段存在索引，則使用索引掃描返回結(jié)果集.rows=3；

  • 第二步：根據(jù)Nestedloop算法，使用步驟一的結(jié)果集(rows=3)，以這3行結(jié)果集中的tid(JoinFilter)作為條件循環(huán)掃描t_user表3次(單次掃描處理500000行)，最終NestedLoop過濾1499999行數(shù)據(jù).返回1行結(jié)果集(rows=1)在這個計劃中可以看到循環(huán)體內(nèi)(Seq Scan on t_user a)，掃描的結(jié)果集較大，且過濾性非常高，適合在該字段上創(chuàng)建索引。

在t_user.tid字段上創(chuàng)建索引在來觀察執(zhí)行計劃：

可以看到仍然是NestedLoop表關(guān)聯(lián)，其中子項掃描節(jié)點變化為同層關(guān)系;具體過程如下：

  • 第一步:索引掃描t_cust表，返回結(jié)果集rows=3；

  • 第二步:根據(jù)NestedLoop算法，使用步驟一結(jié)果集中的tid循序使用新建的tdx_user_tid索引掃描3次,并最終返回結(jié)果集rows=3。

從整個執(zhí)行時間來看從6271ms縮短到0.151ms,提升非常明顯。

從上面2個表關(guān)聯(lián)案例中我們可以發(fā)現(xiàn)HashJoin適用于大結(jié)果集的表關(guān)聯(lián),并不關(guān)注最終返回結(jié)果集,分析型場景較多;而NestedLoop往往最終返回結(jié)果集較小,通常都是交易型場景,要求驅(qū)動表謂詞條件相對精確，縮小結(jié)果集以降低循環(huán)次數(shù)，以及被驅(qū)動表的關(guān)聯(lián)條件上需要創(chuàng)建索引，提升循環(huán)體內(nèi)部的掃描效率;總體而言NestedLoop出現(xiàn)問題的情況比較多，需要額外注意。

通過以上幾種案例解讀，可以發(fā)現(xiàn)各種數(shù)據(jù)庫執(zhí)行計劃都大同小異 ,問題的類型以及優(yōu)化思路也基本類似,本文就到此為止，后續(xù)小短文敬請期待。


本文作者：胡 杰（上海新炬王翦團(tuán)隊）

本文來源：“IT那活兒”公眾號

文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請注明本文地址：http://systransis.cn/yun/129249.html

相關(guān)文章

  • 大佬為你揭秘微信支付的系統(tǒng)架構(gòu)，你想知道的都在這里了

    摘要：年之前，微信支付業(yè)務(wù)快速發(fā)展，需要一款數(shù)據(jù)庫能夠安全高效的支撐微信支付商戶系統(tǒng)核心業(yè)務(wù)，這個重任落在了騰訊數(shù)據(jù)庫團(tuán)隊自研上。由于是用于微信支付的核心數(shù)據(jù)庫，騰訊被定位為安全高效，穩(wěn)定，可靠的數(shù)據(jù)庫集群。 歡迎大家前往騰訊云+社區(qū)，獲取更多騰訊海量技術(shù)實踐干貨哦~ 本文由李躍森發(fā)表于云+社區(qū)專欄李躍森，騰訊云PostgreSQL首席架構(gòu)師，騰訊數(shù)據(jù)庫團(tuán)隊架構(gòu)師，負(fù)責(zé)微信支付商戶系統(tǒng)核心數(shù)...

    Terry_Tai 評論0 收藏0

  • 數(shù)據(jù)倉庫架構(gòu)的變遷

    摘要：前面我們簡單闡述了分布式數(shù)據(jù)庫的架構(gòu)，并通過一條簡單的查詢語句解釋了分布式的執(zhí)行計劃。 引言 第八屆中國架構(gòu)師大會（SACC2016）10月27號到29號在北京萬達(dá)索菲特大飯店成功舉辦。大會以架構(gòu)創(chuàng)新之路為主題，云集了國內(nèi)外頂尖專家，共同探討云計算和大數(shù)據(jù)等技術(shù)背景下，如何通過架構(gòu)創(chuàng)新及各種IT新技術(shù)來帶動企業(yè)轉(zhuǎn)型增效。作為一家專注于云端數(shù)據(jù)倉庫的初創(chuàng)公司，酷克數(shù)據(jù)受邀在SACC201...

    Raaabbit 評論0 收藏0

  • SQLAlchemy in 查詢空列表問題分析

    摘要：收集有關(guān)數(shù)據(jù)庫中表的內(nèi)容的統(tǒng)計信息。預(yù)計的該規(guī)劃節(jié)點的行平均寬度單位字節(jié)。其中上層節(jié)點的開銷將包括其所有子節(jié)點的開銷。一般而言，頂層的行預(yù)計數(shù)量會更接近于查詢實際返回的行數(shù)。 問題場景 有model Account，SQLAlchemy 查詢語句如下： query = Account.query.filter(Account.id.in_(account_ids)).order_by(...

    lsxiao 評論0 收藏0

  • SQLAlchemy in 查詢空列表問題分析

    摘要：收集有關(guān)數(shù)據(jù)庫中表的內(nèi)容的統(tǒng)計信息。預(yù)計的該規(guī)劃節(jié)點的行平均寬度單位字節(jié)。其中上層節(jié)點的開銷將包括其所有子節(jié)點的開銷。一般而言，頂層的行預(yù)計數(shù)量會更接近于查詢實際返回的行數(shù)。 問題場景 有model Account，SQLAlchemy 查詢語句如下： query = Account.query.filter(Account.id.in_(account_ids)).order_by(...

    joy968 評論0 收藏0

發(fā)表評論

0條評論

IT那活兒

男|高級講師

TA的文章

閱讀更多
最新活動
閱讀需要支付1元查看
<