【PHP問題定位】2018-07-02 fpm掉底分析

Code4App 發(fā)布于2019-07-01 10:15 / 2353人閱讀

摘要：順風車運營研發(fā)團隊黃桃問題現(xiàn)象某機器這段時間出現(xiàn)掉地的報警如圖原因分析查看當時的監(jiān)控，等今天出現(xiàn)兩次突降，一次是點左右，一次是左右，查看整周也經(jīng)常出現(xiàn)突降，如圖在分時突然升高也在時出現(xiàn)大量寫當時短暫出現(xiàn)降低，之后出現(xiàn)徒

順風車運營研發(fā)團隊黃桃

問題現(xiàn)象
某機器這段時間出現(xiàn)cpu-idle掉地的報警如圖：

原因分析

查看當時的監(jiān)控（php-fpm-idle、cpu-idle，io-wait、io-write 等）
（1）php-fpm-idle今天出現(xiàn)兩次突降，一次是12點左右，一次是16：30左右，查看整周也經(jīng)常出現(xiàn)突降，如圖

（2）io-wait在11：58分時突然升高

（3）io-write也在11：58時出現(xiàn)大量寫：

（4）cpu-idle當時短暫出現(xiàn)降低，之后出現(xiàn)徒增，但是結合整周的曲線來看，一直維持在70-80之間，徒增原因待分析：

（5）原因推測：因為當時出現(xiàn)了大批量的寫日志，導致io-wait上升，php-fpm進程因為寫文件出現(xiàn)延時，造成整體響應過慢，從而導致了fpm掉地; 對同一個文件進行 write時，大批量并行會出現(xiàn)等待，阻塞

驗證推測
（1）查看當時的php-fpm的慢日志，看當時阻塞的地方，基本是在調用fwrite阻塞

（2）查看當時的程序日志trace.log的大小，日志文件越大的時間段，正好是fpm-idle下滑嚴重的階段：

（3）在通過 sar命令，驗證下當時的寫入磁盤情況，在出現(xiàn)掉地的時間段確實出現(xiàn)極大的寫入，wr_sec/s 從每秒幾百低峰的幾百增長到十幾萬：

問題原因及優(yōu)化建議
寫入日志大可能兩方面原因：

（1）當時請求暴增
（2）請求未暴增，但是某些請求觸發(fā)了某些不合理的打日志
驗證原因1，出現(xiàn)問題時間段每秒的流量

32 [02/Jul/2018:12:01:12
18 [02/Jul/2018:12:01:13
18 [02/Jul/2018:12:01:14
42 [02/Jul/2018:12:01:15
30 [02/Jul/2018:12:01:16
35 [02/Jul/2018:12:01:17
26 [02/Jul/2018:12:01:18
30 [02/Jul/2018:12:01:19
1 [02/Jul/2018:12:01:22
108 [02/Jul/2018:12:01:24
17 [02/Jul/2018:12:01:25
1 [02/Jul/2018:12:01:27
1 [02/Jul/2018:12:01:29
1 [02/Jul/2018:12:01:30
9 [02/Jul/2018:12:01:33
1 [02/Jul/2018:12:01:31
1 [02/Jul/2018:12:01:32
146 [02/Jul/2018:12:01:33
62 [02/Jul/2018:12:01:34
44 [02/Jul/2018:12:01:35
1 [02/Jul/2018:12:01:37
1 [02/Jul/2018:12:01:38
1 [02/Jul/2018:12:01:41
2 [02/Jul/2018:12:01:44
2 [02/Jul/2018:12:01:50
1 [02/Jul/2018:12:01:45
12 [02/Jul/2018:12:01:50
2 [02/Jul/2018:12:01:45
7 [02/Jul/2018:12:01:50
1 [02/Jul/2018:12:01:46
1 [02/Jul/2018:12:01:50
1 [02/Jul/2018:12:01:46
15 [02/Jul/2018:12:01:50
7 [02/Jul/2018:12:01:48
2 [02/Jul/2018:12:01:50
1 [02/Jul/2018:12:01:48
342 [02/Jul/2018:12:01:50
65 [02/Jul/2018:12:01:51
46 [02/Jul/2018:12:01:52
54 [02/Jul/2018:12:01:53
1 [02/Jul/2018:12:01:55
1 [02/Jul/2018:12:01:56
1 [02/Jul/2018:12:01:57
1 [02/Jul/2018:12:01:59
16 [02/Jul/2018:12:02:03
1 [02/Jul/2018:12:02:01
1 [02/Jul/2018:12:02:02
42 [02/Jul/2018:12:02:03
1 [02/Jul/2018:12:02:02
187 [02/Jul/2018:12:02:03
39 [02/Jul/2018:12:02:04
40 [02/Jul/2018:12:02:05
25 [02/Jul/2018:12:02:06
44 [02/Jul/2018:12:02:07
29 [02/Jul/2018:12:02:08

正常情況是QPS是30左右，出問題時間段則非常不穩(wěn)定，時高時低，相差非常大，例如在 12:01:50 時 342 qps，但是前十幾秒則基本都是個位數(shù)；原因？前幾十秒都阻塞了，響應不了，積累到了12:01:50才響應；整體流量并未出現(xiàn)暴增；

驗證原因2，查看當時traceId日志，查看寫進去的內(nèi)容：

發(fā)現(xiàn)這段寫入非常巨大，一行就119kb ，總共寫了 33555 行，總大小占：33555 * 119KB = 3993045KB =3899M 基本可以斷定為這行出的問題了

優(yōu)化建議：在底層打日志的類中對字符串長度做限制，避免這種大批量的寫入；

文章版權歸作者所有，未經(jīng)允許請勿轉載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉載請注明本文地址：http://systransis.cn/yun/28968.html

【PHP問題定位】php-fpm的idle掉底分析

摘要：周三晚加上了對阿波羅超時的監(jiān)控，周四觀察上線期間阿波羅超時指標的變化，時間也吻合。月日下午又報了一次警與此同時的阿波羅超時監(jiān)控這里同時列出機器指標的目的是為了說明，盡管沒有報警，但機器的指標變化和是統(tǒng)一的。順風車運營研發(fā)團隊熊浩含問題現(xiàn)象線上報警群里時而有php-fpm-idle的零星報警，持續(xù)時間很短（幾秒甚至一秒），見下圖 showImg(https://segmentf...

zhangfaliang 2019-07-01 10:31 評論0 收藏0
itertools模塊超實用方法

摘要：相信大家在學習的過程中都用到過這個模塊，但是可能只是用到了其中的一兩個方法，對于其更強大的功能沒有更深的認識。今天我就按照自己的方式向大家介紹一下這個模塊。相信大家在學習python的過程中都用到過這個模塊，但是可能只是用到了其中的一兩個方法，對于其更強大的功能沒有更深的認識。今天我就按照自己的方式向大家介紹一下這個模塊。groupby:用于分組 rows=[ {name:j...

caohaoyu 2019-07-30 18:39 評論0 收藏0
關于PHP程序員解決問題的能力

摘要：但執(zhí)行后沒有任何信息輸出，這時候通過什么方法能知道程序錯在哪里這里可以將解決問題能力分為個等級，越到后面的表示能力越強。這個考驗全部通過，表明此程序員已經(jīng)具備了專業(yè)程序員應該有的解決問題能力了。這個話題老生長談了，在面試中必然考核的能力中，我個人認為解決問題能力是排第一位的，比學習能力優(yōu)先級更高。解決問題的能力既能看出程序員的思維能力，應變能力，探索能力等，又可以看出他的經(jīng)驗。如果解...

lauren_liuling 2019-07-01 10:32 評論0 收藏0
Docker的LNMP一鍵安裝開發(fā)環(huán)境 + PHP非侵入式監(jiān)控平臺xhgui(優(yōu)化系統(tǒng)性能、定位Bu

摘要：的一鍵安裝開發(fā)環(huán)境非侵入式監(jiān)控平臺優(yōu)化系統(tǒng)性能定位的神器之前在用做本地開發(fā)環(huán)境，因為沒有這些對程序性能追蹤及分析的工具，所以索性基于的編排了一套自己使用。 DNMP PLUS dnmp = Docker + Nginx + MySQL + PHP + Redis + MongDB plus = xhgui + xhprof + tideways dnmp-plus = PHPer 的一...

AlanKeene 2019-06-28 17:26 評論0 收藏0
PHP處理WEB請求的流程

摘要：會依據(jù)協(xié)議，將請求的數(shù)據(jù)等信息發(fā)送給解析器，接下來解析器會解析文件，初始化執(zhí)行環(huán)境，然后處理請求，再以規(guī)定的格式返回處理后的結果，退出進程。它的特點是會在動態(tài)分配處理進程給請求，以達到提高效率的目的，大多數(shù)實現(xiàn)都會維護一個進程池。 PHP作為世界上最好的編程語音，被廣泛的運用到Web開發(fā)中。因為其語法和C類似，有著非常平緩的學習曲線，越來越多的人使用PHP進行Web產(chǎn)品的快速開發(fā)。PH...

zhangrxiang 2019-06-27 15:51 評論0 收藏0