資訊專欄INFORMATION COLUMN
摘要：以默認的日志格式為例各字段的含義分別是請求者授權(quán)用戶，如果不使用認證方式，其值為空服務(wù)器時間戳請求類型如，等請求路徑不含參數(shù)協(xié)議版本服務(wù)器返回的狀態(tài)碼如，，等服務(wù)器響應(yīng)報文大小，單位字段值字段以下列舉常用的日志分析命令根據(jù)狀態(tài)碼進行請求
Access logs
以nginx默認的日志格式為例：
$remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent"
各字段的含義分別是：
$remote_addr 請求者IP
$remote_user HTTP授權(quán)用戶，如果不使用Http-based認證方式，其值為空
[$time_local] 服務(wù)器時間戳
"$request" HTTP請求類型(如GET，POST等)+HTTP請求路徑(不含參數(shù))+HTTP協(xié)議版本
$status 服務(wù)器返回的狀態(tài)碼(如200，404，5xx等)
$body_bytes_sent 服務(wù)器響應(yīng)報文大小，單位byte
"$http_referer" referer字段值
"$http_user_agent" User Agent字段
以下列舉常用的日志分析命令
根據(jù)狀態(tài)碼進行請求次數(shù)排序cat access.log | cut -d """ -f3 | cut -d " " -f2 | sort | uniq -c | sort -r
輸出樣例：
210433 200
38587 302
17571 304
4544 502
2616 499
1144 500
706 404
355 504
355 301
252 000
9 403
6 206
2 408
2 400
或者使用awk:
awk "{print $9}" access.log | sort | uniq -c | sort -r
上例顯示有704次404請求，接下來是如何找到這些請求的URL
awk "($9 ~ /404/)" access.log | awk "{print $7}" | sort | uniq -c | sort -r
輸出樣列：
21 /members/katrinakp/activity/2338/ 19 /blogger-to-wordpress/robots.txt 14 /rtpanel/robots.txt
接下來考慮如果找到這些請求的IP地址，使用命令：
awk -F" "($2 ~ "/wp-admin/install.php"){print $1}" access.log | awk "{print $1}" | sort | uniq -c | sort -r
輸出樣例：
14 50.133.11.248 12 97.106.26.244 11 108.247.254.37 10 173.22.165.123
php后綴的404請求（通常是嗅探）
awk "($9 ~ /404/)" access.log | awk -F" "($2 ~ "^GET .*.php")" | awk "{print $7}" | sort | uniq -c | sort -r | head -n 20
按URL的請求數(shù)排序
awk -F" "{print $2}" access.log | awk "{print $2}" | sort | uniq -c | sort -r
url包含XYZ:
awk -F" "($2 ~ "ref"){print $2}" access.log | awk "{print $2}" | sort | uniq -c | sort -r
文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址：http://systransis.cn/yun/39056.html
摘要：日志文件總管日志輪轉(zhuǎn)工具可以自動對日志文件提供截斷壓縮以及輪轉(zhuǎn)的功能。使用假設(shè)我們現(xiàn)在有一個日志文件存儲在，需要對其每日進行切分為新舊兩個日志文件，并刪除天前的舊日志。以后系統(tǒng)就會對該日志進行自動的輪轉(zhuǎn)管理。 部署網(wǎng)絡(luò)應(yīng)用時，會對請求進行日志保存，用于數(shù)據(jù)統(tǒng)計分析以及故障排除，但對于高并發(fā)請求的服務(wù)器，日志文件會迅速增長，快速的消耗磁盤空間，同時，分析一個大文件來排查問題也會非常慢。因...
摘要：通過通過入庫后使用進行查詢的方式可以通過如下種圖片來查看在上圖中主要是查看日志中請求狀態(tài)碼的總數(shù)量。 原文地址: http://52sox.com/use-mongodb-... 在項目開發(fā)過程中,總是離不開日志解析的工作,雖然有些時候覺得確實挺繁瑣的,但是靜下心來會發(fā)現(xiàn)有時候也是挺有趣的1件工作。 在這里,我們要從日志文件中找出IP訪問最多的10條記錄,然后判斷其是否合法,從而采取...
閱讀 3726·2021-10-12 10:11
閱讀 1992·2019-08-30 15:53
閱讀 1601·2019-08-30 13:15
閱讀 2314·2019-08-30 11:25
閱讀 1811·2019-08-29 11:24
閱讀 1659·2019-08-26 13:53
閱讀 3535·2019-08-26 13:22
閱讀 1779·2019-08-26 10:24
