成人国产在线小视频_日韩寡妇人妻调教在线播放_色成人www永久在线观看_2018国产精品久久_亚洲欧美高清在线30p_亚洲少妇综合一区_黄色在线播放国产_亚洲另类技巧小说校园_国产主播xx日韩_a级毛片在线免费

資訊專欄INFORMATION COLUMN

使用Python解析nginx日志文件

bawn / 2446人閱讀

摘要：項目的一個需求是解析的日志文件。項目中已經(jīng)按照業(yè)務(wù)規(guī)則對日志文件進行了處理命名規(guī)則如下并且所有的日志文件存放在統(tǒng)一路徑下。模塊使用緩存，所以會耗費內(nèi)存，耗費量與要解析的文件相關(guān)。剩下的工作就是根據(jù)業(yè)務(wù)需要，對獲得的基本信息進行處理。

項目的一個需求是解析nginx的日志文件。
簡單的整理如下：

日志規(guī)則描述

首先要明確自己的Nginx的日志格式，這里采用默認Nginx日志格式：

 log_format  main  "$remote_addr - $remote_user [$time_local] "$request" "
                   "$status $body_bytes_sent "$http_referer" "
                   ""$http_user_agent" "$http_x_forwarded_for"";

其中一條真實記錄樣例如下：

172.22.8.207 - - [16/Dec/2014:17:57:35 +0800] "GET /report?DOmjjuS6keWJp+WculSQAgdUkAIPODExMzAwMDJDN0FC HTTP/1.1" 200 0 "-" "XXXXXXX/1.0.16; iPhone/iOS 8.1.2; ; 8DA77E2F91D0"

其中，客戶端型號信息用XXXXXXX代替。

項目中已經(jīng)按照業(yè)務(wù)規(guī)則對Nginx日志文件進行了處理命名規(guī)則如下：

ID-ID-YYMMDD-hhmmss

并且所有的日志文件存放在統(tǒng)一路徑下。

解決思路
獲取所有日志文件path

這里使用Python的glob模塊來獲取日志文件path

import glob


def readfile(path):
    return glob.glob(path + "*-*-*-*")
獲取日志文件中每一行的內(nèi)容

使用Python的linecache模塊來獲取文件行的內(nèi)容

import linecache


def readline(path):
    return linecache.getlines(path)

注意：linecache模塊使用了緩存，所以存在以下問題：

在使用linecache模塊讀取文件內(nèi)容以后，如果文件發(fā)生了變化，那么需要使用linecache.updatecache(filename)來更新緩存，以獲取最新變化。

linecache模塊使用緩存，所以會耗費內(nèi)存，耗費量與要解析的文件相關(guān)。最好在使用完畢后執(zhí)行linecache.clearcache()清空一下緩存。

當(dāng)然，作為優(yōu)化，這里可以利用生成器來進行優(yōu)化。暫且按下不表。

處理日志條目

一條日志信息就是一個特定格式的字符串，因此使用正則表達式來解析，這里使用Python的re模塊。
下面，一條一條建立規(guī)則：

規(guī)則 
    ip = r"?P[d.]*"
    date = r"?Pd+"
    month = r"?Pw+"
    year = r"?Pd+"
    log_time = r"?P
解析 
p = re.compile(r"(%s) - - [(%s)/(%s)/(%s):(%s) [S]+] "(%s)?[s]?(%s)?.*?" (%s) (%s) "(%s)" "(%s).*?"" %( ip, date, month, year, log_time, method, request, status, bodyBytesSent, refer, userAgent ), re.VERBOSE)
m = re.findall(p, logline)

這樣，就可以得到日志條目中各個要素的原始數(shù)據(jù)。

格式及內(nèi)容轉(zhuǎn)化

得到日志原始數(shù)據(jù)之后，需要根據(jù)業(yè)務(wù)要求，對原始數(shù)據(jù)進行格式及內(nèi)容轉(zhuǎn)化。
這里需要處理的內(nèi)容包括：時間，request，userAgent

時間格式轉(zhuǎn)化

在日志信息原始數(shù)據(jù)中存在Dec這樣的信息，利用Python的time模塊可以方便的進行解析

import time


def parsetime(date, month, year, log_time):
    time_str = "%s%s%s %s" %(year, month, date, log_time)
    return time.strptime(time_str, "%Y%b%d %H:%M:%S")
解析request

在日志信息原始數(shù)據(jù)中得到的request的內(nèi)容格式為：

/report?XXXXXX

這里只需要根據(jù)協(xié)議取出XXXXXX即可。
這里仍然采用Python的re模塊

import re


def parserequest(rqst):
    param = r"?P.*"
    p = re.compile(r"/report?(%s)" %param, re.VERBOSE)
    return re.findall(p, rqst)

接下來需要根據(jù)業(yè)務(wù)協(xié)議解析參數(shù)內(nèi)容。這里需要先利用base64模塊解碼，然后再利用struct模塊解構(gòu)內(nèi)容：

import struct
import base64


def parseparam(param):
    decodeinfo = base64.b64decode(param)
    s = struct.Struct("!x" + bytes(len(decodeinfo) - (1 + 4 + 4 + 12)) + "xii12x")
    return s.unpack(decodeinfo)
解析userAgent

在日志信息原始數(shù)據(jù)中userAgent數(shù)據(jù)的格式為：

XXX; XXX; XXX; XXX

根據(jù)業(yè)務(wù)要求，只需要取出最后一項即可。
這里采用re模塊來解析。

import re


def parseuseragent(useragent):
    agent = r"?P.*"
    p = re.compile(r".*;.*;.*;(%s)" %agent, re.VERBOSE)
    return re.findall(p, useragent)

至此，nginx日志文件解析基本完成。
剩下的工作就是根據(jù)業(yè)務(wù)需要，對獲得的基本信息進行處理。
（完）

文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請注明本文地址：http://systransis.cn/yun/37530.html

相關(guān)文章

  • 使用Python解析nginx日志文件

    摘要：項目的一個需求是解析的日志文件。項目中已經(jīng)按照業(yè)務(wù)規(guī)則對日志文件進行了處理命名規(guī)則如下并且所有的日志文件存放在統(tǒng)一路徑下。模塊使用緩存，所以會耗費內(nèi)存，耗費量與要解析的文件相關(guān)。剩下的工作就是根據(jù)業(yè)務(wù)需要，對獲得的基本信息進行處理。 項目的一個需求是解析nginx的日志文件。 簡單的整理如下： 日志規(guī)則描述 首先要明確自己的Nginx的日志格式，這里采用默認Nginx日志格式： ...

    Baaaan 評論0 收藏0

  • 利用MongoDB分析Nginx日志

    摘要：通過通過入庫后使用進行查詢的方式可以通過如下種圖片來查看在上圖中主要是查看日志中請求狀態(tài)碼的總數(shù)量。 原文地址: http://52sox.com/use-mongodb-... 在項目開發(fā)過程中,總是離不開日志解析的工作,雖然有些時候覺得確實挺繁瑣的,但是靜下心來會發(fā)現(xiàn)有時候也是挺有趣的1件工作。 在這里,我們要從日志文件中找出IP訪問最多的10條記錄,然后判斷其是否合法,從而采取...

    edgardeng 評論0 收藏0

  • 利用MongoDB分析Nginx日志

    摘要：通過通過入庫后使用進行查詢的方式可以通過如下種圖片來查看在上圖中主要是查看日志中請求狀態(tài)碼的總數(shù)量。 原文地址: http://52sox.com/use-mongodb-... 在項目開發(fā)過程中,總是離不開日志解析的工作,雖然有些時候覺得確實挺繁瑣的,但是靜下心來會發(fā)現(xiàn)有時候也是挺有趣的1件工作。 在這里,我們要從日志文件中找出IP訪問最多的10條記錄,然后判斷其是否合法,從而采取...

    LiuZh 評論0 收藏0

  • 利用MongoDB分析Nginx日志

    摘要：通過通過入庫后使用進行查詢的方式可以通過如下種圖片來查看在上圖中主要是查看日志中請求狀態(tài)碼的總數(shù)量。 原文地址: http://52sox.com/use-mongodb-... 在項目開發(fā)過程中,總是離不開日志解析的工作,雖然有些時候覺得確實挺繁瑣的,但是靜下心來會發(fā)現(xiàn)有時候也是挺有趣的1件工作。 在這里,我們要從日志文件中找出IP訪問最多的10條記錄,然后判斷其是否合法,從而采取...

    Ajian 評論0 收藏0

發(fā)表評論

0條評論

bawn

男|高級講師

TA的文章

閱讀更多
最新活動
閱讀需要支付1元查看
<