成人国产在线小视频_日韩寡妇人妻调教在线播放_色成人www永久在线观看_2018国产精品久久_亚洲欧美高清在线30p_亚洲少妇综合一区_黄色在线播放国产_亚洲另类技巧小说校园_国产主播xx日韩_a级毛片在线免费

資訊專欄INFORMATION COLUMN

使用Python解析阿里云CDN日志

Zhuxy / 3498人閱讀

摘要：某些原因，一開始沒有設(shè)計(jì)網(wǎng)站的統(tǒng)計(jì)模塊如今需要加上，只能借助于百度統(tǒng)計(jì)或者阿里云的日志文件，阿里云的日志文件是的訪問信息時(shí)間訪問回源訪問命中狀態(tài)頭文件類型將單條記錄轉(zhuǎn)換為對(duì)象時(shí)間訪問回源響應(yīng)時(shí)間請(qǐng)求地址請(qǐng)求大小響應(yīng)大小緩存狀態(tài)

某些原因，一開始沒有設(shè)計(jì)網(wǎng)站的統(tǒng)計(jì)模塊
如今需要加上，只能借助于百度統(tǒng)計(jì)或者阿里云的cdn日志文件，阿里云cdn的日志文件是web的訪問信息

log 
[9/Mar/2016:00:00:16 +0800] 222.171.7.89 - 62113 "http://cloud.insta360.com/post/5e7b029d8ed7e3c4b23006a71bab73c8?e=true&m=true" "GET http://cloud.insta360.com/public/media/mp4/5e7b029d8ed7e3c4b23006a71bab73c8_960x480.mp4" 206 509 20516390 HIT "Mozilla/5.0 (iPhone; CPU iPhone OS 8_4_1 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Mobile/12H321 NewsApp/5.3.2" "video/mp4"
fileds

時(shí)間

訪問IP

回源IP

responsetime

referer

method

訪問URL

httpcode

requestsize

responsesize

cache命中狀態(tài)

UA頭

文件類型

re 
# 將單條記錄轉(zhuǎn)換為Dict對(duì)象
def line2dict(line):
    # Snippet, thanks to http://www.seehuhn.de/blog/52
    parts = [
        r"[(?P
script

AliyunLog.py

# coding=utf-8

import fileinput
import re
import os

try:
    import simplejson as json
except ImportError:
    import json


# 讀取輸入文件并返回Dict對(duì)象
def readfile(file):
    filecontent = {}
    index = 0
    statinfo = os.stat(file)

    # just a guestimate. I believe a single entry contains atleast 150 chars
    if statinfo.st_size < 150:
        print "Not a valid log file. It does not have enough data"
    else:
        for line in fileinput.input(file):
            index = index + 1
            if line != "
":  # don"t read newlines
                filecontent[index] = line2dict(line)

        fileinput.close()
    return filecontent


# 將單條記錄轉(zhuǎn)換為Dict對(duì)象
def line2dict(line):
    # Snippet, thanks to http://www.seehuhn.de/blog/52
    parts = [
        r"[(?P

main.py

#!/usr/bin/env python
# coding=utf-8

import sys
from AliyunLog import *

def main():
    if len(sys.argv) < 3:
        print "Incorrect Syntax. Usage: python main.py -f "
        sys.exit(2)
    elif sys.argv[1] != "-f":
        print "Invalid switch "" + sys.argv[1] + """
        sys.exit(2)
    elif os.path.isfile(sys.argv[2]) == False:
        print "File does not exist"
        sys.exit(2)

    print toJson(sys.argv[2])


if __name__ == "__main__":
    main()
result run script 
python main.py -f data
terminal 
{
    "6432": {
        "res_time": "1728", 
        "res_ip": "118.114.213.118", 
        "req_size": "768", 
        "req_url": "GET http://cloud.insta360.com/public/media/mp4/f9e4bf15d452440c2884b234854d089c_audio.mp3", 
        "origin_ip": "-", 
        "referer": "http://cloud.insta360.com/post/f9e4bf15d452440c2884b234854d089c?m=true&from=timeline&isappinstalled=0", 
        "content_type": "audio/mpeg", 
        "time": "9/Mar/2016:00:59:58 +0800", 
        "ua": "Mozilla/5.0 (iPhone; CPU iPhone OS 9_2 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Mobile/13C75 MicroMessenger/6.3.13 NetType/WIFI Language/zh_CN", 
        "http_code": "206", 
        "res_size": "5290084", 
        "cache_status": "HIT"
    }，
    ...
}
more

參考了github上apache log的解析方法

原文地址：parse-aliyun-cdn-log-file-with-python

文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請(qǐng)注明本文地址：http://systransis.cn/yun/37815.html

相關(guān)文章

  • 深度解析Tengine的調(diào)試與資源監(jiān)控方法論

    摘要：是由淘寶網(wǎng)發(fā)起的服務(wù)器項(xiàng)目?；卦幢O(jiān)控是內(nèi)容分發(fā)網(wǎng)絡(luò)的簡(jiǎn)稱，其分發(fā)的內(nèi)容來自用戶源站，負(fù)責(zé)回源的模塊是最重要組成部分之一，使跨越單機(jī)的限制，完成網(wǎng)絡(luò)數(shù)據(jù)的接收處理和轉(zhuǎn)發(fā)。這部分主要介紹的一些調(diào)試技巧和回源資源監(jiān)控的內(nèi)容，以及相應(yīng)的實(shí)例分享。 摘要： Tengine是由淘寶網(wǎng)發(fā)起的Web服務(wù)器項(xiàng)目。它在Nginx的基礎(chǔ)上，針對(duì)大訪問量網(wǎng)站的需求，提供更強(qiáng)大的流量負(fù)載均衡能力、全站HTTPS...

    everfight 評(píng)論0 收藏0

  • 上海云棲：金融政企行業(yè)的CDN最佳實(shí)踐

    摘要：摘要在剛剛結(jié)束的上海云棲大會(huì)飛天技術(shù)匯分論壇上，阿里云視頻云產(chǎn)品架構(gòu)師羅小飛進(jìn)行了阿里云面向金融政企的最佳實(shí)踐主題分享，為上海的嘉賓介紹的解決方案與技術(shù)服務(wù)體系。隨后，年阿里云宣布全面降價(jià)，打破了行業(yè)原有的價(jià)格不透明一客一價(jià)的模式。 摘要：?在剛剛結(jié)束的上海云棲大會(huì)飛天技術(shù)匯分論壇上，阿里云視頻云產(chǎn)品架構(gòu)師羅小飛進(jìn)行了《阿里云CDN——面向金融政企的CDN最佳實(shí)踐》主題分享，為上海的嘉...

    Kahn 評(píng)論0 收藏0

  • 上海云棲：金融政企行業(yè)的CDN最佳實(shí)踐

    摘要：摘要在剛剛結(jié)束的上海云棲大會(huì)飛天技術(shù)匯分論壇上，阿里云視頻云產(chǎn)品架構(gòu)師羅小飛進(jìn)行了阿里云面向金融政企的最佳實(shí)踐主題分享，為上海的嘉賓介紹的解決方案與技術(shù)服務(wù)體系。隨后，年阿里云宣布全面降價(jià)，打破了行業(yè)原有的價(jià)格不透明一客一價(jià)的模式。 摘要：?在剛剛結(jié)束的上海云棲大會(huì)飛天技術(shù)匯分論壇上，阿里云視頻云產(chǎn)品架構(gòu)師羅小飛進(jìn)行了《阿里云CDN——面向金融政企的CDN最佳實(shí)踐》主題分享，為上海的嘉...

    chengtao1633 評(píng)論0 收藏0

  • 阿里云高級(jí)技術(shù)專家空見： CDN的數(shù)據(jù)化之路

    摘要：數(shù)據(jù)出來后，阿里云還要在全球范圍內(nèi)調(diào)度流量，一絲一毫的不準(zhǔn)確都可能導(dǎo)致很嚴(yán)重的后果，所以對(duì)于數(shù)據(jù)的準(zhǔn)確性要求很高。阿里云更多的是做實(shí)時(shí)數(shù)據(jù)分析。 想要實(shí)現(xiàn)優(yōu)質(zhì)高速的互聯(lián)網(wǎng)視頻服務(wù)，一定離不開高質(zhì)量的內(nèi)容分發(fā)網(wǎng)絡(luò)服務(wù)，就是我們常說的CDN，在10月13日云棲大會(huì)視頻多媒體分論壇上，阿里云高級(jí)技術(shù)專家空見為大家講解了CDN服務(wù)過程中，數(shù)據(jù)處理、安全監(jiān)測(cè)、日志分析、智能分析是如何為CDN賦能...

    番茄西紅柿 評(píng)論0 收藏0

  • 阿里云高級(jí)技術(shù)專家空見： CDN的數(shù)據(jù)化之路

    摘要：數(shù)據(jù)出來后，阿里云還要在全球范圍內(nèi)調(diào)度流量，一絲一毫的不準(zhǔn)確都可能導(dǎo)致很嚴(yán)重的后果，所以對(duì)于數(shù)據(jù)的準(zhǔn)確性要求很高。阿里云更多的是做實(shí)時(shí)數(shù)據(jù)分析。 想要實(shí)現(xiàn)優(yōu)質(zhì)高速的互聯(lián)網(wǎng)視頻服務(wù)，一定離不開高質(zhì)量的內(nèi)容分發(fā)網(wǎng)絡(luò)服務(wù)，就是我們常說的CDN，在10月13日云棲大會(huì)視頻多媒體分論壇上，阿里云高級(jí)技術(shù)專家空見為大家講解了CDN服務(wù)過程中，數(shù)據(jù)處理、安全監(jiān)測(cè)、日志分析、智能分析是如何為CDN賦能...

    rollback 評(píng)論0 收藏0

發(fā)表評(píng)論

0條評(píng)論

閱讀需要支付1元查看
<