基于Egg框架的日志鏈路追蹤實(shí)踐分享

EscapedDog 發(fā)布于2019-08-23 17:58 / 3464人閱讀

摘要：項(xiàng)目擴(kuò)展自定義日志中間件封裝好之后，在實(shí)際項(xiàng)目應(yīng)用中我們還需要一步操作，提供了框架擴(kuò)展功能，包含五項(xiàng)，可以對(duì)這幾項(xiàng)進(jìn)行自定義擴(kuò)展，對(duì)于日志因?yàn)槊看稳罩居涗浳覀冃枰涗洰?dāng)前請(qǐng)求攜帶的做一個(gè)鏈路追蹤，需要用到是的請(qǐng)求上下文擴(kuò)展項(xiàng)。

快速導(dǎo)航

[Logger-Custom] 需求背景

[Logger-Custom] 自定義日志插件開發(fā)

[Logger-Custom] 項(xiàng)目擴(kuò)展

[Logger-Custom] 項(xiàng)目應(yīng)用

[ContextFormatter] contextFormatter自定義日志格式

[Logrotator] 日志切割

需求背景

實(shí)現(xiàn)全鏈路日志追蹤，便于日志監(jiān)控、問題排查、接口響應(yīng)耗時(shí)數(shù)據(jù)統(tǒng)計(jì)等，首先 API 接口服務(wù)接收到調(diào)用方請(qǐng)求，根據(jù)調(diào)用方傳的 traceId，在該次調(diào)用鏈中處理業(yè)務(wù)時(shí)，如需打印日志的，日志信息按照約定的規(guī)范進(jìn)行打印，并記錄 traceId，實(shí)現(xiàn)日志鏈路追蹤。

日志路徑約定

/var/logs/${projectName}/bizLog/${projectName}-yyyyMMdd.log

日志格式約定

日志時(shí)間[]traceId[]服務(wù)端IP[]客戶端IP[]日志級(jí)別[]日志內(nèi)容

采用 Egg.js 框架 egg-logger 中間件，在實(shí)現(xiàn)過程中發(fā)現(xiàn)對(duì)于按照以上日志格式打印是無法滿足需求的（至少目前我還沒找到可實(shí)現(xiàn)方式），如果要自己實(shí)現(xiàn)，可能要自己造輪子了，好在官方的 egg-logger 中間件提供了自定義日志擴(kuò)展功能，參考高級(jí)自定義日志，本身也提供了日志分割、多進(jìn)程日志處理等功能。

egg-logger 提供了多種傳輸通道，我們的需求主要是對(duì)請(qǐng)求的業(yè)務(wù)日志自定義格式存儲(chǔ)，主要用到 fileTransport 和 consoleTransport 兩個(gè)通道，分別打印日志到文件和終端。

自定義日志插件開發(fā)

基于 egg-logger 定制開發(fā)一個(gè)插件項(xiàng)目，參考插件開發(fā)，以下以 egg-logger-custom 為項(xiàng)目，展示核心代碼編寫

編寫logger.js

egg-logger-custom/lib/logger.js

const moment = require("moment");
const FileTransport = require("egg-logger").FileTransport;
const utils = require("./utils");
const util = require("util");

/**
 * 繼承 FileTransport
 */
class AppTransport extends FileTransport {
    constructor(options, ctx) {
        super(options);

        this.ctx = ctx; // 得到每次請(qǐng)求的上下文
    }

    log(level, args, meta) {
        // 獲取自定義格式消息
        const customMsg = this.messageFormat({
            level,
        });

        // 針對(duì) Error 消息打印出錯(cuò)誤的堆棧
        if (args[0] instanceof Error) {
            const err = args[0] || {};
            args[0] = util.format("%s: %s
%s
pid: %s
", err.name, err.message, err.stack, process.pid);
        } else {
            args[0] = util.format(customMsg, args[0]);
        }

        // 這個(gè)是必須的，否則日志文件不會(huì)寫入
        super.log(level, args, meta);
    }

    /**
     * 自定義消息格式
     * 可以根據(jù)自己的業(yè)務(wù)需求自行定義
     * @param { String } level
     */
    messageFormat({
        level
    }) {
        const { ctx } = this;
        const params = JSON.stringify(Object.assign({}, ctx.request.query, ctx.body));

        return [
            moment().format("YYYY/MM/DD HH:mm:ss"),
            ctx.request.get("traceId"),
            utils.serviceIPAddress,
            utils.clientIPAddress(ctx.req),
            level,
        ].join(utils.loggerDelimiter) + utils.loggerDelimiter;
    }
}

module.exports = AppTransport;

工具

egg-logger-custom/lib/utils.js

const interfaces = require("os").networkInterfaces();

module.exports = {

    /**
     * 日志分隔符
     */
    loggerDelimiter: "[]",

    /**
     * 獲取當(dāng)前服務(wù)器IP
     */
    serviceIPAddress: (() => {
        for (const devName in interfaces) {
            const iface = interfaces[devName];

            for (let i = 0; i < iface.length; i++) {
                const alias = iface[i];

                if (alias.family === "IPv4" && alias.address !== "127.0.0.1" && !alias.internal) {
                    return alias.address;
                }
            }
        }
    })(),

    /**
     * 獲取當(dāng)前請(qǐng)求客戶端IP
     * 不安全的寫法
     */
    clientIPAddress: req => {
        const address = req.headers["x-forwarded-for"] || // 判斷是否有反向代理 IP
        req.connection.remoteAddress || // 判斷 connection 的遠(yuǎn)程 IP
        req.socket.remoteAddress || // 判斷后端的 socket 的 IP
        req.connection.socket.remoteAddress;

        return address.replace(/::ffff:/ig, "");
    },

    clientIPAddress: ctx => {    
        return ctx.ip;
    },
}

注意：以上獲取當(dāng)前請(qǐng)求客戶端IP的方式，如果你需要對(duì)用戶的 IP 做限流、防刷限制，請(qǐng)不要使用如上方式，參見科普文：如何偽造和獲取用戶真實(shí) IP ？，在 Egg.js 里你也可以通過 ctx.ip 來獲取，參考前置代理模式。

初始化 Logger

egg-logger-custom/app.js

const Logger = require("egg-logger").Logger;
const ConsoleTransport = require("egg-logger").ConsoleTransport;
const AppTransport = require("./app/logger");

module.exports = (ctx, options) => {
    const logger = new Logger();

    logger.set("file", new AppTransport({
        level: options.fileLoggerLevel || "INFO",
        file: `/var/logs/${options.appName}/bizLog/${options.appName}.log`,
    }, ctx));

    logger.set("console", new ConsoleTransport({
        level: options.consoleLevel || "INFO",
    }));

    return logger;
}

以上對(duì)于日志定制格式開發(fā)已經(jīng)好了，如果你有實(shí)際業(yè)務(wù)需要可以根據(jù)自己團(tuán)隊(duì)的需求，封裝為團(tuán)隊(duì)內(nèi)部的一個(gè) npm 中間件來使用。

項(xiàng)目擴(kuò)展

自定義日志中間件封裝好之后，在實(shí)際項(xiàng)目應(yīng)用中我們還需要一步操作，Egg 提供了框架擴(kuò)展功能，包含五項(xiàng)：Application、Context、Request、Response、Helper，可以對(duì)這幾項(xiàng)進(jìn)行自定義擴(kuò)展，對(duì)于日志因?yàn)槊看稳罩居涗浳覀冃枰涗洰?dāng)前請(qǐng)求攜帶的 traceId 做一個(gè)鏈路追蹤，需要用到 Context（是 Koa 的請(qǐng)求上下文）擴(kuò)展項(xiàng)。

新建 app/extend/context.js 文件

const AppLogger = require("egg-logger-custom"); // 上面定義的中間件

module.exports = {
    get logger() { // 名字自定義 也可以是 customLogger
        return AppLogger(this, {
            appName: "test", // 項(xiàng)目名稱
            consoleLevel: "DEBUG", // 終端日志級(jí)別
            fileLoggerLevel: "DEBUG", // 文件日志級(jí)別
        });
    }
}

建議：對(duì)于日志級(jí)別，可以采用配置中心如 Consul 進(jìn)行配置，上線時(shí)日志級(jí)別設(shè)置為 INFO，當(dāng)需要生產(chǎn)問題排查時(shí)，可以動(dòng)態(tài)開啟 DEBUG 模式。關(guān)于 Consul 可以關(guān)注我之前寫的服務(wù)注冊(cè)發(fā)現(xiàn) Consul 系列

項(xiàng)目應(yīng)用

錯(cuò)誤日志記錄，直接會(huì)將錯(cuò)誤日志完整堆棧信息記錄下來，并且輸出到 errorLog 中，為了保證異?？勺粉櫍仨毐ＷC所有拋出的異常都是 Error 類型，因?yàn)橹挥?Error 類型才會(huì)帶上堆棧信息，定位到問題。

const Controller = require("egg").Controller;

class ExampleController extends Controller {
    async list() {
        const { ctx } = this;

        ctx.logger.error(new Error("程序異常！"));

        ctx.logger.debug("測(cè)試");

        ctx.logger.info("測(cè)試");
    }
}

最終日志打印格式如下所示：

2019/05/30 01:50:21[]d373c38a-344b-4b36-b931-1e8981aef14f[]192.168.1.20[]221.69.245.153[]INFO[]測(cè)試

contextFormatter自定義日志格式

Egg-Logger 最新版本支持通過 contextFormatter 函數(shù)自定義日志格式，參見之前 PR：support contextFormatter #51

應(yīng)用也很簡(jiǎn)單，通過配置 contextFormatter 函數(shù)即可，以下是簡(jiǎn)單的應(yīng)用

config.logger = {
    contextFormatter: function(meta) {
        console.log(meta);
        return [
            meta.date,
            meta.message
        ].join("[]")
    },
    ...
};

同樣的在你的業(yè)務(wù)里對(duì)于需要打印日志的地方，和之前一樣

ctx.logger.info("這是一個(gè)測(cè)試數(shù)據(jù)");

輸出結(jié)果如下所示：

2019-06-04 12:20:10,421[]這是一個(gè)測(cè)試數(shù)據(jù)

日志切割

框架提供了 egg-logrotator 中間件，默認(rèn)切割為按天切割，其它方式可參考官網(wǎng)自行配置。

框架默認(rèn)日志路徑

egg-logger 模塊 lib/egg/config/config.default.js

config.logger = {
    dir: path.join(appInfo.root, "logs", appInfo.name),
    ...
};

自定義日志目錄

很簡(jiǎn)單按照我們的需求在項(xiàng)目配置文件重新定義 logger 的 dir 路徑

config.logger = {
    dir: /var/logs/test/bizLog/
}

這樣是否就可以呢？按照我們上面自定義的日志文件名格式（${projectName}-yyyyMMdd.log），貌似是不行的，在日志分割過程中默認(rèn)的文件名格式為 .log.YYYY-MM-DD ，參考源碼

https://github.com/eggjs/egg-logrotator/blob/master/app/lib/day_rotator.js

 _setFile(srcPath, files) {
    // don"t rotate logPath in filesRotateBySize
    if (this.filesRotateBySize.indexOf(srcPath) > -1) {
      return;
    }

    // don"t rotate logPath in filesRotateByHour
    if (this.filesRotateByHour.indexOf(srcPath) > -1) {
      return;
    }

    if (!files.has(srcPath)) {
      // allow 2 minutes deviation
      const targetPath = srcPath + moment()
        .subtract(23, "hours")
        .subtract(58, "minutes")
        .format(".YYYY-MM-DD"); // 日志格式定義
      debug("set file %s => %s", srcPath, targetPath);
      files.set(srcPath, { srcPath, targetPath });
    }
 }

日志分割擴(kuò)展

中間件 egg-logrotator 預(yù)留了擴(kuò)展接口，對(duì)于自定義的日志文件名，可以用框架提供的 app.LogRotator 做一個(gè)定制。

app/schedule/custom.js

const moment = require("moment");

module.exports = app => {
    const rotator = getRotator(app);

    return {
        schedule: {
            type: "worker", // only one worker run this task
            cron: "1 0 0 * * *", // run every day at 00:00
        },
        async task() {
            await rotator.rotate();
        }
    };
};

function getRotator(app) {
    class CustomRotator extends app.LogRotator {
        async getRotateFiles() {
            const files = new Map();
            const srcPath = `/var/logs/test/bizLog/test.log`;
            const targetPath = `/var/logs/test/bizLog/test-${moment().subtract(1, "days").format("YYYY-MM-DD")}.log`;
            files.set(srcPath, { srcPath, targetPath });
            return files;
        }
    }

    return new CustomRotator({ app });
}

經(jīng)過分割之后文件展示如下：

$ ls -lh /var/logs/test/bizLog/
total 188K
-rw-r--r-- 1 root root 135K Jun  1 11:00 test-2019-06-01.log
-rw-r--r-- 1 root root  912 Jun  2 09:44 test-2019-06-02.log
-rw-r--r-- 1 root root  40K Jun  3 11:49 test.log

擴(kuò)展：基于以上日志格式，可以采用 ELK 做日志搜集、分析、檢索。

作者：五月君
鏈接：https://www.imooc.com/article...
來源：慕課網(wǎng)

閱讀推薦

側(cè)重于Nodejs服務(wù)端技術(shù)棧：https://www.nodejs.red

公眾號(hào)：Nodejs技術(shù)棧

GPU云服務(wù)器云服務(wù)器基于webrtc的框架有哪些 linux追蹤日志日志分析最佳實(shí)踐基于騰訊云的k8s實(shí)踐

文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請(qǐng)注明本文地址：http://systransis.cn/yun/104452.html

發(fā)表評(píng)論

登陸后可評(píng)論

0條評(píng)論

EscapedDog

男|高級(jí)講師

我要關(guān)注我要私信

TA的文章

C++ 程序設(shè)計(jì)：處理含限制條件的好友請(qǐng)求（LeetCode：2076）

閱讀 1008·2021-11-23 09:51
關(guān)于JAVA中順序IO的基本操作

閱讀 3508·2021-11-22 12:04
掃雷（C語言版）

閱讀 2753·2021-11-11 16:55
CSS 入門簡(jiǎn)介

閱讀 3009·2019-08-30 15:55
禁止瀏覽器自動(dòng)填充到表單

閱讀 3263·2019-08-29 14:22
CSS學(xué)習(xí)筆記(十五) 使用map標(biāo)簽實(shí)現(xiàn)單圖多熱點(diǎn)

閱讀 3383·2019-08-28 18:06
手?jǐn)]一個(gè)JS深拷貝函數(shù)

閱讀 1271·2019-08-26 18:36
ES6小結(jié)

閱讀 2152·2019-08-26 12:08

成人国产在线小视频_日韩寡妇人妻调教在线播放_色成人www永久在线观看_2018国产精品久久_亚洲欧美高清在线30p_亚洲少妇综合一区_黄色在线播放国产_亚洲另类技巧小说校园_国产主播xx日韩_a级毛片在线免费

資訊專欄INFORMATION COLUMN

上云采購(gòu)季！| 2核2G4M爆款云服務(wù)器低至59元/年，更有多臺(tái)、長(zhǎng)期優(yōu)惠，快來選購(gòu)！

基于Egg框架的日志鏈路追蹤實(shí)踐分享

相關(guān)文章

螞蟻金服啟動(dòng)分布式中間件開源計(jì)劃，用于快速構(gòu)建金融級(jí)云原生架構(gòu)

個(gè)推基于Docker和Kubernetes的微服務(wù)實(shí)踐

個(gè)推基于Docker和Kubernetes的微服務(wù)實(shí)踐

容器化 — 基于Docker技術(shù)容器云

發(fā)表評(píng)論

0條評(píng)論

EscapedDog

男|高級(jí)講師

TA的文章

C++ 程序設(shè)計(jì)：處理含限制條件的好友請(qǐng)求（LeetCode：2076）

關(guān)于JAVA中順序IO的基本操作

掃雷（C語言版）

CSS 入門簡(jiǎn)介

禁止瀏覽器自動(dòng)填充到表單

CSS學(xué)習(xí)筆記(十五) 使用map標(biāo)簽實(shí)現(xiàn)單圖多熱點(diǎn)

手?jǐn)]一個(gè)JS深拷貝函數(shù)

ES6小結(jié)

最新活動(dòng)

資訊專欄INFORMATION COLUMN

上云采購(gòu)季！| 2核2G4M爆款云服務(wù)器低至59元/年，更有多臺(tái)、長(zhǎng)期優(yōu)惠，快來選購(gòu)！

基于Egg框架的日志鏈路追蹤實(shí)踐分享

相關(guān)文章

發(fā)表評(píng)論

0條評(píng)論

男|高級(jí)講師

TA的文章

最新活動(dòng)

上云采購(gòu)季！| 2核2G4M爆款云服務(wù)器低至59元/年，更有多臺(tái)、長(zhǎng)期優(yōu)惠，快來選購(gòu)！