Gunicron + gevent Mongodb數(shù)據(jù)庫(kù)連接一直增加不釋放

Yujiaao 發(fā)布于2019-07-31 10:31 / 1148人閱讀

摘要：解決過(guò)程關(guān)于什么是是一個(gè)上被廣泛使用的高性能的。和大多數(shù)的框架兼容，并具有實(shí)現(xiàn)簡(jiǎn)單，輕量級(jí)，高性能等特點(diǎn)。為了解決這個(gè)問(wèn)題，在實(shí)例化對(duì)象的時(shí)候要加上參數(shù)。參考用來(lái)，能否長(zhǎng)連接連接從未發(fā)布和在上使用

問(wèn)題描述

使用Flask開(kāi)發(fā)的Web服務(wù)，部署在服務(wù)器上使用的是gunicorn manage:app -k gevent -w 4

某日告警，說(shuō)瀏覽器崩了，當(dāng)時(shí)急急忙忙的重啟，搞好了，因?yàn)樗械姆?wù)都正常運(yùn)行，后面查看日志，也沒(méi)有發(fā)現(xiàn)什么特別的地方，最終感覺(jué)因該是MongoDB連接數(shù)滿(mǎn)了，本地測(cè)試發(fā)現(xiàn)確實(shí)是連接數(shù)一直增加，不會(huì)釋放。

解決過(guò)程 關(guān)于Gunicron

什么是Gunicron：是一個(gè)unix上被廣泛使用的高性能的Python WSGI UNIX HTTP Server。和大多數(shù)的web框架兼容，并具有實(shí)現(xiàn)簡(jiǎn)單，輕量級(jí)，高性能等特點(diǎn)。

深入理解uwsgi和gunicorn網(wǎng)絡(luò)模型

為什么要使用Gunicron：用于接受http請(qǐng)求并轉(zhuǎn)換為WSGI協(xié)議，以供實(shí)現(xiàn)了WSGI協(xié)議的flask使用，并且gunicorn得益于gevent等技術(shù)，大幅度提高了性能，在生產(chǎn)環(huán)境以替代框架自帶的WSGI server。

生產(chǎn)環(huán)境

配置

gevent==1.3.6
greenlet==0.4.14
gunicorn==19.9.0
pymongo==3.7.0

mongodb連接代碼

    def __init__(self):
        config_name = os.getenv("FLASK_CONFIG") or "default"
        base_config = config[config_name]  # object
        self.client = MongoClient(host=base_config.MONGO_HOST, port=base_config.MONGO_PORT)
        db_name = base_config.MONGO_NAME
        self.db = self.client[db_name]

修改方案

參考pymongo: MongoClient opened before fork錯(cuò)誤排解

fork是啟動(dòng)新進(jìn)程的方法，由于MongoClient不是進(jìn)程安全的，所以不可以將該實(shí)例從父進(jìn)程中復(fù)制到子進(jìn)程當(dāng)中。在這個(gè)flask應(yīng)用中，flask使用gunicorn作為網(wǎng)關(guān)接口，在啟動(dòng)的時(shí)候會(huì)啟動(dòng)一個(gè)主進(jìn)程和多個(gè)子進(jìn)程，也就是master/workers，這個(gè)時(shí)候就出現(xiàn)了MongoClient實(shí)例在進(jìn)程之間的傳遞。

為了解決這個(gè)問(wèn)題，在實(shí)例化MongoClient對(duì)象的時(shí)候要加上connect=False參數(shù)。

    def __init__(self):
        config_name = os.getenv("FLASK_CONFIG") or "default"
        base_config = config[config_name]  # object
        self.client = MongoClient(host=base_config.MONGO_HOST, port=base_config.MONGO_PORT, maxIdleTimeMS=300000, connect=False)
        db_name = base_config.MONGO_NAME
        self.db = self.client[db_name]

參考

用gevent來(lái)host wsgi server，mysql能否長(zhǎng)連接

python – Mongo連接從未發(fā)布 – Django和Mongoengine在gevent上使用gunicorn