摘要：具體怎么實(shí)現(xiàn)的呢，思想其實(shí)特別簡單，我們在深入理解中的變量上一文的最后有提起過，就是創(chuàng)建一個(gè)全局字典，然后將線程或者協(xié)程標(biāo)識(shí)符作為，相應(yīng)線程或協(xié)程的局部數(shù)據(jù)作為。

在上篇我們看到了 ThreadLocal 變量的簡單使用，中篇對(duì)python中 ThreadLocal 的實(shí)現(xiàn)進(jìn)行了分析，但故事還沒有結(jié)束。本篇我們一起來看下Werkzeug中ThreadLocal的設(shè)計(jì)。

Werkzeug 作為一個(gè) WSGI 工具庫，由于一些方面的考慮，并沒有直接使用python內(nèi)置的ThreadLocal類，而是自己實(shí)現(xiàn)了一系列Local類。包括簡單的Local，以及在此基礎(chǔ)上實(shí)現(xiàn)的LocalStack，LocalManager 和 LocalProxy。接下來我們一起來看看這些類的使用方式，設(shè)計(jì)的初衷，以及具體的實(shí)現(xiàn)技巧。

Werkzeug 的設(shè)計(jì)者認(rèn)為python自帶的ThreadLocal并不能滿足需求，主要因?yàn)橄旅鎯蓚€(gè)原因：

Werkzeug 主要用“ThreadLocal”來滿足并發(fā)的要求，python 自帶的ThreadLocal只能實(shí)現(xiàn)基于線程的并發(fā)。而python中還有其他許多并發(fā)方式，比如常見的協(xié)程（greenlet），因此需要實(shí)現(xiàn)一種能夠支持協(xié)程的Local對(duì)象。

WSGI不保證每次都會(huì)產(chǎn)生一個(gè)新的線程來處理請求，也就是說線程是可以復(fù)用的（可以維護(hù)一個(gè)線程池來處理請求）。這樣如果werkzeug 使用python自帶的ThreadLocal，一個(gè)“不干凈（存有之前處理過的請求的相關(guān)數(shù)據(jù)）”的線程會(huì)被用來處理新的請求。

為了解決這兩個(gè)問題，werkzeug 中實(shí)現(xiàn)了Local類。Local對(duì)象可以做到線程和協(xié)程之間數(shù)據(jù)的隔離，此外，還要支持清理某個(gè)線程或者協(xié)程下的數(shù)據(jù)（這樣就可以在處理一個(gè)請求之后，清理相應(yīng)的數(shù)據(jù)，然后等待下一個(gè)請求的到來）。

具體怎么實(shí)現(xiàn)的呢，思想其實(shí)特別簡單，我們在深入理解Python中的ThreadLocal變量（上） 一文的最后有提起過，就是創(chuàng)建一個(gè)全局字典，然后將線程（或者協(xié)程）標(biāo)識(shí)符作為key，相應(yīng)線程（或協(xié)程）的局部數(shù)據(jù)作為 value。這里 werkzeug 就是按照上面思路進(jìn)行實(shí)現(xiàn)，不過利用了python的一些黑魔法，最后提供給用戶一個(gè)清晰、簡單的接口。

Local 類的實(shí)現(xiàn)在 werkzeug.local 中，以 8a84b62 版本的代碼進(jìn)行分析。通過前兩篇對(duì)ThreadLocal的了解，我們已經(jīng)知道了Local對(duì)象的特點(diǎn)和使用方法。所以這里不再給出Local對(duì)象的使用例子，我們直接看代碼。

class Local(object):
    __slots__ = ("__storage__", "__ident_func__")
    
    def __init__(self):
        object.__setattr__(self, "__storage__", {})
        object.__setattr__(self, "__ident_func__", get_ident)
    ...

由于可能有大量的Local對(duì)象，為了節(jié)省Local對(duì)象占用的空間，這里使用 __slots__ 寫死了Local可以擁有的屬性：

__storage__： 值為一個(gè)字典，用來保存實(shí)際的數(shù)據(jù)，初始化為空；

__ident_func__：值為一個(gè)函數(shù)，用來找到當(dāng)前線程或者協(xié)程的標(biāo)志符。

由于Local對(duì)象實(shí)際的數(shù)據(jù)保存在__storage__中，所以對(duì)Local屬性的操作其實(shí)是對(duì)__storage__的操作。對(duì)于獲取屬性而言，這里用魔術(shù)方法__getattr__攔截__storage__ 和 __ident_func__以外的屬性獲取，將其導(dǎo)向__storage__存儲(chǔ)的當(dāng)前線程或協(xié)程的數(shù)據(jù)。而對(duì)于屬性值的set或者del，則分別用__setattr__和__setattr__來實(shí)現(xiàn)（這些魔術(shù)方法的介紹見屬性控制）。關(guān)鍵代碼如下所示：

def __getattr__(self, name):
    try:
        return self.__storage__[self.__ident_func__()][name]
    except KeyError:
        raise AttributeError(name)

def __setattr__(self, name, value):
    ident = self.__ident_func__()
    storage = self.__storage__
    try:
        storage[ident][name] = value
    except KeyError:
        storage[ident] = {name: value}

def __delattr__(self, name):
    try:
        del self.__storage__[self.__ident_func__()][name]
    except KeyError:
        raise AttributeError(name)

假設(shè)我們有ID為1，2， ... ， N 的N個(gè)線程或者協(xié)程，每個(gè)都用Local對(duì)象保存有自己的一些局部數(shù)據(jù)，那么Local對(duì)象的內(nèi)容如下圖所示：

此外，Local類還提供了__release_local__方法，用來釋放當(dāng)前線程或者協(xié)程保存的數(shù)據(jù)。

Werkzeug 在 Local 的基礎(chǔ)上實(shí)現(xiàn)了 LocalStack 和 LocalManager，用來提供更加友好的接口支持。

LocalStack通過封裝Local從而實(shí)現(xiàn)了一個(gè)線程（或者協(xié)程）獨(dú)立的棧結(jié)構(gòu)，注釋里面有具體的使用方法，一個(gè)簡單的使用例子如下：

ls = LocalStack()
ls.push(12)
print ls.top    # 12
print ls._local.__storage__
# {140735190843392: {"stack": [12]}}

LocalStack 的實(shí)現(xiàn)比較有意思，它將一個(gè)Local對(duì)象作為自己的屬性_local，然后定義接口push, pop 和 top 方法進(jìn)行相應(yīng)的棧操作。這里用 _local.__storage__._local.__ident_func__() 這個(gè)list來模擬棧結(jié)構(gòu)。在接口push, pop和top中，通過操作這個(gè)list來模擬棧的操作，需要注意的是在接口函數(shù)內(nèi)部獲取這個(gè)list時(shí)，不用像上面黑體那么復(fù)雜，可以直接用_local的getattr()方法即可。以 push 函數(shù)為例，實(shí)現(xiàn)如下：

def push(self, obj):
    """Pushes a new item to the stack"""
    rv = getattr(self._local, "stack", None)
    if rv is None:
        self._local.stack = rv = []
    rv.append(obj)
    return rv

pop 和 top 的實(shí)現(xiàn)和一般棧類似，都是對(duì) stack = getattr(self._local, "stack", None) 這個(gè)列表進(jìn)行相應(yīng)的操作。此外，LocalStack還允許我們自定義__ident_func__，這里用 內(nèi)置函數(shù) property 生成了描述器，封裝了__ident_func__的get和set操作，提供了一個(gè)屬性值__ident_func__作為接口，具體代碼如下：

def _get__ident_func__(self):
    return self._local.__ident_func__

def _set__ident_func__(self, value):
    object.__setattr__(self._local, "__ident_func__", value)
__ident_func__ = property(_get__ident_func__, _set__ident_func__)
del _get__ident_func__, _set__ident_func__

Local 和 LocalStack 都是線程或者協(xié)程獨(dú)立的單個(gè)對(duì)象，很多時(shí)候我們需要一個(gè)線程或者協(xié)程獨(dú)立的容器，來組織多個(gè)Local或者LocalStack對(duì)象（就像我們用一個(gè)list來組織多個(gè)int或者string類型一樣）。

Werkzeug實(shí)現(xiàn)了LocalManager，它通過一個(gè)list類型的屬性locals來存儲(chǔ)所管理的Local或者LocalStack對(duì)象，還提供cleanup方法來釋放所有的Local對(duì)象。Werkzeug中LocalManager最主要的接口就是裝飾器方法make_middleware，代碼如下：

def make_middleware(self, app):
    """Wrap a WSGI application so that cleaning up happens after
    request end.
    """
    def application(environ, start_response):
        return ClosingIterator(app(environ, start_response), self.cleanup)
    return application

這個(gè)裝飾器注冊了回調(diào)函數(shù)cleanup，當(dāng)一個(gè)線程（或者協(xié)程）處理完請求之后，就會(huì)調(diào)用cleanup清理它所管理的Local或者LocalStack 對(duì)象（ClosingIterator 的實(shí)現(xiàn)在 werkzeug.wsgi中）。下面是一個(gè)使用 LocalManager 的簡單例子：

from werkzeug.local import Local, LocalManager

local = Local()
local_2 = Local()
local_manager = LocalManager([local, local2])

def application(environ, start_response):
    local.request = request = Request(environ)
    ...

# application 處理完畢后，會(huì)自動(dòng)清理local_manager 的內(nèi)容
application = local_manager.make_middleware(application)

通過LocalManager的make_middleware我們可以在某個(gè)線程（協(xié)程）處理完一個(gè)請求后，清空所有的Local或者LocalStack對(duì)象，這樣這個(gè)線程又可以處理另一個(gè)請求了。至此，文章開始時(shí)提到的第二個(gè)問題就可以解決了。Werkzeug.local 里面還實(shí)現(xiàn)了一個(gè) LocalProxy 用來作為Local對(duì)象的代理，也非常值得去學(xué)習(xí)。

通過這三篇文章，相信對(duì) ThreadLocal 有了一個(gè)初步的了解。Python標(biāo)準(zhǔn)庫和Werkzeug在實(shí)現(xiàn)中都用到了很多python的黑魔法，不過最終提供給用戶的都是非常友好的接口。Werkzeug作為WSGI 工具集，為了解決Web開發(fā)中的特定使用問題，提供了一個(gè)改進(jìn)版本，并且進(jìn)行了一系列封裝，便于使用。不得不說，werkzeug的代碼可讀性非常好，注釋也是寫的非常棒，建議去閱讀源碼。

本文由selfboot 發(fā)表于個(gè)人博客，采用署名-非商業(yè)性使用-相同方式共享 3.0 中國大陸許可協(xié)議。
非商業(yè)轉(zhuǎn)載請注明作者及出處。商業(yè)轉(zhuǎn)載請聯(lián)系作者本人
本文標(biāo)題為：深入理解Python中的ThreadLocal變量（下）
本文鏈接為：http://selfboot.cn/2016/11/03...

Context Locals
Private Variables and Class-local References
How does the @property decorator work?
How do the Proxy, Decorator, Adapter, and Bridge Patterns differ?

Flask源碼剖析
Werkzeug.locals 模塊解讀
Charming Python: 從Flask的request說起
How to remove a key from a python dictionary?
werkzeug源碼分析(local.py)