成人国产在线小视频_日韩寡妇人妻调教在线播放_色成人www永久在线观看_2018国产精品久久_亚洲欧美高清在线30p_亚洲少妇综合一区_黄色在线播放国产_亚洲另类技巧小说校园_国产主播xx日韩_a级毛片在线免费

資訊專欄INFORMATION COLUMN

Python -- Queue模塊

rubyshen / 3441人閱讀

摘要：默認值為，指定為時代表可以阻塞，若同時指定，在超時時返回。當消費者線程調(diào)用意味著有消費者取得任務(wù)并完成任務(wù)，未完成的任務(wù)數(shù)就會減少。當未完成的任務(wù)數(shù)降到，解除阻塞。

學(xué)習(xí)契機

最近的一個項目中在使用grpc時遇到一個問題，由于client端可多達200，每個端口每10s向grpc server發(fā)送一次請求，server端接受client的請求后根據(jù)request信息更新數(shù)據(jù)庫，再將數(shù)據(jù)庫和配置文件的某些數(shù)據(jù)封裝后返回給client。原代碼的性能是0.26s/request，遠遠達不到所需性能，其中數(shù)據(jù)庫更新操作耗時達到80%，其中一個優(yōu)化點就是將數(shù)據(jù)庫更新操作放在獨立的線程中。
在次之前沒有使用過線程編碼，學(xué)以致用后本著加深理解的想法，將這個過程記錄下來，這里先記下用于線程間通信的隊列Queue的相關(guān)知識。

概念

Python2中隊列庫名稱為Queue，Python3中已改名為queue，項目使用Python2.7.5版本，自然是使用Queue。
Queue模塊中提供了同步的、線程安全的隊列類，包括FIFO（先入先出)隊列Queue，LIFO（后入先出）隊列LifoQueue，和優(yōu)先級隊列PriorityQueue。這些隊列都實現(xiàn)了鎖原語，可在多線程通信中直接使用。

Queue模塊定義了以下類及異常，在隊列類中，maxsize限制可入隊列數(shù)據(jù)的數(shù)量，值小于等于0時代表不限制:

Queue.Queue(maxsize=0) FIFO隊列

Queue.LifoQueue(maxsize=0) LIFO隊列

Queue.PriorityQueue(maxsize=0) 優(yōu)先級隊列

Queue.Empty TODO

Queue.Full

Queue（Queue、LifoQueue、PriorityQueue）對象提供以下方法：

Queue.qsize()
返回隊列大小，但是不保證qsize() > 0時，get()不會阻塞；也不保證qsize() < maxsize時，put()不會阻塞。

Queue.empty()
返回True時，不保證put()時不會阻塞；返回False時不保證get()不會阻塞。

Queue.full()
返回True時，不保證get()時不會阻塞；返回False時不保證put()不會阻塞。

Queue.put(item[, block[, timeout]])
block默認值為False，指定為True時代表可以阻塞，若同時指定timeout，在超時時返回Full exception。

Queue.put_nowait(item)
等同put(item, False)

Queue.get([block[, timeout]])

Queue.get_nowait()
等同get(item, False)

Queue.task_done()
消費者線程調(diào)用。調(diào)用get()后，可調(diào)用task_done()告訴隊列該任務(wù)已經(jīng)處理完畢。
如果當前一個join()正在阻塞，它將在隊列中的所有任務(wù)都處理完時恢復(fù)執(zhí)行（即每一個由put()調(diào)用入隊的任務(wù)都有一個對應(yīng)的task_done()調(diào)用）。

Queue.join()
阻塞調(diào)用線程，直到隊列中的所有任務(wù)被處理掉。
只要有數(shù)據(jù)被加入隊列，未完成的任務(wù)數(shù)就會增加。當消費者線程調(diào)用task_done()（意味著有消費者取得任務(wù)并完成任務(wù)），未完成的任務(wù)數(shù)就會減少。當未完成的任務(wù)數(shù)降到0，join()解除阻塞。

應(yīng)用

UpdateThread是單一消費者進程，獲取FIFO隊列中的數(shù)據(jù)處理，GrpcThread是multi生產(chǎn)者線程，需要對往隊列中丟數(shù)據(jù)這個操作加鎖保證數(shù)據(jù)先后順序。

import threading
import Queue
import time

q = Queue.Queue()
q_lock = threading.Lock()


class UpdateThread(threading.Thread):

    def __init__(self):
        super(self.__class__, self).__init__()
        self.setName(self.__class__.__name__)
        self._setName = self.setName

    @staticmethod
    def update_stat():
        global q
        while not q.empty():
            stat = q.get()
            print "Update stat (%s) in db" % stat

    def run(self):
        while True:
            self.update_stat()
            time.sleep(0.1)


class GrpcThread(threading.Thread):

    def compose_stat(self, stat):
        global q
        q_lock.acquire()
        q.put("%d: %s" % (stat, self.name))
        q_lock.release()
        return

    def run(self):
        for i in range(10):
            self.compose_stat(i)
            time.sleep(0.1)


def launch_update_thread():
    UpdateThread().start()


if __name__ == "__main__":
    launch_update_thread()
    thread1 = GrpcThread()
    thread2 = GrpcThread()

    thread1.start()
    thread2.start()

文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請注明本文地址：http://systransis.cn/yun/44586.html

相關(guān)文章

  • 用Python多線程實現(xiàn)生產(chǎn)者消費者模式

    摘要：在生產(chǎn)者與消費者之間的緩沖區(qū)稱之為倉庫。生產(chǎn)者負責往倉庫運輸商品，而消費者負責從倉庫里取出商品，這就構(gòu)成了生產(chǎn)者消費者模式。中的多線程編程在實現(xiàn)生產(chǎn)者消費者模式之前，我們先學(xué)習(xí)下中的多線程編程。 什么是生產(chǎn)者消費者模式 在軟件開發(fā)的過程中，經(jīng)常碰到這樣的場景：某些模塊負責生產(chǎn)數(shù)據(jù)，這些數(shù)據(jù)由其他模塊來負責處理（此處的模塊可能是：函數(shù)、線程、進程等）。產(chǎn)生數(shù)據(jù)的模塊稱為生產(chǎn)者，而處理數(shù)據(jù)...

    lastSeries 評論0 收藏0

  • python threading模塊使用 以及python多線程操作的實踐(使用Queue隊列模塊)

    摘要：介紹今天花了近乎一天的時間研究關(guān)于多線程的問題，查看了大量源碼自己也實踐了一個生產(chǎn)消費者模型，所以把一天的收獲總結(jié)一下。提供了兩個模塊和來支持的多線程操作。使用來阻塞線程。 介紹 今天花了近乎一天的時間研究python關(guān)于多線程的問題，查看了大量源碼 自己也實踐了一個生產(chǎn)消費者模型，所以把一天的收獲總結(jié)一下。 由于GIL(Global Interpreter Lock)鎖的關(guān)系,純的p...

    shusen 評論0 收藏0

  • python大佬養(yǎng)成計劃----分布式進程

    摘要：分布式進程在和中，應(yīng)當優(yōu)選，因為更穩(wěn)定，而且，可以分布到多臺機器上，而最多只能分布到同一臺機器的多個上。由于模塊封裝很好，不必了解網(wǎng)絡(luò)通信的細節(jié)，就可以很容易地編寫分布式多進程程序。 分布式進程 在Thread和Process中，應(yīng)當優(yōu)選Process，因為Process更穩(wěn)定，而且，Process可以分布到多臺機器上，而Thread最多只能分布到同一臺機器的多個CPU上。 Pytho...

    honmaple 評論0 收藏0

  • 通過網(wǎng)絡(luò)圖片小爬蟲對比Python中單線程與多線（進）程的效率

    摘要：批評的人通常都會說的多線程編程太困難了，眾所周知的全局解釋器鎖，或稱使得多個線程的代碼無法同時運行。多線程起步首先讓我們來創(chuàng)建一個名為的模塊。多進程可能比多線程更易使用，但需要消耗更大的內(nèi)存。 批評 Python 的人通常都會說 Python 的多線程編程太困難了，眾所周知的全局解釋器鎖（Global Interpreter Lock，或稱 GIL）使得多個線程的 Python 代碼無...

    W4n9Hu1 評論0 收藏0

發(fā)表評論

0條評論

最新活動
閱讀需要支付1元查看
<