資訊專欄INFORMATION COLUMN
摘要：在中由于歷史原因使得中多線程的效果非常不理想使得任何時(shí)刻只能利用一個(gè)核并且它的調(diào)度算法簡(jiǎn)單粗暴多線程中讓每個(gè)線程運(yùn)行一段時(shí)間然后強(qiáng)行掛起該線程繼而去運(yùn)行其他線程如此周而復(fù)始直到所有線程結(jié)束這使得無(wú)法有效利用計(jì)算機(jī)系統(tǒng)中的局部性頻繁的線程切換
GIL
在Python中,由于歷史原因(GIL),使得Python中多線程的效果非常不理想.GIL使得任何時(shí)刻Python只能利用一個(gè)CPU核,并且它的調(diào)度算法簡(jiǎn)單粗暴:多線程中,讓每個(gè)線程運(yùn)行一段時(shí)間t,然后強(qiáng)行掛起該線程,繼而去運(yùn)行其他線程,如此周而復(fù)始,直到所有線程結(jié)束.
這使得無(wú)法有效利用計(jì)算機(jī)系統(tǒng)中的"局部性",頻繁的線程切換也對(duì)緩存不是很友好,造成資源的浪費(fèi).
據(jù)說(shuō)Python官方曾經(jīng)實(shí)現(xiàn)了一個(gè)去除GIL的Python解釋器,但是其效果還不如有GIL的解釋器,遂放棄.后來(lái)Python官方推出了"利用多進(jìn)程替代多線程"的方案,在Python3中也有concurrent.futures這樣的包,讓我們的程序編寫可以做到"簡(jiǎn)單和性能兼得".
多進(jìn)程/多線程+Queue一般來(lái)說(shuō),在Python中編寫并發(fā)程序的經(jīng)驗(yàn)是:計(jì)算密集型任務(wù)使用多進(jìn)程,IO密集型任務(wù)使用多進(jìn)程或者多線程.另外,因?yàn)樯婕暗劫Y源共享,所以需要同步鎖等一系列麻煩的步驟,代碼編寫不直觀.另外一種好的思路是利用多進(jìn)程/多線程+Queue的方法,可以避免加鎖這樣麻煩低效的方式.
現(xiàn)在在Python2中利用Queue+多進(jìn)程的方法來(lái)處理一個(gè)IO密集型任務(wù).
假設(shè)現(xiàn)在需要下載多個(gè)網(wǎng)頁(yè)內(nèi)容并進(jìn)行解析,單進(jìn)程的方式效率很低,所以使用多進(jìn)程/多線程勢(shì)在必行.
我們可以先初始化一個(gè)tasks隊(duì)列,里面將要存儲(chǔ)的是一系列dest_url,同時(shí)開啟4個(gè)進(jìn)程向tasks中取任務(wù)然后執(zhí)行,處理結(jié)果存儲(chǔ)在一個(gè)results隊(duì)列中,最后對(duì)results中的結(jié)果進(jìn)行解析.最后關(guān)閉兩個(gè)隊(duì)列.
下面是一些主要的邏輯代碼.
python# -*- coding:utf-8 -*-
#IO密集型任務(wù)
#多個(gè)進(jìn)程同時(shí)下載多個(gè)網(wǎng)頁(yè)
#利用Queue+多進(jìn)程
#由于是IO密集型,所以同樣可以利用threading模塊
import multiprocessing
def main():
tasks = multiprocessing.JoinableQueue()
results = multiprocessing.Queue()
cpu_count = multiprocessing.cpu_count() #進(jìn)程數(shù)目==CPU核數(shù)目
create_process(tasks, results, cpu_count) #主進(jìn)程馬上創(chuàng)建一系列進(jìn)程,但是由于阻塞隊(duì)列tasks開始為空,副進(jìn)程全部被阻塞
add_tasks(tasks) #開始往tasks中添加任務(wù)
parse(tasks, results) #最后主進(jìn)程等待其他線程處理完成結(jié)果
def create_process(tasks, results, cpu_count):
for _ in range(cpu_count):
p = multiprocessing.Process(target=_worker, args=(tasks, results)) #根據(jù)_worker創(chuàng)建對(duì)應(yīng)的進(jìn)程
p.daemon = True #讓所有進(jìn)程可以隨主進(jìn)程結(jié)束而結(jié)束
p.start() #啟動(dòng)
def _worker(tasks, results):
while True: #因?yàn)榍懊嫠芯€程都設(shè)置了daemon=True,故不會(huì)無(wú)限循環(huán)
try:
task = tasks.get() #如果tasks中沒(méi)有任務(wù),則阻塞
result = _download(task)
results.put(result) #some exceptions do not handled
finally:
tasks.task_done()
def add_tasks(tasks):
for url in get_urls(): #get_urls() return a urls_list
tasks.put(url)
def parse(tasks, results):
try:
tasks.join()
except KeyboardInterrupt as err:
print "Tasks has been stopped!"
print err
while not results.empty():
_parse(results)
if __name__ == "__main__":
main()
利用Python3中的concurrent.futures包
在Python3中可以利用concurrent.futures包,編寫更加簡(jiǎn)單易用的多線程/多進(jìn)程代碼.其使用感覺(jué)和Java的concurrent框架很相似(借鑒?)
比如下面的簡(jiǎn)單代碼示例
pythondef handler():
futures = set()
with concurrent.futures.ProcessPoolExecutor(max_workers=cpu_count) as executor:
for task in get_task(tasks):
future = executor.submit(task)
futures.add(future)
def wait_for(futures):
try:
for future in concurrent.futures.as_completed(futures):
err = futures.exception()
if not err:
result = future.result()
else:
raise err
except KeyboardInterrupt as e:
for future in futures:
future.cancel()
print "Task has been canceled!"
print e
return result
總結(jié)
要是一些大型Python項(xiàng)目也這般編寫,那么效率也太低了.在Python中有許多已有的框架使用,使用它們起來(lái)更加高效.
但是自己的一些"小打小鬧"的程序這樣來(lái)編寫還是不錯(cuò)的.:)
文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請(qǐng)注明本文地址：http://systransis.cn/yun/45376.html
摘要：具有以下基本同步原語(yǔ)子進(jìn)程提供了通過(guò)創(chuàng)建和管理子進(jìn)程的。雖然隊(duì)列不是線程安全的，但它們被設(shè)計(jì)為專門用于代碼。表示異步操作的最終結(jié)果。 Python的asyncio是使用 async/await 語(yǔ)法編寫并發(fā)代碼的標(biāo)準(zhǔn)庫(kù)。通過(guò)上一節(jié)的講解，我們了解了它不斷變化的發(fā)展歷史。到了Python最新穩(wěn)定版 3.7 這個(gè)版本，asyncio又做了比較大的調(diào)整，把這個(gè)庫(kù)的API分為了 高層級(jí)API和...
摘要：并發(fā)用于制定方案，用來(lái)解決可能但未必并行的問(wèn)題。在協(xié)程中使用需要注意兩點(diǎn)使用鏈接的多個(gè)協(xié)程最終必須由不是協(xié)程的調(diào)用方驅(qū)動(dòng)，調(diào)用方顯式或隱式在最外層委派生成器上調(diào)用函數(shù)或方法。對(duì)象可以取消取消后會(huì)在協(xié)程當(dāng)前暫停的處拋出異常。 導(dǎo)語(yǔ)：本文章記錄了本人在學(xué)習(xí)Python基礎(chǔ)之控制流程篇的重點(diǎn)知識(shí)及個(gè)人心得，打算入門Python的朋友們可以來(lái)一起學(xué)習(xí)并交流。 本文重點(diǎn)： 1、了解asyncio...
摘要：最近看前端都展開了幾場(chǎng)而我大知乎最熱語(yǔ)言還沒(méi)有相關(guān)。有關(guān)書籍的介紹，大部分截取自是官方介紹。但從開始，標(biāo)準(zhǔn)庫(kù)為我們提供了模塊，它提供了和兩個(gè)類，實(shí)現(xiàn)了對(duì)和的進(jìn)一步抽象，對(duì)編寫線程池進(jìn)程池提供了直接的支持。 《流暢的python》閱讀筆記 《流暢的python》是一本適合python進(jìn)階的書, 里面介紹的基本都是高級(jí)的python用法. 對(duì)于初學(xué)python的人來(lái)說(shuō), 基礎(chǔ)大概也就夠用了...
摘要：每個(gè)在同一時(shí)間只能執(zhí)行一個(gè)線程在單核下的多線程其實(shí)都只是并發(fā)，不是并行，并發(fā)和并行從宏觀上來(lái)講都是同時(shí)處理多路請(qǐng)求的概念。在多線程下，每個(gè)線程的執(zhí)行方式獲取執(zhí)行代碼直到或者是虛擬機(jī)將其掛起。拿不到通行證的線程，就不允許進(jìn)入執(zhí)行。 進(jìn)程與線程 并發(fā)與并行 進(jìn)程與線程 首先要理解的是，我們的軟件都是運(yùn)行在操作系統(tǒng)之上，操作系統(tǒng)再控制硬件，比如 處理器、內(nèi)存、IO設(shè)備等。操作系統(tǒng)為了向上...
摘要：并發(fā)線程測(cè)試循環(huán)新建線程類，并在線程體內(nèi)塞入單個(gè)的測(cè)試用例，以及全局的計(jì)數(shù)類。為了讓性能測(cè)試更充分，我編寫了不同的計(jì)算過(guò)程，并使用隨機(jī)函數(shù)隨機(jī)獲取并塞入線程執(zhí)行。 ...
閱讀 2009·2021-08-11 11:13
閱讀 1031·2021-07-25 21:37
閱讀 2586·2019-08-29 18:42
閱讀 2521·2019-08-26 12:18
閱讀 926·2019-08-26 11:29
閱讀 1699·2019-08-23 17:17
閱讀 2674·2019-08-23 15:55
閱讀 2617·2019-08-23 14:34
