python大佬養(yǎng)成計(jì)劃----分布式進(jìn)程

honmaple 發(fā)布于2019-07-30 17:53 / 1079人閱讀

摘要：分布式進(jìn)程在和中，應(yīng)當(dāng)優(yōu)選，因?yàn)楦€(wěn)定，而且，可以分布到多臺(tái)機(jī)器上，而最多只能分布到同一臺(tái)機(jī)器的多個(gè)上。由于模塊封裝很好，不必了解網(wǎng)絡(luò)通信的細(xì)節(jié)，就可以很容易地編寫(xiě)分布式多進(jìn)程程序。

分布式進(jìn)程

在Thread和Process中，應(yīng)當(dāng)優(yōu)選Process，因?yàn)镻rocess更穩(wěn)定，而且，Process可以分布到多臺(tái)機(jī)器上，而Thread最多只能分布到同一臺(tái)機(jī)器的多個(gè)CPU上。

Python的 multiprocessing 模塊不但支持多進(jìn)程，其中 managers 子模塊還支持把多進(jìn)程分布到多臺(tái)機(jī)器上。一個(gè)服務(wù)進(jìn)程可以作為調(diào)度者，將任務(wù)分布到其他多個(gè)進(jìn)程中，依靠網(wǎng)絡(luò)通信。由于managers模塊封裝很好，不必了解網(wǎng)絡(luò)通信的細(xì)節(jié)，就可以很容易地編寫(xiě)分布式多進(jìn)程程序。

通過(guò)managers模塊把Queue通過(guò)網(wǎng)絡(luò)暴露出去，就可以讓其他機(jī)器的進(jìn)程訪問(wèn)Queue了。先看服務(wù)進(jìn)程，服務(wù)進(jìn)程負(fù)責(zé)啟動(dòng)Queue，把Queue注冊(cè)到網(wǎng)絡(luò)上，然后往Queue里面寫(xiě)入任務(wù)。

BaseManager：提供了不同機(jī)器進(jìn)程之間共享數(shù)據(jù)的一種方法;

(重要的點(diǎn): ip:port)

# task_master.py

import random
from multiprocessing import freeze_support
from queue import Queue
from multiprocessing.managers import  BaseManager
# 1. 創(chuàng)建需要的隊(duì)列
# task_queue：發(fā)送任務(wù)的隊(duì)列
# coding=utf-8

import random,time
from queue import Queue
from multiprocessing.managers import BaseManager
from multiprocessing import freeze_support

task_queue =  Queue()  # 發(fā)送任務(wù)的隊(duì)列:
result_queue = Queue() # 接收結(jié)果的隊(duì)列:
class QueueManager(BaseManager):  # 從BaseManager繼承的QueueManager:
    pass
# windows下運(yùn)行
def return_task_queue():
    global task_queue
    return task_queue  # 返回發(fā)送任務(wù)隊(duì)列
def return_result_queue ():
    global result_queue
    return result_queue # 返回接收結(jié)果隊(duì)列

def test():
    # 把兩個(gè)Queue都注冊(cè)到網(wǎng)絡(luò)上, callable參數(shù)關(guān)聯(lián)了Queue對(duì)象,它們用來(lái)進(jìn)行進(jìn)程間通信，交換對(duì)象
    #QueueManager.register("get_task_queue", callable=lambda: task_queue)
    #QueueManager.register("get_result_queue", callable=lambda: result_queue)
    QueueManager.register("get_task_queue", callable=return_task_queue)
    QueueManager.register("get_result_queue", callable=return_result_queue)
    # 綁定端口4000, 設(shè)置驗(yàn)證碼"sheenstar":
    #manager = QueueManager(address=("", 4000), authkey=b"sheenstar")
    # windows需要寫(xiě)ip地址
    manager = QueueManager(address=("192.168.1.160", 4000), authkey=b"sheenstar")
    manager.start()  # 啟動(dòng)Queue:
    # 獲得通過(guò)網(wǎng)絡(luò)訪問(wèn)的Queue對(duì)象:
    task = manager.get_task_queue()
    result = manager.get_result_queue()
    for i in range(13):   # 放幾個(gè)任務(wù)進(jìn)去:
        n = random.randint(0, 10000)
        print("Put task %d..." % n)
        task.put(n)
    # 從result隊(duì)列讀取結(jié)果:
    print("Try get results...")
    for i in range(13):
        r = result.get(timeout=10)
        print("Result: %s" % r)

    # 關(guān)閉:
    manager.shutdown()
    print("master exit.")
if __name__=="__main__":
    freeze_support()
    print("start!")
    test()

運(yùn)行程序，會(huì)等待執(zhí)行結(jié)果10s，如果沒(méi)有worker端獲取任務(wù)，返回結(jié)果，程序?qū)?bào)錯(cuò)。

當(dāng)我們?cè)谝慌_(tái)機(jī)器上寫(xiě)多進(jìn)程程序時(shí)，創(chuàng)建的 Queue 可以直接拿來(lái)用，但是，在分布式多進(jìn)程環(huán)境下，添加任務(wù)到Queue不可以直接對(duì)原始的 task_queue 進(jìn)行操作，那樣就繞過(guò)了QueueManager 的封裝，必須通過(guò)manager.get_task_queue()獲得的 Queue 接口添加。

# coding=utf-8
import time, sys
from queue import Queue
from multiprocessing.managers import BaseManager

# 創(chuàng)建類似的QueueManager:
class QueueManager(BaseManager):
    pass

# 由于這個(gè)QueueManager只從網(wǎng)絡(luò)上獲取Queue，所以注冊(cè)時(shí)只提供名字:
QueueManager.register("get_task_queue")
QueueManager.register("get_result_queue")

# 連接到服務(wù)器，也就是運(yùn)行task_master.py的機(jī)器:
server_addr = "192.168.1.160"
print("Connect to server %s..." % server_addr)
# 端口和驗(yàn)證碼注意保持與task_master.py設(shè)置的完全一致:
m = QueueManager(address=(server_addr, 4000), authkey=b"sheenstar")
# 從網(wǎng)絡(luò)連接:
try:
    m.connect()
except:
    print("請(qǐng)先啟動(dòng)task_master.py!")
    #sys.exit("sorry, goodbye!");
# 獲取Queue的對(duì)象:
task = m.get_task_queue()
result = m.get_result_queue()
# 從task隊(duì)列取任務(wù),并把結(jié)果寫(xiě)入result隊(duì)列:
for i in range(13):
    try:
        n = task.get()
        print("run task %d * %d..." % (n, n))
        r = "%d * %d = %d" % (n, n, n*n)
        time.sleep(1)
        result.put(r)
    except ConnectionResetError as e:
        print("任務(wù)執(zhí)行結(jié)束，自動(dòng)斷開(kāi)連接")
# 處理結(jié)束:
print("worker exit.")

使用命令行運(yùn)行程序，結(jié)果更直觀

GPU云服務(wù)器云服務(wù)器 python計(jì)劃任務(wù) python任務(wù)計(jì)劃多進(jìn)程分布式服務(wù)器架構(gòu) 養(yǎng)成

文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請(qǐng)注明本文地址：http://systransis.cn/yun/42481.html

發(fā)表評(píng)論

登陸后可評(píng)論

0條評(píng)論

honmaple

男|高級(jí)講師

我要關(guān)注我要私信

TA的文章

精詞快排SEO不限指數(shù)任意關(guān)鍵詞1元/天最快最快隔天上首頁(yè)

閱讀 3232·2021-11-24 10:30
PIGYun：國(guó)慶優(yōu)惠，香港CN2線路60M帶寬月付19元，韓國(guó)CN2線路30M帶寬月付14元

閱讀 1343·2021-09-30 09:56
華納云：美國(guó)服務(wù)器正式發(fā)售，24元/月買(mǎi) 5M美國(guó)云機(jī)，50M CN2回國(guó)/100M國(guó)際大帶寬月付6

閱讀 2417·2021-09-07 10:20
NameSilo域名優(yōu)惠碼及商家介紹整理匯總

閱讀 2627·2021-08-27 13:10
實(shí)用瀏覽器調(diào)試技巧（動(dòng)畫(huà)、節(jié)點(diǎn)刪除、節(jié)點(diǎn)增加）

閱讀 740·2019-08-30 11:11
前端實(shí)例練習(xí) - 任務(wù)清單 To do list

閱讀 2084·2019-08-29 12:13
javascript性能優(yōu)化

閱讀 787·2019-08-26 12:24
Router入門(mén)0x201: 從 URL 到 SPA

閱讀 2949·2019-08-26 12:20

成人国产在线小视频_日韩寡妇人妻调教在线播放_色成人www永久在线观看_2018国产精品久久_亚洲欧美高清在线30p_亚洲少妇综合一区_黄色在线播放国产_亚洲另类技巧小说校园_国产主播xx日韩_a级毛片在线免费

資訊專欄INFORMATION COLUMN

上云采購(gòu)季！| 2核2G4M爆款云服務(wù)器低至59元/年，更有多臺(tái)、長(zhǎng)期優(yōu)惠，快來(lái)選購(gòu)！

python大佬養(yǎng)成計(jì)劃----分布式進(jìn)程

相關(guān)文章

***python大佬養(yǎng)成計(jì)劃----進(jìn)程、線程與多進(jìn)程***

python大佬養(yǎng)成計(jì)劃--協(xié)程實(shí)現(xiàn)TCP連接

***python大佬養(yǎng)成計(jì)劃-----多進(jìn)程***

python大佬養(yǎng)成計(jì)劃----socket網(wǎng)絡(luò)編程

python大佬養(yǎng)成計(jì)劃----socket實(shí)現(xiàn)TCP通信

發(fā)表評(píng)論

0條評(píng)論

honmaple

男|高級(jí)講師

TA的文章

精詞快排SEO不限指數(shù)任意關(guān)鍵詞1元/天最快最快隔天上首頁(yè)

PIGYun：國(guó)慶優(yōu)惠，香港CN2線路60M帶寬月付19元，韓國(guó)CN2線路30M帶寬月付14元

華納云：美國(guó)服務(wù)器正式發(fā)售，24元/月買(mǎi) 5M美國(guó)云機(jī)，50M CN2回國(guó)/100M國(guó)際大帶寬月付6

NameSilo域名優(yōu)惠碼及商家介紹整理匯總

實(shí)用瀏覽器調(diào)試技巧（動(dòng)畫(huà)、節(jié)點(diǎn)刪除、節(jié)點(diǎn)增加）

前端實(shí)例練習(xí) - 任務(wù)清單 To do list

javascript性能優(yōu)化

Router入門(mén)0x201: 從 URL 到 SPA

最新活動(dòng)

資訊專欄INFORMATION COLUMN

上云采購(gòu)季！| 2核2G4M爆款云服務(wù)器低至59元/年，更有多臺(tái)、長(zhǎng)期優(yōu)惠，快來(lái)選購(gòu)！

python大佬養(yǎng)成計(jì)劃----分布式進(jìn)程

相關(guān)文章

發(fā)表評(píng)論

0條評(píng)論

男|高級(jí)講師

TA的文章

最新活動(dòng)

上云采購(gòu)季！| 2核2G4M爆款云服務(wù)器低至59元/年，更有多臺(tái)、長(zhǎng)期優(yōu)惠，快來(lái)選購(gòu)！