自己實(shí)現(xiàn)異步執(zhí)行任務(wù)的隊(duì)列（二）

zr_hebo 發(fā)布于2019-06-27 10:44 / 1770人閱讀

摘要：六隊(duì)列具體實(shí)現(xiàn)三寫執(zhí)行隊(duì)列的程序根據(jù)設(shè)計(jì)，執(zhí)行隊(duì)列的程序文件是，它的主要功能是把任務(wù)從隊(duì)列表里取出來，并且在后臺執(zhí)行。八服務(wù)器部署一配置咱們執(zhí)行隊(duì)列的程序都寫好了，這個程序怎么觸發(fā)呢，當(dāng)然就要用到的定時任務(wù)，每隔一定的時間，執(zhí)行一次。

六、隊(duì)列具體實(shí)現(xiàn)三：寫執(zhí)行隊(duì)列的程序
根據(jù)設(shè)計(jì)，執(zhí)行隊(duì)列的程序文件是 do_queue.php ，它的主要功能是把任務(wù)從隊(duì)列表里取出來，并且在后臺執(zhí)行。
do_queue.php部分代碼：

$phpcmd = exec("which php");    //查找到php安裝位置
$cqueue = new Queue();
$tasks = $cqueue->getQueueTask(200);
foreach ($tasks as $t)
{
    $taskphp = $t["taskphp"];
    $param = $t["param"];
    $job = $phpcmd . " " . escapeshellarg($taskphp) . " " . escapeshellarg($param);
    system($job);
}

七、具體任務(wù)的業(yè)務(wù)實(shí)現(xiàn)
還是拿群發(fā)消息來做例子，我們需要寫好一個群發(fā)消息的程序，這個程序接收事先定義好的參數(shù)，然后根據(jù)參數(shù)調(diào)用發(fā)消息的接口把消息發(fā)送出去。
這個一般由做業(yè)務(wù)功能的工程師實(shí)現(xiàn)。但是架構(gòu)師事先得寫文檔例子，教會別人使用。
send_msg.php：

$para = $argv[1];
$arr = unserialize($para);
$cmessage = new Message();
foreach($arr["uids"] as $touid)
{
    $cmessage->send($arr["uid"], $touid, $arr["content"]);
}

八、服務(wù)器部署一：配置crontab
咱們執(zhí)行隊(duì)列的程序都寫好了，這個程序怎么觸發(fā)呢，當(dāng)然就要用到linux的定時任務(wù)，每隔一定的時間，執(zhí)行do_queue.php一次。但是呢，這里不是直接調(diào)用do_queue.php，咱們再提高一層，加個調(diào)度程序cron_mission.php，在cron_mission.php里面調(diào)用do_queue.php
配置定時任務(wù) crontab：
l crontab –e
l * * * * * cd /ucai/schedule;php cron_mission.php >> cron_mission.log

可以先使用crontab -l查看本機(jī)已經(jīng)使用的定時任務(wù)

九、服務(wù)器部署二：寫定時任務(wù)調(diào)度程序
思路：將定時任務(wù)寫入到任務(wù)調(diào)度程序cron_mission.php中，這樣可以在cron_mission.php中靈活控制隊(duì)列任務(wù)。相比較直接通過crontab控制doQueue.php而言，避免了頻繁修改服務(wù)器上的crontab，從安全，便于維護(hù)等角度來說，都是上策。

cron_mission.php 示例：

if ($minute % 5 == 0)
{
    if(chdir($site_dir."app/")) {
        $cmd = "$phpcmd do_queue.php > do_queue.log &";
        echo "[" , $ymd , " " , $hour , ":" , $minute , "] " , $cmd , "n";
        system($cmd);
    }
}

十、開啟多進(jìn)程并發(fā)執(zhí)行隊(duì)列
思路：對任務(wù)序列進(jìn)行編號，數(shù)據(jù)庫中執(zhí)行的時候
where條件加上id%每個隊(duì)列要執(zhí)行任務(wù)總數(shù)=隊(duì)列編號
這樣可以避免重復(fù)處理
例如：每個進(jìn)程執(zhí)行10條任務(wù)，修改如下
1：定時任務(wù)的修改
修改前：

if ($minute % 5 == 0)
{
    if(chdir($site_dir."app/")) {
        $cmd = "$phpcmd do_queue.php > do_queue.log &";
        echo "[" , $ymd , " " , $hour , ":" , $minute , "] " , $cmd , "n";
        system($cmd);
    }
}

修改后：

if ($minute % 5 == 0)
{
    for ($i=0; $i < 10; $i++) { 
        $cmd = "$phpcmd doQueue.php 10 $i>> doQueueMission".date("Y-m-d").".log  ";
        echo  date("Y-m-d H:i:s") . "t : " .$cmd."n";
        system($cmd);
    }
}

//每次進(jìn)行10個進(jìn)程，$i來區(qū)分是當(dāng)前的進(jìn)程標(biāo)示
2：隊(duì)列執(zhí)行程序的修改
修改前：

$phpcmd = "D:workwampbinphpphp5.3.10php ";
$cqueue = new Queue();
$tasks = $cqueue->getQueueTask(200);

修改后：

$phpcmd = "D:workwampbinphpphp5.3.10php ";
$total=$argv[1];
$i=$argb[2];
$cqueue = new Queue();
$tasks = $cqueue->getQueueTask($total,$i,200);

3：取隊(duì)列接口的修改

public function getQueueTask($limit = 1000)
     {
        $limit = (int)$limit;
        $sql = "select id, taskphp, param from queue  where status = 0 order by id asc";
        $re = query($sql);
        return $re;
     }

修改后：

public function getQueueTask($total,$i,$limit = 1000)
     {
        $limit = (int)$limit;
        $sql = "select id, taskphp, param from queue  where status = 0 and id%$total=$i order by id asc";
        $re = query($sql);
        return $re;
     }

4：需要關(guān)注服務(wù)器壓力
進(jìn)程數(shù)定為多少，取決于服務(wù)器壓力

十一、實(shí)現(xiàn)任務(wù)優(yōu)先級
1：任務(wù)存儲表加優(yōu)先級字段
在數(shù)據(jù)表里，加一個優(yōu)先級字段，按字段值的數(shù)值大小來區(qū)分優(yōu)先級
2：修改取隊(duì)列任務(wù)接口，按優(yōu)先級取
同樣是在sql語句中增加order by

十二、記錄隊(duì)列日志
1：關(guān)鍵地方加echo
2：shell腳本的>>和>的各自作用
總結(jié)：
我們這里的隊(duì)列實(shí)現(xiàn)借助了服務(wù)器的計(jì)劃任務(wù)來實(shí)現(xiàn)，例如linux中的crontab，這本身是linux系統(tǒng)中的一個程序，平時我們還可以使用他來進(jìn)行定時執(zhí)行.sh腳本，例如將數(shù)據(jù)庫備份打包并ftp傳送到指定服務(wù)器上，這個功能不需要借助php腳本，直接用.sh腳本就可以實(shí)現(xiàn)。在這里我們巧妙的將crontab和php腳本結(jié)合，并且使用crontab來不斷調(diào)用一個隊(duì)列調(diào)度接口cronMission.php，再通過cronMission.php直接來控制具體什么時候或者是滿足什么條件來執(zhí)行什么隊(duì)列任務(wù)。
這里面幾個需要注意的地方
1：往數(shù)據(jù)庫中存取數(shù)據(jù)時，不要直接使用json_encode或者json_decode，容易造成一些意外問題，在代碼中，我們定義了a2s和s2a兩個方法，分別是處理數(shù)組轉(zhuǎn)為字符串，和從數(shù)據(jù)庫中讀取字符串后轉(zhuǎn)為數(shù)組。
2：當(dāng)任務(wù)量比較大，同時服務(wù)器負(fù)載又沒有充分利用的時候，可以使用多進(jìn)程并發(fā)處理，在并發(fā)處理的時候需要考慮一個問題，就是如何避免重復(fù)，在這里我們使用了，對隊(duì)列任務(wù)進(jìn)行標(biāo)記，每次從數(shù)據(jù)庫中讀取一個進(jìn)程需要處理的一批任務(wù)，使用數(shù)據(jù)庫中id與批次標(biāo)示取余等于0的方法來區(qū)分，避免不同批次的隊(duì)列，重復(fù)處理相同任務(wù)。（上面步驟10中有具體實(shí)現(xiàn)）

GPU云服務(wù)器云服務(wù)器異步任務(wù)隊(duì)列消息隊(duì)列的實(shí)現(xiàn) asynctask異步任務(wù) 異步隊(duì)列

文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請注明本文地址：http://systransis.cn/yun/20761.html

發(fā)表評論

登陸后可評論

0條評論

zr_hebo

男|高級講師

我要關(guān)注我要私信

TA的文章

OneTechCloud雙11鉅惠：全場季付8折，新上日本cn2機(jī)型，充值余額多送10%

閱讀 1791·2021-11-11 11:02
海星云主機(jī)怎么用-云主機(jī)怎么使用？

閱讀 1697·2021-09-22 15:55
云主機(jī)如何實(shí)現(xiàn)-云主機(jī)是什么？

閱讀 2499·2021-09-22 15:18
七種css方式讓一個容器水平垂直居中

閱讀 3500·2019-08-29 11:26
js 時間戳/日期格式互轉(zhuǎn)

閱讀 3757·2019-08-26 13:43
閱讀 2656·2019-08-26 13:32
nodejs使用node-xlsx生成excel

閱讀 912·2019-08-26 10:55
cookie使用小結(jié)

閱讀 973·2019-08-26 10:27

成人国产在线小视频_日韩寡妇人妻调教在线播放_色成人www永久在线观看_2018国产精品久久_亚洲欧美高清在线30p_亚洲少妇综合一区_黄色在线播放国产_亚洲另类技巧小说校园_国产主播xx日韩_a级毛片在线免费

資訊專欄INFORMATION COLUMN

上云采購季！| 2核2G4M爆款云服務(wù)器低至59元/年，更有多臺、長期優(yōu)惠，快來選購！

自己實(shí)現(xiàn)異步執(zhí)行任務(wù)的隊(duì)列（二）

相關(guān)文章

**總結(jié)javascript基礎(chǔ)概念（二）：事件隊(duì)列循環(huán)**

**自己實(shí)現(xiàn)異步執(zhí)行任務(wù)的隊(duì)列（一）**

**(轉(zhuǎn))開源的任務(wù)隊(duì)列服務(wù)HTQ**

異步

js運(yùn)行機(jī)制及異步編程（二）

發(fā)表評論

0條評論

zr_hebo

男|高級講師

TA的文章

OneTechCloud雙11鉅惠：全場季付8折，新上日本cn2機(jī)型，充值余額多送10%

海星云主機(jī)怎么用-云主機(jī)怎么使用？

云主機(jī)如何實(shí)現(xiàn)-云主機(jī)是什么？

七種css方式讓一個容器水平垂直居中

js 時間戳/日期格式互轉(zhuǎn)

nodejs使用node-xlsx生成excel

cookie使用小結(jié)

最新活動

資訊專欄INFORMATION COLUMN

上云采購季！| 2核2G4M爆款云服務(wù)器低至59元/年，更有多臺、長期優(yōu)惠，快來選購！

自己實(shí)現(xiàn)異步執(zhí)行任務(wù)的隊(duì)列（二）

相關(guān)文章

發(fā)表評論

0條評論

男|高級講師

TA的文章

最新活動

上云采購季！| 2核2G4M爆款云服務(wù)器低至59元/年，更有多臺、長期優(yōu)惠，快來選購！