Promise.all并發(fā)限制

sutaking 發(fā)布于2019-08-23 11:58 / 1836人閱讀

摘要：并發(fā)限制指的是，每個時刻并發(fā)執(zhí)行的數(shù)量是固定的，最終的執(zhí)行結果還是保持與原來的一致。換句話說，就是把生成數(shù)組的控制權，交給并發(fā)控制邏輯。

背景

通常，我們在需要保證代碼在多個異步處理之后執(zhí)行，會用到：

Promise.all(promises: []).then(fun: function);

Promise.all可以保證，promises數(shù)組中所有promise對象都達到resolve狀態(tài)，才執(zhí)行then回調。

這時候考慮一個場景：如果你的promises數(shù)組中每個對象都是http請求，或者說每個對象包含了復雜的調用處理。而這樣的對象有幾十萬個。

那么會出現(xiàn)的情況是，你在瞬間發(fā)出幾十萬http請求（tcp連接數(shù)不足可能造成等待），或者堆積了無數(shù)調用棧導致內存溢出。

這時候，我們就需要考慮對Promise.all做并發(fā)限制。

Promise.all并發(fā)限制指的是，每個時刻并發(fā)執(zhí)行的promise數(shù)量是固定的，最終的執(zhí)行結果還是保持與原來的Promise.all一致。

實現(xiàn)

我們知道，promise并不是因為調用Promise.all才執(zhí)行，而是在實例化promise對象的時候就執(zhí)行了，在理解這一點的基礎上，要實現(xiàn)并發(fā)限制，只能從promise實例化上下手。

換句話說，就是把生成promises數(shù)組的控制權，交給并發(fā)控制邏輯。

這里我并不打算一步步實現(xiàn)這個這個功能，npm中有很多實現(xiàn)這個功能的第三方包，比如async-pool、es6-promise-pool、p-limit，這里我直接拿async-pool的代碼來分析一下實現(xiàn)原理。

代碼很簡單，去掉不必要的代碼，加上自己的注釋，大概內容如下：

function asyncPool(poolLimit, array, iteratorFn) {
    let i = 0;
    const ret = [];
    const executing = [];
    const enqueue = function () {
        // 邊界處理，array為空數(shù)組
        if (i === array.length) {
            return Promise.resolve();
        }
        // 每調一次enqueue，初始化一個promise
        const item = array[i++];
        const p = Promise.resolve().then(() => iteratorFn(item, array));
        // 放入promises數(shù)組
        ret.push(p);
        // promise執(zhí)行完畢，從executing數(shù)組中刪除
        const e = p.then(() => executing.splice(executing.indexOf(e), 1));
        // 插入executing數(shù)字，表示正在執(zhí)行的promise
        executing.push(e);
        // 使用Promise.rece，每當executing數(shù)組中promise數(shù)量低于poolLimit，就實例化新的promise并執(zhí)行
        let r = Promise.resolve();
        if (executing.length >= poolLimit) {
            r = Promise.race(executing);
        }
        // 遞歸，直到遍歷完array
        return r.then(() => enqueue());
    };
    return enqueue().then(() => Promise.all(ret));
}

因為是promise加上遞歸，所以在代碼注釋上不太好標注執(zhí)行順序，但是大概的邏輯可以總結為：

從array第1個元素開始，初始化promise對象，同時用一個executing數(shù)組保存正在執(zhí)行的promise

不斷初始化promise，直到達到poolLimt

使用Promise.race，獲得executing中promise的執(zhí)行情況，當有一個promise執(zhí)行完畢，繼續(xù)初始化promise并放入executing中

所有promise都執(zhí)行完了，調用Promise.all返回

使用方式就是：

const timeout = i => new Promise(resolve => setTimeout(() => resolve(i), i));
return asyncPool(2, [1000, 5000, 3000, 2000], timeout).then(results => {
    ...
});

總結

所謂promise并發(fā)限制，其實根源上就是控制promise的實例化。如果是通過第三方函數(shù)，那么就把創(chuàng)建promise的控制權交給第三方即可。

然而這樣的實現(xiàn)效果，本質上來說已經拋棄了Promise.all而另辟蹊徑。所以期待有一天promise標準能提供這個功能

GPU云服務器云服務器并發(fā)請求限制 ecs 并發(fā)限制限制IP并發(fā)數(shù) linux并發(fā)數(shù)限制

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉載請注明本文地址：http://systransis.cn/yun/97763.html

小程序圖片合成：異步并發(fā)渲染→同步阻塞渲染

摘要：故事開始了，小程序圖片合成真機測試時，會報錯。所以只能將異步并發(fā)改為同步阻塞式渲染。 showImg(https://segmentfault.com/img/remote/1460000013228074); 故事開始了，小程序canvas圖片合成真機測試時，會報錯：getImageInfo failed 。也就是說，我這邊異步請求50張圖片，每張圖片都是通過getImageInf...

zhoutao 2019-08-26 11:36 評論0 收藏0
async/await 異步應用的常用場景

摘要：下面將簡單地描述一下一些日常常用場景加深對認識最普遍的異步操作就是請求我們也可以用來簡單模擬異步請求。其中是必須的如果省略了程序就不能按預期得到結果。前言 async/await 語法用看起來像寫同步代碼的方式來優(yōu)雅地處理異步操作,但是我們也要明白一點,異步操作本來帶有復雜性,像寫同步代碼的方式并不能降低本質上的復雜性,所以在處理上我們要更加謹慎, 稍有不慎就可能寫出不是預期執(zhí)行的代...

ermaoL 2019-08-02 16:18 評論0 收藏0
async/await 異步應用的常用場景

摘要：下面將簡單地描述一下一些日常常用場景加深對認識最普遍的異步操作就是請求我們也可以用來簡單模擬異步請求。其中是必須的如果省略了程序就不能按預期得到結果。前言 async/await 語法用看起來像寫同步代碼的方式來優(yōu)雅地處理異步操作,但是我們也要明白一點,異步操作本來帶有復雜性,像寫同步代碼的方式并不能降低本質上的復雜性,所以在處理上我們要更加謹慎, 稍有不慎就可能寫出不是預期執(zhí)行的代...

darkbug 2019-08-26 13:45 評論0 收藏0
async/await 異步應用的常用場景

摘要：下面將簡單地描述一下一些日常常用場景加深對認識最普遍的異步操作就是請求我們也可以用來簡單模擬異步請求。其中是必須的如果省略了程序就不能按預期得到結果。前言 async/await 語法用看起來像寫同步代碼的方式來優(yōu)雅地處理異步操作,但是我們也要明白一點,異步操作本來帶有復雜性,像寫同步代碼的方式并不能降低本質上的復雜性,所以在處理上我們要更加謹慎, 稍有不慎就可能寫出不是預期執(zhí)行的代...

寵來也 2019-08-30 10:53 評論0 收藏1
多個請求并發(fā)執(zhí)行怎么寫？

摘要：最近在寫一個程序，功能是下載頁面上的資源，首先拿到頁面資源鏈接列表，如要求是資源并行下載，所有資源下載結束后通知，收集錯誤的下載鏈接。如果把上面模擬請求的注釋去掉，還會發(fā)現(xiàn)是在結束后就執(zhí)行了，而后面的請求還未結束。最近在寫一個Node.js程序，功能是下載頁面上的資源，首先拿到頁面資源鏈接列表，如： [ https://xxx.com/img/logo.jpg, https:...

gself 2019-08-26 10:24 評論0 收藏0