成人国产在线小视频_日韩寡妇人妻调教在线播放_色成人www永久在线观看_2018国产精品久久_亚洲欧美高清在线30p_亚洲少妇综合一区_黄色在线播放国产_亚洲另类技巧小说校园_国产主播xx日韩_a级毛片在线免费

資訊專欄INFORMATION COLUMN

Laravel 下使用 Guzzle 編寫多線程爬蟲實(shí)戰(zhàn)

hzx / 1535人閱讀

摘要：本文經(jīng)授權(quán)轉(zhuǎn)自社區(qū)說明庫是一套強(qiáng)大的請求套件。本文重點(diǎn)演示如何使用發(fā)起多線程請求。

本文經(jīng)授權(quán)轉(zhuǎn)自 PHPHub 社區(qū)
說明

Guzzle 庫是一套強(qiáng)大的 PHP HTTP 請求套件。

本文重點(diǎn)演示如何使用 Guzzle 發(fā)起多線程請求。

參考

Github 官方用戶接口文檔

Guzzle 并發(fā)請求文檔

Laravel LTS 5.1 - Artisan 文檔

創(chuàng)建命令 1. 運(yùn)行命令行創(chuàng)建命令 
php artisan make:console MultithreadingRequest --command=test:multithreading-request
2. 注冊命令

編輯 app/Console/Kernel.php，在 $commands 數(shù)組中增加：

CommandsMultithreadingRequest::class,
3. 測試下命令

修改 app/Console/Commands/MultithreadingRequest.php 文件，在 handle 方法中增加：

$this->info("hello");

輸出：

$ php artisan test:multithreading-request
hello
4. 安裝 Guzzle 
composer require guzzlehttp/guzzle "6.2"
直接貼代碼

一份可運(yùn)行的代碼勝過千言萬語呀。

下面代碼是 app/Console/Commands/MultithreadingRequest.php 里的內(nèi)容：

totalPageCount = count($this->users);

        $client = new Client();

        $requests = function ($total) use ($client) {
            foreach ($this->users as $key => $user) {

                $uri = "https://api.github.com/users/" . $user;
                yield function() use ($client, $uri) {
                    return $client->getAsync($uri);
                };
            }
        };

        $pool = new Pool($client, $requests($this->totalPageCount), [
            "concurrency" => $this->concurrency,
            "fulfilled"   => function ($response, $index){

                $res = json_decode($response->getBody()->getContents());

                $this->info("請求第 $index 個(gè)請求，用戶 " . $this->users[$index] . " 的 Github ID 為：" .$res->id);

                $this->countedAndCheckEnded();
            },
            "rejected" => function ($reason, $index){
                $this->error("rejected" );
                $this->error("rejected reason: " . $reason );
                $this->countedAndCheckEnded();
            },
        ]);

        // 開始發(fā)送請求
        $promise = $pool->promise();
        $promise->wait();
    }

    public function countedAndCheckEnded()
    {
        if ($this->counter < $this->totalPageCount){
            $this->counter++;
            return;
        }
        $this->info("請求結(jié)束！");
    }
}

運(yùn)行結(jié)果：

$ php artisan test:multithreading-request
請求第 5 個(gè)請求，用戶 zhengjinghua 的 Github ID 為：3413430
請求第 6 個(gè)請求，用戶 NauxLiu 的 Github ID 為：9570112
請求第 0 個(gè)請求，用戶 CycloneAxe 的 Github ID 為：6268176
請求第 1 個(gè)請求，用戶 appleboy 的 Github ID 為：21979
請求第 2 個(gè)請求，用戶 Aufree 的 Github ID 為：5310542
請求第 3 個(gè)請求，用戶 lifesign 的 Github ID 為：2189610
請求第 4 個(gè)請求，用戶 overtrue 的 Github ID 為：1472352
請求結(jié)束！

注意請求是同時(shí)發(fā)送過去的，因?yàn)?concurrency 并發(fā)設(shè)置了 7，所以 7 個(gè)請求同時(shí)發(fā)送，只不過接收到返回的時(shí)間點(diǎn)不一樣。

完。

文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請注明本文地址：http://systransis.cn/yun/21567.html

相關(guān)文章

  • 爬蟲 - 收藏集 - 掘金

    摘要：使用的爬蟲知乎用戶數(shù)據(jù)爬取和分析閱讀掘金背景說明小拽利用的寫的爬蟲，實(shí)驗(yàn)性的爬取了知乎用戶的基本信息同時(shí)，針對爬取的數(shù)據(jù)，進(jìn)行了簡單的分析呈現(xiàn)。 Python 知乎爬蟲（最新） - 后端 - 掘金 環(huán)境：python3.x外部依賴包：requestsgithub項(xiàng)目地址 主要的問題:模擬登陸： 知乎現(xiàn)在改用https請求了，數(shù)據(jù)加密，但是問題不大，重要的是網(wǎng)頁數(shù)據(jù)改動(dòng)了，而且在請求時(shí)后...

    zzbo 評論0 收藏0

  • Beanbun: 簡單開放的 PHP 爬蟲框架

    摘要：是用編寫的多進(jìn)程網(wǎng)絡(luò)爬蟲框架，具有良好的開放性高可擴(kuò)展性。它要天然支持分布式，支持多進(jìn)程或線程，利用，可以方便的建立起一個(gè)功能強(qiáng)大的爬蟲。 Beanbun Beanbun 是用 PHP 編寫的多進(jìn)程網(wǎng)絡(luò)爬蟲框架，具有良好的開放性、高可擴(kuò)展性。 項(xiàng)目地址：https://github.com/kiddyuchin...文檔地址：http://beanbun.org 由來 我希望有這樣一...

    mayaohua 評論0 收藏0

  • Laravel學(xué)習(xí)筆記之Core Concepts in Guzzle Package——Strea

    摘要：使用了來表示該，該接口也是對的抽象，暴露了一些常用方法判斷是否滿足要求的方法的讀寫相關(guān)操作獲取元數(shù)據(jù)方法操作指針相關(guān)方法等等。本篇主要學(xué)習(xí)下相關(guān)使用。后續(xù)還會(huì)分享相關(guān)使用，到時(shí)見。 說明：本文主要學(xué)習(xí)guzzlehttp/guzzle package的使用，該package提供了一套發(fā)送HTTP請求API，就像phpunit package, mockery package, symf...

    singerye 評論0 收藏0

  • PHP相關(guān)

    摘要：的機(jī)器學(xué)習(xí)庫的機(jī)器學(xué)習(xí)庫，包括算法交叉驗(yàn)證神經(jīng)網(wǎng)絡(luò)等內(nèi)容。在即將到來的大會(huì)上，她將和大家分享在機(jī)器學(xué)習(xí)領(lǐng)域的全新可能。入門總結(jié)入門相關(guān)，如安裝配置基本使用等。 基于 Swoole 開發(fā) PHP 擴(kuò)展 Swoole-1.9.7 增加了一個(gè)新特性，可以基于 Swoole 使用 C++ 語言開發(fā)擴(kuò)展模塊，在擴(kuò)展模塊中可以注冊 PHP 內(nèi)置函數(shù)和類?，F(xiàn)在可以基于 Swoole 來編寫 PHP ...

    lewinlee 評論0 收藏0

  • PHP新手開發(fā)者的路線建議

    摘要：年開發(fā)者應(yīng)該熟練使用，并且知道版本更新內(nèi)容。對開發(fā)和運(yùn)維人員來說，最希望的就是一次性創(chuàng)建或配置，可以在任意地方正常運(yùn)行。是標(biāo)準(zhǔn)規(guī)范，是開發(fā)的實(shí)踐標(biāo)準(zhǔn)。對開發(fā)者來說語言推薦和，全棧的選擇非常多，推薦熱門的 前言 在前天（2018-08-02）已經(jīng)發(fā)布了PHP 7.3.0.beta1 Released 如果你還沒有使用 PHP7 ，那真的很遺憾。2018年P(guān)HP開發(fā)者應(yīng)該熟練使用 PHP7...

    klinson 評論0 收藏0

發(fā)表評論

0條評論

hzx

男|高級(jí)講師

TA的文章

閱讀更多
最新活動(dòng)
閱讀需要支付1元查看
<