php中curl_multi函數(shù)集的用法

neu 發(fā)布于2019-06-27 14:56 / 3516人閱讀

摘要：今天我就來(lái)聊聊我關(guān)于函數(shù)集的使用心得，關(guān)于請(qǐng)求的問(wèn)題。耗時(shí)這是不能容忍的。事實(shí)上內(nèi)部實(shí)現(xiàn)就是用的事件循環(huán)。通過(guò)函數(shù)創(chuàng)建下載器。四復(fù)雜的運(yùn)用這就是用法在上面的例子中。動(dòng)態(tài)的從下載器中取出已經(jīng)完成了的請(qǐng)求。函數(shù)實(shí)現(xiàn)的壓測(cè)工具。

一、引言

這段時(shí)間比較忙，已經(jīng)很久沒(méi)有寫(xiě)博客了。今天我就來(lái)聊聊我關(guān)于curl_multi_*函數(shù)集的使用心得，關(guān)于http請(qǐng)求的問(wèn)題。

當(dāng)我們用戶php發(fā)起一個(gè)http請(qǐng)求的時(shí)候。我們會(huì)首先想到用什么？沒(méi)錯(cuò)，我們會(huì)創(chuàng)建curl來(lái)請(qǐng)求。當(dāng)我們?cè)谝淮螆?zhí)行中需要發(fā)起多個(gè)http請(qǐng)求呢。這簡(jiǎn)單，對(duì)每一個(gè)URL發(fā)起一次url請(qǐng)求。請(qǐng)求玩第1個(gè)再請(qǐng)求第2個(gè)....這就完了？哪我們還說(shuō)個(gè)啥。

官網(wǎng)鏈接：http://php.net/manual/zh/book.curl.php

二、多次簡(jiǎn)單的curl請(qǐng)求弊端

我們舉個(gè)栗子?，F(xiàn)在有三個(gè)http請(qǐng)求。每個(gè)請(qǐng)求耗時(shí)2s。如果按照簡(jiǎn)單的curl請(qǐng)求（圖1-(1)）。耗時(shí)6s.這是不能容忍的。如果請(qǐng)求的個(gè)數(shù)越多耗時(shí)約多。

有沒(méi)有一種方式來(lái)縮小查詢(xún)時(shí)間？能不能三個(gè)http請(qǐng)求同時(shí)執(zhí)行（如圖1-(1)）？有很多方法來(lái)解決這個(gè)問(wèn)題，將耗時(shí)減少到2s。如：多進(jìn)程、線程、事件循環(huán)、curl_multi_*等等。最簡(jiǎn)單的方式就是通過(guò)curl_multi_*函數(shù)來(lái)完成。事實(shí)上curl_multi_*內(nèi)部實(shí)現(xiàn)就是用的事件循環(huán)。

三、簡(jiǎn)單的curl_multi_*運(yùn)用

$value){
        $options[$key] =$value;
    }
    if(!empty($postData) && is_array($postData)){
        $options[CURLOPT_POST] = true;
        $options[CURLOPT_POSTFIELDS] = http_build_query($postData);
    }
    if(stripos($url,"https") === 0){
        $options[CURLOPT_SSL_VERIFYPEER] = false;
    }
    $ch = curl_init();
    curl_setopt_array($ch,$options);

    return $ch;
}

// 創(chuàng)建三個(gè)待請(qǐng)求的url對(duì)象
$chList = array();
$chList[] = getCurlObject("https://www.baidu.com");
$chList[] = getCurlObject("http://www.jd.com");
$chList[] = getCurlObject("http://www.jianshu.com/");

// 創(chuàng)建多請(qǐng)求執(zhí)行對(duì)象
$downloader = curl_multi_init();

// 將三個(gè)待請(qǐng)求對(duì)象放入下載器中
foreach ($chList as $ch){
    curl_multi_add_handle($downloader,$ch);
}

// 輪詢(xún)
do {
    while (($execrun = curl_multi_exec($downloader, $running)) == CURLM_CALL_MULTI_PERFORM) ;
    if ($execrun != CURLM_OK) {
        break;
    }

    // 一旦有一個(gè)請(qǐng)求完成，找出來(lái)，處理,因?yàn)閏url底層是select，所以最大受限于1024
    while ($done = curl_multi_info_read($downloader))
    {
        // 從請(qǐng)求中獲取信息、內(nèi)容、錯(cuò)誤
        $info = curl_getinfo($done["handle"]);
        $output = curl_multi_getcontent($done["handle"]);
        $error = curl_error($done["handle"]);

        // 將請(qǐng)求結(jié)果保存,我這里是打印出來(lái)
        print $output;
//        print "一個(gè)請(qǐng)求下載完成!
";

        // 把請(qǐng)求已經(jīng)完成了得 curl handle 刪除
        curl_multi_remove_handle($downloader, $done["handle"]);
    }

    // 當(dāng)沒(méi)有數(shù)據(jù)的時(shí)候進(jìn)行堵塞，把 CPU 使用權(quán)交出來(lái)，避免上面 do 死循環(huán)空跑數(shù)據(jù)導(dǎo)致 CPU 100%
    if ($running) {
        $rel = curl_multi_select($downloader, 1);
        if($rel == -1){
            usleep(1000);
        }
    }

    if( $running == false){
        break;
    }
} while (true);

// 下載完畢,關(guān)閉下載器
curl_multi_close($downloader);
echo "所有請(qǐng)求下載完成!";

在該例子中，首先創(chuàng)建三個(gè)或多個(gè)要請(qǐng)求的url請(qǐng)求對(duì)象。通過(guò)curl_multi_*函數(shù)創(chuàng)建下載器。將請(qǐng)求寫(xiě)入下載器中。最后輪詢(xún)。等待三個(gè)請(qǐng)求現(xiàn)在完成。做處理。

四、復(fù)雜的curl_multi_*運(yùn)用

這就是curl_multi_*用法？too yong too simple！在上面的例子中。下載器$downloader中的請(qǐng)求是一開(kāi)始就添加好了的。我們能不能動(dòng)態(tài)的向下載器中添加請(qǐng)求。動(dòng)態(tài)的從下載器中取出已經(jīng)完成了的請(qǐng)求。想想。這是什么？這不就是爬蟲(chóng)的核心部分-動(dòng)態(tài)下載器。如何動(dòng)態(tài)的添加？我們可以用多進(jìn)程通過(guò)IPC添加。我們可以通過(guò)協(xié)程通過(guò)隊(duì)列添加等待。


curl_multi_*函數(shù)實(shí)現(xiàn)的HTTP壓測(cè)工具：
https://github.com/hirudy/phplib/blob/master/phpAb.php。

curl_multi_*實(shí)現(xiàn)的http請(qǐng)求類(lèi)：

https://github.com/hirudy/phplib


我這實(shí)現(xiàn)了一個(gè)通過(guò)協(xié)程+curl_multi_*的爬蟲(chóng)框架。

Tspider:https://github.com/hirudy/Tspider。
單進(jìn)程可處理請(qǐng)求2000-5000/min。

GPU云服務(wù)器云服務(wù)器 asp中數(shù)據(jù)集的使用 php中css的用法 php中header的用法 php中構(gòu)建函數(shù)

文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請(qǐng)注明本文地址：http://systransis.cn/yun/22106.html

發(fā)表評(píng)論

登陸后可評(píng)論

0條評(píng)論

neu

男|高級(jí)講師

我要關(guān)注我要私信

TA的文章

Go iota 原理和源碼剖析

閱讀 3470·2021-11-17 17:00
UCloud夏季鉅惠：快杰云服務(wù)器低至47元/年起,價(jià)保雙11

閱讀 3837·2021-08-09 13:46
關(guān)于scroll,client,innear,avail,offset等的理解

閱讀 2879·2019-08-30 15:54
CSS規(guī)范里的一些事(一)

閱讀 645·2019-08-30 13:54
如何去除行內(nèi)元素之間的間隙

閱讀 2957·2019-08-29 17:13
面試寶典

閱讀 3235·2019-08-29 14:00
切圖崽的自我修養(yǎng)－[ES6] 迭代器Iterator淺析

閱讀 2988·2019-08-29 11:11
初探uni-app框架踩坑

閱讀 1401·2019-08-26 10:15

成人国产在线小视频_日韩寡妇人妻调教在线播放_色成人www永久在线观看_2018国产精品久久_亚洲欧美高清在线30p_亚洲少妇综合一区_黄色在线播放国产_亚洲另类技巧小说校园_国产主播xx日韩_a级毛片在线免费

資訊專(zhuān)欄INFORMATION COLUMN

上云采購(gòu)季！| 2核2G4M爆款云服務(wù)器低至59元/年，更有多臺(tái)、長(zhǎng)期優(yōu)惠，快來(lái)選購(gòu)！

php中curl_multi函數(shù)集的用法

相關(guān)文章

curl_multi實(shí)現(xiàn)并發(fā)

PHP使用curl_multi并發(fā)請(qǐng)求

**【php爬蟲(chóng)】百萬(wàn)級(jí)別知乎用戶數(shù)據(jù)爬取與分析**

PHP編程中的并發(fā)

PHP實(shí)現(xiàn)并發(fā)請(qǐng)求

發(fā)表評(píng)論

0條評(píng)論

neu

男|高級(jí)講師

TA的文章

Go iota 原理和源碼剖析

UCloud夏季鉅惠：快杰云服務(wù)器低至47元/年起,價(jià)保雙11

關(guān)于scroll,client,innear,avail,offset等的理解

CSS規(guī)范里的一些事(一)

如何去除行內(nèi)元素之間的間隙

面試寶典

切圖崽的自我修養(yǎng)－[ES6] 迭代器Iterator淺析

初探uni-app框架踩坑

最新活動(dòng)

資訊專(zhuān)欄INFORMATION COLUMN

上云采購(gòu)季！| 2核2G4M爆款云服務(wù)器低至59元/年，更有多臺(tái)、長(zhǎng)期優(yōu)惠，快來(lái)選購(gòu)！

php中curl_multi函數(shù)集的用法

相關(guān)文章

發(fā)表評(píng)論

0條評(píng)論

男|高級(jí)講師

TA的文章

最新活動(dòng)

上云采購(gòu)季！| 2核2G4M爆款云服務(wù)器低至59元/年，更有多臺(tái)、長(zhǎng)期優(yōu)惠，快來(lái)選購(gòu)！