本文實例講述了PHP使用curl_multi_select解決curl_multi網(wǎng)頁假死問題的方法。分享給大家供大家參考,具體如下:
curl_multi可以批處理事務(wù),給網(wǎng)頁編程帶來很大的方便。不過在使用curl_multi的過程中,我們會遇到一個比較頭疼的問題,那就是當(dāng)并發(fā)處理的事務(wù)數(shù)量過多的時候,就會出現(xiàn)CPU過高,網(wǎng)頁假死的現(xiàn)象,這是不可以忽視的。
今天,通過查詢相關(guān)資料和測試,終于找到了一個解決問題的方法。
正常情況下,我們是這樣使用curl_multi
的。
實例代碼:
$connomains = array( "//www.zmynmublwnt.cn/", "http://www.163.com/", "http://www.sina.com.cn/" ); $mh = curl_multi_init(); foreach ($connomains as $i => $url) { $conn[$i]=curl_init($url); curl_setopt($conn[$i],CURLOPT_RETURNTRANSFER,1); curl_multi_add_handle ($mh,$conn[$i]); } do { $n=curl_multi_exec($mh,$active); } while ($active); foreach ($connomains as $i => $url) { $res[$i]=curl_multi_getcontent($conn[$i]); curl_close($conn[$i]); } print_r($res);
這個實例代碼有個致命弱點,就是在do循環(huán)的那段,在整個url請求期間是個死循環(huán),它會輕易導(dǎo)致CPU占用很高,網(wǎng)頁出現(xiàn)假死狀態(tài)。
經(jīng)過測試發(fā)現(xiàn),我們可以巧妙使用curl_multi_select()
函數(shù)來解決這個問題。
方法如下:
把
do { $n=curl_multi_exec($mh,$active); } while ($active);
改為
do { $mrc = curl_multi_exec($mh,$active); } while ($mrc == CURLM_CALL_MULTI_PERFORM); while ($active and $mrc == CURLM_OK) { if (curl_multi_select($mh) != -1) { do { $mrc = curl_multi_exec($mh, $active); } while ($mrc == CURLM_CALL_MULTI_PERFORM); } }
因為$active要等全部url數(shù)據(jù)接受完畢才變成false,所以這里用到了curl_multi_exec
的返回值判斷是否還有數(shù)據(jù),當(dāng)有數(shù)據(jù)的時候就不停調(diào)用curl_multi_exec
,暫時沒有數(shù)據(jù)就進(jìn)入select階段,新數(shù)據(jù)一來就可以被喚醒繼續(xù)執(zhí)行。這里的好處就是CPU的無謂消耗沒有了。
另外可能遇到的問題:
控制每一個請求的超時時間,在curl_multi_add_handle
之前通過curl_setopt
去做:
curl_setopt($ch, CURLOPT_TIMEOUT, $timeout);
判斷是否超時了或者其他錯誤,在curl_multi_getcontent
之前用:
curl_error($conn[$i]);
了解multi接口
當(dāng)程序需要進(jìn)行多次curl并發(fā)請求的時候,curl提供的multi接口就派上用場了。流暢大致是這樣的:
1)、curl_multi _init
初始化一個multi curl
對象,為了同時進(jìn)行多個curl的并發(fā)訪問,我們需要初始化多個easy curl對象,使用curl_easy_setopt
進(jìn)行相關(guān)設(shè)置。
2)、調(diào)用curl_multi _add_handle
把easy curl對象添加到multi curl對象中。
3)、添加完畢后執(zhí)行curl_multi_perform
方法進(jìn)行并發(fā)的訪問。
4)、訪問結(jié)束后curl_multi_remove_handle
移除相關(guān)easy curl對象,curl_easy_cleanup
清除easy curl對象。
5)、最后curl_multi_cleanup
清除multi curl對象。
一個簡單明了的PHP使用curl_multi_add_handle
并行處理實例
<?php // 創(chuàng)建一對cURL資源 $ch1 = curl_init(); $ch2 = curl_init(); // 設(shè)置URL和相應(yīng)的選項 curl_setopt($ch1, CURLOPT_URL, "//www.zmynmublwnt.cn/"); curl_setopt($ch1, CURLOPT_HEADER, 0); curl_setopt($ch2, CURLOPT_URL, "http://www.baidu.com/"); curl_setopt($ch2, CURLOPT_HEADER, 0); // 創(chuàng)建批處理cURL句柄 $mh = curl_multi_init(); // 增加2個句柄 curl_multi_add_handle($mh,$ch1); curl_multi_add_handle($mh,$ch2); $running=null; // 執(zhí)行批處理句柄 do { curl_multi_exec($mh,$running); } while($running > 0); // 關(guān)閉全部句柄 curl_multi_remove_handle($mh, $ch1); curl_multi_remove_handle($mh, $ch2); curl_multi_close($mh); ?>
希望本文所述對大家PHP程序設(shè)計有所幫助。