CurlFuturePHP Curl 并行轮转请求库
CurlFuture : PHP Curl并行轮转请求库
multicurl系列方法是提高php请求后端http接口的一种途径。但是直接使用的话,存在几方面问题:
-
部分版本的curl扩展有bug,需要用特定的方式来调用(Rolling cURL: PHP并发最佳实践)
-
网上流传的CurlRolling库都只支持前面加入,最后一并执行这种使用模式。而最理想的是随时加入,需要的时候从里面取出所需的结果,且不需等待其他请求返回
-
为了提升效率,大部分库选择使用回调函数的方式来执行,对已有程序改造成本较高
为了解决这些问题,开发了CurlFuture库,实现了并行请求,先到先取,链式执行的特性。
应用场景
对于一些大型公司,PHP作为接口聚合层来使用,而接口通过HTTP协议给出。对于一些复杂的页面,可能需要请求几十个相互独立的接口, 如果使用并行模式,则可以极大的提升性能。
安装方法
引入入口php文件即可:include __DIR__.'/curl_future.php';
使用方法
/** * 获得一个延迟执行curl的类 * @param $url 请求url地址 * @param $options = array(), * header:头信息(Array), * proxy_url:代理服务器地址, * timeout:超时时间,可以小于1 * post_data: string|array post数据 * @return CurlFuture\HttpFuture */ function curl_future($url, $options = array()); echo curl_future("http://s.newhua.com/2015/1113/304528.shtml?4", array()) ->fetch();
并行请求的实例(async.php)
include __DIR__.'/curl_future.php'; $f4 = curl_future("http://s.newhua.com/2015/1113/304528.shtml?4"); $f5 = curl_future("http://s.newhua.com/2015/1113/304528.shtml?5"); echo strlen($f1->fetch()); //这个地方会并行执行 echo "\n"; echo strlen($f2->fetch()); echo "\n";
链式执行的示例(then.php)
include __DIR__.'/curl_future.php'; echo curl_future("http://s.newhua.com/2015/1113/304528.shtml") ->then(function($data){ return strlen($data); }) ->then(function($len){ return "Length: $len"; }) ->fetch();
和Model/Service结合的示例(model.php)
include __DIR__.'/curl_future.php'; class BookModel{ //接口串行调用的示例,通过then函数将处理过程串联起来 static public function getTitleFuture($id){ return curl_future("http://111.202.7.252/{$id}") ->then(function($data){ return strlen($data); }) ->then(function($data){ $url = "http://111.202.7.252/{$data}"; $html = curl_future($url)->fetch(); preg_match('/title(.+?)\/title/is', $html, $matches); return $matches[1]; }); } //普通接口调用+后续处理的示例 static public function getContentFuture($id){ return curl_future("http://111.202.7.252/{$id}") ->then(function($data){ return substr($data, 0, 100); }); } } //多个请求并行发出示例,这个地方用Model封装起来,便于和不同框架相结合 $t1 = BookModel::getTitleFuture('111'); $t2 = BookModel::getTitleFuture('222'); $t3 = BookModel::getTitleFuture('333'); $c1 = BookModel::getContentFuture('111'); $c2 = BookModel::getContentFuture('222'); $c3 = BookModel::getContentFuture('333'); //fetch函数会阻塞住,这个地方会把所有队列里面的请求发出,直到需要获取的t1的请求执行完再返回 var_dump($t1->fetch()); //由于上个fetch已经阻塞过了,下面的这个fetch很可能无需阻塞直接返回,也有可能上面的fetch没有执行完,此处阻塞住继续执行请求,直到拿到t2的数据 var_dump($t2->fetch()); var_dump($c3->fetch());
原理
在每次fetch的时候,开始事件循环。当所需http返回后,结束循环。继续执行php逻辑。
//task_manager.php public function fetch($ch){ $chKey = (int)$ch; //如果两个队列里面都没有,那么退出 if(!array_key_exists($chKey, $this->runningTasks) && !array_key_exists($chKey, $this->finishedTasks) )return false; $active = 1; do{ //如果任务完成了,那么退出 if(array_key_exists($chKey, $this->finishedTasks))break; //执行multiLoop,直到该任务完成 $active = $this->multiLoop(); //如果执行出错,那么停止循环 if($active === false)break; }while(1); return $this->finishTask($ch); }
性能测试
请求本机接口200次,nginx默认页面,同步、异步与file_get_contents对比
/example/bench.php curl_future sync:384 ms file_get_contents:390 ms curl_futhre async:68 ms curl_future sync:624 ms file_get_contents:460 ms curl_futhre async:69 ms curl_future sync:463 ms file_get_contents:355 ms curl_futhre async:70 ms curl_future sync:447 ms file_get_contents:409 ms curl_futhre async:66 ms
同步方式没有file_get_contents稳定,但是异步批量方式性能提升很明显。
参考项目
评论
php-multi-curl处理并行 http 请求的 PHP 库
php-multi-curl是一个简单而有效的库,封装了curl_multi_*,用于处理并行的http请求。要求PHP5.4orlaterPHPcURLextension用法//require '.
php-multi-curl处理并行 http 请求的 PHP 库
0
php-multi-curl处理并行 http 请求的 PHP 库
php-multi-curl 是一个简单而有效的库,封装了 curl_multi_*,用于处理并行的
php-multi-curl处理并行 http 请求的 PHP 库
0
java-requestsHTTP 请求库
Java的世界里,HttpClient是一个功能强大的Http请求库,然而接口非常复杂,设计上遵从正交性,简单的请求也需要写比较多的代码,更不要说隐藏在各种细节里面的高级用法了。Requests, 是
java-requestsHTTP 请求库
0
PitayaiOS 网络请求库
Pitaya是使用Swift编写的,适合大文件上传的iOS网络请求库。主要功能通过"Content-Type:multipart/form-data"进行快速文件上传HTTPBasicAuthoriz
PitayaiOS 网络请求库
0
YiNetworkHTTP 请求封装库
YiNetwork是一个的HTTP请求封装库,基于AFNetworking的AFHTTPSessionManager。YiNetwork主要是一个基类库,主要是两个类YiBaseRequest和YiB
YiNetworkHTTP 请求封装库
0