PHP网络爬虫之CURL详解

2025-09-07


php的curl可以实现模拟http的各种请求,这也是php做网络爬虫的基础,也多用于接口api的调用。这个时候有人就要发问了:为什么你特么不用file_get_contents?

curl的性能比它好,而且可以完成更多复杂的操作,不仅仅只是获取页面数据。

下面先分别介绍一些常用的函数。

  • curl_init 初始化一个curl对话

  • curl_setopt 设置curl参数,即传输选项

  • curl_exec 执行请求

  • curl_close 关闭一个curl对话

主要是上面四个

curl_errno 返回最后一次错误码,php已经定义了诸多错误枚举编码

立即学习“PHP免费学习笔记(深入)”;

点击下载“修复打印机驱动工具”;

  • curl_errror 返回一个保护当前会话最近一次错误的字符串

下面直接上实例吧,相关解释都在注释里面

1. 在网络上下载一个网页并把内容中的“百度”替换为“屌丝”之后输出

2. 通过调用WebService查询北京的当前天气

asmx/getWeatherbyCityName");  curl_setopt($curlobj, CURLOPT_HEADER, 0); curl_setopt($curlobj, CURLOPT_RETURNTRANSFER, 1);  curl_setopt($curlobj, CURLOPT_POST, 1);  curl_setopt($curlobj, CURLOPT_POSTFIELDS, $data);  curl_setopt($curlobj, CURLOPT_HTTPHEADER, array("application/x-www-form-urlencoded; charset=utf-8",     "Content-length: ".strlen($data)    )); $rtn = curl_exec($curlobj);   if(!curl_errno($curlobj)){    // $info = curl_getinfo($curlobj);     // print_r($info);    echo $rtn;  } else {  echo 'Curl error: ' . curl_error($curlobj);}curl_close($curlobj);?>

3. 模拟需要登录的网址并抓取网页的内容

 'promonkey',     'password' => '1q2w3e',    'remember'=>1);$data='username=zjzhoufy@126.com&password=1q2w3e&remember=1';$curlobj = curl_init();            // 初始化curl_setopt($curlobj, CURLOPT_URL, "http://www.imooc.com/user/login");     // 设置访问网页的URLcurl_setopt($curlobj, CURLOPT_RETURNTRANSFER, true);           // 执行之后不直接打印出来// Cookie相关设置,这部分设置需要在所有会话开始之前设置date_default_timezone_set('PRC'); // 使用Cookie时,必须先设置时区curl_setopt($curlobj, CURLOPT_COOKIESESSION, TRUE); curl_setopt($curlobj, CURLOPT_HEADER, 0); curl_setopt($curlobj, CURLOPT_FOLLOWLOCATION, 1); // 这样能够让cURL支持页面链接跳转curl_setopt($curlobj, CURLOPT_POST, 1);  curl_setopt($curlobj, CURLOPT_POSTFIELDS, $data);  curl_setopt($curlobj, CURLOPT_HTTPHEADER, array("application/x-www-form-urlencoded; charset=utf-8",     "Content-length: ".strlen($data)    )); curl_exec($curlobj);   // 执行curl_setopt($curlobj, CURLOPT_URL, "http://www.imooc.com/space/index");curl_setopt($curlobj, CURLOPT_POST, 0);  curl_setopt($curlobj, CURLOPT_HTTPHEADER, array("Content-type: text/xml"    )); $output=curl_exec($curlobj);  // 执行curl_close($curlobj);          // 关闭cURLecho $output;?>

4. 登录网站的信息抓取并下载个人空间页面 + 自定义实现页面链接跳转抓取

= $curl_max_loops)     {         $curl_loops = 0;         return FALSE;     }     curl_setopt($ch, CURLOPT_HEADER, true); // 开启header才能够抓取到重定向到的新URL    curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);     $data = curl_exec($ch);     // 分割返回的内容    $h_len = curl_getinfo($ch, CURLINFO_HEADER_SIZE);     $header = substr($data,0,$h_len);    $data = substr($data,$h_len - 1);    $http_code = curl_getinfo($ch, CURLINFO_HTTP_CODE);     if ($http_code == 301 || $http_code == 302) {         $matches = array();         preg_match('/Location:(.*?)\n/', $header, $matches);         $url = @parse_url(trim(array_pop($matches)));         // print_r($url);         if (!$url)         {             //couldn't process the url to redirect to             $curl_loops = 0;             return $data;         }         $last_url = parse_url(curl_getinfo($ch, CURLINFO_EFFECTIVE_URL));         if (!isset($url['scheme']))             $url['scheme'] = $last_url['scheme'];         if (!isset($url['host']))             $url['host'] = $last_url['host'];         if (!isset($url['path']))             $url['path'] = $last_url['path'];        $new_url = $url['scheme'] . '://' . $url['host'] . $url['path'] . (isset($url['query'])?'?'.$url['query']:'');         curl_setopt($ch, CURLOPT_URL, $new_url);         return curl_redir_exec($ch);     } else {         $curl_loops=0;         return $data;     } } ?>

从FTP服务器下载一个文件到本地

6.下载网络上面的一个HTtps的资源

validate/1.12.0/jquery.validate.js");         // 设置访问网页的URLcurl_setopt($curlobj, CURLOPT_RETURNTRANSFER, true);              // 执行之后不直接打印出来// 设置HTTPS支持date_default_timezone_set('PRC');    // 使用Cookie时,必须先设置时区curl_setopt($curlobj, CURLOPT_SSL_VERIFYPEER, 0);    // 对认证证书来源的检查从证书中检查SSL加密算法是否存在curl_setopt($curlobj, CURLOPT_SSL_VERIFYHOST, 2);    // $output=curl_exec($curlobj);  // 执行curl_close($curlobj);             // 关闭cURLecho $output;?>

相关推荐:

php之curl学习_PHP教程

标签: php curl

本文地址:https://www.lifejia.cn/news/212051.html

免责声明:本站内容仅用于学习参考,信息和图片素材来源于互联网,如内容侵权与违规,请联系我们进行删除,我们将在三个工作日内处理。联系邮箱:cloudinto#qq.com(把#换成@)