请选择 进入手机版 | 继续访问电脑版
快捷导航
聚牛山庄
登录 注册
搜索
查看: 1787|回复: 1

[问题解决笔记] 基于curl数据采集之单页面采集函数get_html的使用

[复制链接]

197

主题

427

帖子

4

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
4
发表于 2018-11-21 22:20:46 | 显示全部楼层 |阅读模式
基于curl数据采集之单页面采集函数get_html的使用
今天做了一个网页抓取项目,找到一篇很值得借鉴的资料,这里记录一下。

单页面采集在数据采集过程中是最常用的一个功能 有时在服务器访问限制的情况下 只能使用这种采集方式 慢 但是可以简单的控制 所以写好一个常用的curl函数调用是很重要的

百度和网易比较熟悉 所以拿这两个网站首页采集来做例子讲解


最简单的写法:

[url=]复制代码[/url]代码如下:

$url = 'http://www.baidu.com';
$ch = curl_init($url);
curl_setopt($ch,CURLOPT_RETURNTRANSFER,true);
curl_setopt($ch,CURLOPT_TIMEOUT,5);
$html = curl_exec($ch);
if($html !== false){
     echo $html;
}


由于使用频繁 可以利用curl_setopt_array写成函数的形式:
[url=]复制代码[/url]代码如下:

function get_html($url,$options = array()){
     $options[CURLOPT_RETURNTRANSFER] = true;
     $options[CURLOPT_TIMEOUT] = 5;
     $ch = curl_init($url);
     curl_setopt_array($ch,$options);
     $html = curl_exec($ch);
     curl_close($ch);
     if($html === false){
         return false;
     }
     return $html;
}


[url=]复制代码[/url]代码如下:

$url = 'http://www.baidu.com';
echo get_html($url);


有时候需要传递一些特定的参数才能得到正确的页面 如现在要得到网易的页面:
[url=]复制代码[/url]代码如下:

$url = 'http://www.163.com';
echo get_html($url);


会看到一片空白 什么也没有 那么再利用curl_getinfo写一个函数 看看发生了什么:
[url=]复制代码[/url]代码如下:

function get_info($url,$options = array()){
     $options[CURLOPT_RETURNTRANSFER] = true;
     $options[CURLOPT_TIMEOUT] = 5;
     $ch = curl_init($url);
     curl_setopt_array($ch,$options);
     $html = curl_exec($ch);
     $info = curl_getinfo($ch);
     curl_close($ch);
     return $info;
}
$url = 'http://www.163.com';
var_dump(get_info($url));


可以看到http_code 302 重定向了 这时候就需要传递一些参数了:

[url=]复制代码[/url]代码如下:

$url = 'http://www.163.com';
$options[CURLOPT_FOLLOWLOCATION] = true;
echo get_html($url,$options);


会发现 怎么是这样的一个页面 和我们电脑访问的不同???

看来参数还是不够 不够服务器判断我们的客户端是什么设备上的 就返回了个普通版

看来还要传送USERAGENT

[url=]复制代码[/url]代码如下:

$url = 'http://www.163.com';
$options[CURLOPT_FOLLOWLOCATION] = true;
$options[CURLOPT_USERAGENT] = 'Mozilla/5.0 (Windows NT 6.1; rv:19.0) Gecko/20100101 Firefox/19.0';
echo get_html($url,$options);



OK现在页面已经出来了 这样基本这个get_html函数基本能实现这样扩展的功能

当然也有另外的办法可以实现,当你明确的知道网易的网页的时候就可以简单采集了:

[url=]复制代码[/url]代码如下:

$url = 'http://www.163.com/index.html';
echo get_html($url);


这样也可以正常的采集

回复

使用道具 举报

0

主题

3

帖子

0

积分

新手上路

Rank: 1

积分
0
发表于 2019-11-12 16:39:12 | 显示全部楼层
附件音频视频解析插件刚出来不久,安装量大增

不过有少数用户反馈视频附件解析后,重庆欢乐生肖 视频界面出现提示“加载失败”

接到反馈后,我们组织人员第一时间进行排查
经过排查发现,出现这种问题的站长使用的都是windows主机,168开奖网 IIS服务器(也不排除部分非IIS也是这个问题,解决方案同下)。
首先说一下原理:

如果你是从本地上传视频到网站服务器,要求你的服务器必须正确设置了MIME类型,北京pk10 否则服务器无法识别视频流格式,从而出现加载失败的提示。

通常情况下主机服务商提供的服务器管理面板中,均有MIME管理项,去此处增加个MIME类型即可

如果是IIS独立主机,可以IIS管理里添加MIME类型
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver|手机版|小黑屋|聚牛山庄
GMT+8, 2019-12-9 19:14 , Processed in 0.144568 second(s), 40 queries .
信息产业部备案/许可证编号:( 湘ICP备18017617号 )  © 2018-2027   Powered by Discuz!
快速回复 返回顶部 返回列表