首页>代理ip知识与免费资源>正文
浅谈网页referer的作用以及反爬虫的解决方法
发布日期:2018/12/16 19:52:04    阅读量:9663

我们知道,referer的作用就是记录你在访问一个目标网站时,在访问前你的原网站的地址, 比如用Chrome从知乎的某个板块到另外一个,那么你在的这个网站就是原网站,按F12,选中Network选项,从页面内进入一个网站,可以从这个网站的header即头信息中,看到referer就是原来的那个网站。

由于referer是请求网页中,也就是发起HTTP请求中header的一部分,所以可以用来做网页的图片防盗链!比如一个网页的图,想用python下载到自己的电脑里,用urllib.request或者requests第三方库访问图片时,爬不下来, 这是因为python提交request申请的时候,就类似于在浏览器中的空地址栏里键入这个网页然后访问,没有referer,这时网站的设置比如是要求有referer,且referer的网站必须是你进来之前的网站,也就是这个图片的主页。

方法很简单! 既然要求你传入图片主页面的referer,在构造header的时候,传入Referer参数(注意R要大写),它的值为与这个图片链接相关的网站,或者这个图片链接地址的原网站就可以了,听起来很生涩,下面上代码。 


from fake_useragent import UserAgent

                                           

伪装成浏览器

#ua = UserAgent()

headers = {'User-Agent':ua.random} #

一般网站伪装成这样也就够了,但是如果想爬图片,图片反盗链的话。如下


其实很好理解,就是告诉你要下载的那个图片页面,我是从主页面来的,现在把数据给我。

#headers = {'User-Agent':ua.random,'Referer':'这里放入图片的主页面'}#

然后在后续requests中传入header即可