首页>代理ip知识与免费资源>正文
使用代理ip爬虫时出现499错误是什么问题?
发布日期:2019/10/15 9:21:43    阅读量:8237


最近有朋友反应使用代理ip爬虫时出现了499错误,当时很着急的问我是什么原因出现这个问题,遇到问题不需要着急,可以冷静的找出问题,现在主要是逐一排查和了解到499错误是什么原因导致的。

 

我便询问这位朋友,我说使用api能正常提取到ip吗?他说可以,随后我又询问他,有没有猛烈通过api调用服务器获取ip,他说是正常间隔10秒提取,那么我让他使用api提取到的ip使用浏览器测试一下是否ip有效,过了几分钟的测试后,ip在浏览器设置中使用也完全没有问题。那么我们可以排查出api通过可以正常的提取到ipip也有效,这就足以说明代理ip服务器没有问题,这样就大大的缩小了问题排查的范围。

 

首先我们来了解一下499错误是什么问题导致的;

当客户端主动断开连接的时候,nginx就会返回499的状态码。一般情况下和请求的超时设置有关系,比如用户用浏览器访问某个网页的时候,如果在nginx还没有处理完请求的时候,用户就关闭了网页活着浏览器,则这个时候,nginx就会以499的状态码进行影响,标明客户端主动断开了连接。

 

首先我们看看nglnx的源码中的定义:


QQ截图20191013113554.jpg


 

解决方案:

proxy_ignore_client_abort on;

Dont know if this is safe.

就是说要配置参数 proxy_ignore_client_abort on

表示代理服务端不要主要主动关闭客户端连接。随后以此配置重启nginx,就可以解决这个问题了。

 

所以遇到问题我们需要冷静的对问题针对性的分析和逐一排查,不要着急。冷静思考!