示例:
不带cookie:
带cookie结果;
分析cookie:示例
无论是什么设备,第一次访问该站,都会弹出一个521的错误状态码,与此同时还会返回一个Cookie。
浏览器接受到状态码与Cookie,会再次进行一次请求,因为接收到了Set-Cookie,所以第二次的Request Headers会附上之前接收到cookie
这样的请求才是成功的。
这个防爬虫的方法非常基础,利用了普通爬虫与浏览器对于Status Code的处理方式不同。
你要爬取,只需要先请求一次,获得一个Cookie并保存,然后之后所有的请求都附上这个保存下来的Cookie,这样就行了。
爬虫的要诀在于:尽力模仿用户使用浏览器的行为。
,Copyright © 2008-2022 秒下下载站
m.down10s.com .All Rights Reserved