目前爬取ozon管理后台公开数据,
遇到问题通过fd抓包的数据,重放可以正常返回状态200和内容 修改sku的id改成其他商品也可以正常返回
但是到python里用requests 模拟请求,fd抓到的数据都搬过去了User-Agent和cookie都有
但是一请求就是403状态,在fd正常返回的数据标头里看到了Server: cloudflare
这个是什么情况,这块我是菜鸟
不是ip问题被封
不是批量爬取,就是单纯是自动获取前台商品sku查询一些数据自动显示到前台
使用cfscrape模块解决了
热议
2楼 Bigcan 昨天22:35
有大哥指教吗
3楼 jqbaobao 昨天22:35
猜猜防火墙
4楼 Bigcan 昨天22:36
猜猜防火墙
但是防火墙,可是FD我发包能正确返回真他吗奇葩,用Python模拟就是403搞了一天了
5楼 xianmeng 昨天22:37
cf识别到了吧
6楼 hrog 昨天22:39
换请求库
7楼 xianmeng 昨天22:41
速度没啥要求的话用浏览器自动化试一下吧
8楼 Bigcan 昨天22:49
速度没啥要求的话用浏览器自动化试一下吧
我前台看别人产品选品,后台可以输入对方的商品ID查看销量GMV等数据,我是打算把这个东西封装成一个接口,然后搞成一个谷歌扩展,访问前台别人商品的时候自动显示这些数据= =
9楼 Bigcan 昨天23:00
换请求库
换完200了= =,但是响应乱码,换了好多个编码也不行妈的
10楼 NodeLoc 昨天23:01
要过盾。
12楼 Bigcan 昨天23:28
要过盾。
使用cfscrape成功解决
13楼 NodeLoc 昨天23:50
使用cfscrape成功解决
现在cfscrape又可以了?之前不行了的。
申明:本文内容由网友收集分享,仅供学习参考使用。如文中内容侵犯到您的利益,请在文章下方留言,本站会第一时间进行处理。