灰臀/考古加数据爬不了?这篇文章教会你
介绍
本篇文章主要分为三个部分,
第一个部分,为什么要爬灰臀这样的数据网站
第二个部分,灰臀这样的网站为什么无法直接爬/通用爬虫方法为何无效
第三个部分,如何爬取灰臀这样的网站
1,为什么爬
我们有时候自己爬取网站,会发现反爬手段千奇百怪,如果你爬取的是淘宝这种top级的网站,你就能够知道绝望的含义
但是如果有人把这个问题攻克了,你只需要爬取其对应的网站,岂不美哉
数据网站就是这样,它爬取了淘宝这样的网站的数据,但是他本身反爬做的并不是很严格(我也不懂,可能是会开锁的人,不一定会造锁)
这样,我们就不用千辛万苦地自己去爬源网站了,花点儿钱买个会...