抓取6000W谷歌的搜索结果，打算做个大点的垃圾站试试

爬虫部落 · 发表于 2017-9-25 21:13:05

RT，
Google的防护做的挺严格的，6000W数据用了近一个月。
下一步开始弄站，一个月后汇报下结果。

william2ct · 发表于 2017-9-25 21:14:55

mark,一个月后来看大佬结果

doing · 发表于 2017-9-25 22:00:48

mark,一个月后来看大佬结果

Polymer_dg · 发表于 2017-9-25 22:01:45

你是怎么抓的 GOOGLE 封IP 啊

zhoutiancai · 发表于 2017-9-25 22:05:05

大佬牛谷歌都爬下来了多大的硬盘数据库搜索会不会直接卡死？

爬虫部落 · 发表于 2017-9-25 22:08:21

zhoutiancai 发表于 2017-9-25 22:05
大佬牛谷歌都爬下来了多大的硬盘数据库搜索会不会直接卡死？

刚抓取完还没入库，数据大概500G左右，只抓取了前20个结果

爬虫部落 · 发表于 2017-9-25 22:09:29

Polymer_dg 发表于 2017-9-25 22:01
你是怎么抓的 GOOGLE 封IP 啊

多IP轮流，要是不封IP也不用这么久了

miven · 发表于 2017-9-25 22:29:11

爬虫部落发表于 2017-9-25 22:09
多IP轮流，要是不封IP也不用这么久了

大概多少个ip？策略方便说一下吗？我准备抓取一点行业相关网站给客服用

爬虫部落 · 发表于 2017-9-25 22:32:22

miven 发表于 2017-9-25 22:29
大概多少个ip？策略方便说一下吗？我准备抓取一点行业相关网站给客服用

500个依次调用，出现异常就sleep，多次异常递增sleep时间（同时减少线程数）

miven · 发表于 2017-9-25 22:33:25

爬虫部落发表于 2017-9-25 22:32
500个依次调用，出现异常就sleep，多次异常递增sleep时间（同时减少线程数） ...

多谢指教

		自动登录	找回密码
密码			注册

[疑问] 抓取6000W谷歌的搜索结果，打算做个大点的垃圾站试试