抓取6000W谷歌的搜索结果，打算做个大点的垃圾站试试

拼命二郎 · 发表于 2017-9-25 22:52:17

看ID就知道楼主是个大牛，话不多说，求分享数据

njav · 发表于 2017-9-25 23:27:23

數據多K站也快...做google就是這個下場

我都有幾個億數據

houset · 发表于 2017-9-25 23:56:12

500个IP怎么搞？大佬求带，是用火车头吗？

flashack · 发表于 2017-9-26 00:04:33

搜索结果？？这个要做百度吗

爬虫部落 · 发表于 2017-9-26 01:03:28

njav 发表于 2017-9-25 23:27
數據多K站也快...做google就是這個下場
我都有幾個億數據

6KW数据精简了所有不必要的内容后只保留纯json格式大概600G
假设你有6亿数据差不多就是6T
这个数据量不是每个人都能玩好

爬虫部落 · 发表于 2017-9-26 01:04:46

houset 发表于 2017-9-25 23:56
500个IP怎么搞？大佬求带，是用火车头吗？

这个各凭本事吧：
有钱的去买
没钱的去抓
火车头我没用过，自己写了一段Python代码抓取的

爬虫部落 · 发表于 2017-9-26 01:08:03

flashack 发表于 2017-9-26 00:04
搜索结果？？这个要做百度吗

这个数量和百度的索引量比九牛一毛（有点夸张）

Eric.c · 发表于 2017-9-26 01:14:46

关注的是一下子上6000万数据如何不k站

Polymer_dg · 发表于 2017-9-26 07:41:54

爬虫部落发表于 2017-9-25 22:09
多IP轮流，要是不封IP也不用这么久了

HTTP 代理？

houset · 发表于 2017-9-26 11:26:12

爬虫部落发表于 2017-9-26 01:04
这个各凭本事吧：
有钱的去买
没钱的去抓

大佬，都采集什么内容？6000万

		自动登录	找回密码
密码			注册

[疑问] 抓取6000W谷歌的搜索结果，打算做个大点的垃圾站试试