采集一个网站1亿条数据

你说的都对 · 发表于 2020-5-30 14:54:13

本帖最后由你说的都对于 2020-5-30 15:01 编辑

采集一个网站1亿条数据，开火车头采的话，3线程一天大概能采不到30W，1年大概能采完。
但是一般不到一天就被封IP了。
如果采用代理IP的话，1年的费用会很高
而且总得不停的手动获取代理ip，导入到火车采集器，验证。
有没有更好的火车头能用的方案？

piaoxue · 发表于 2020-5-31 03:25:26

火车头最原始方案 adsl断线重播，开多个pc，数据库用一个就好，火车头支持外部插件，ip被封直接重新拨号，好多年前采58，封了我们一个c段，代理池算了下没有拉电话线便宜，老板拉了几条电话线，这多少年前的了，现在应该都是headless+代理池+分布式采集吧，话说这么大个站，没限制分页么好奇你怎么能翻那么多页的，之前也采过黄页，数据也N多，后来限制了分页数量我们就采集不到那么多了。

h20 · 发表于 2020-5-30 14:55:34

提示: 作者被禁止或删除内容自动屏蔽

pufengzai0 · 发表于 2020-5-30 14:55:47

有更好的方案，前提是不用火车头。

总有刁民想害朕 · 发表于 2020-5-30 14:56:04

直接收购

pufengzai0 · 发表于 2020-5-30 14:57:05

纯文字内容还是还有图片文件之类的？想试试。

1767196823 · 发表于 2020-5-30 15:06:30

你要不那你那个采集的站点收购了

G奶 · 发表于 2020-5-30 15:16:19

发出来链接才能知道方案

vvip · 发表于 2020-5-30 15:22:46

哪个站有那么多

1号城管 · 发表于 2020-5-30 15:24:42

提示: 作者被禁止或删除内容自动屏蔽

你说的都对 · 发表于 2020-5-30 15:27:31

1号城管发表于 2020-5-30 15:24
1天才不到30W? 一定是哪里出了问题了, 你的服务器带宽? 你的服务器CPU或磁盘IO? ...

默认设置开了3个线程，我怕开太多对目标网站造成太多困扰

		自动登录	找回密码
密码			注册

h20 h20 当前离线积分 19897	发表于 2020-5-30 14:55:34 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽
h20 h20 当前离线积分 19897
	回复支持 1 反对 0 举报

1号城管 1号城管当前离线积分 7478	发表于 2020-5-30 15:24:42 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽
1号城管 1号城管当前离线积分 7478
	回复支持反对举报