谁知道google 爬虫是咋写的

bluevm · 发表于 2020-12-28 23:29:40

全球域名这么多，怎么保证几天就抓一次呢，有的还时时抓

得是多少台服务器，啥样的服务器能实现啊

怎么我写的爬虫并发几十就到极限了。。。。

rooney · 发表于 2020-12-28 23:39:58

因为你写的爬虫是辣鸡

googlebot2 · 发表于 2020-12-29 07:50:45

2016年google有250万台server

三七开 · 发表于 2020-12-28 23:38:37

这个问题，只能说有点高端。

369 · 发表于 2020-12-28 23:40:03

难道google也是拿台小鸡爬？

myth · 发表于 2020-12-28 23:44:03

这就超出了我的知识范围呀

sdqu · 发表于 2020-12-28 23:46:04

几十万台机器总是有的，一台机器一天爬1万个站，你算算够吗

v233 · 发表于 2020-12-29 00:31:07

我要知道咋写的我还在这跟mjj们吹牛逼？

柳逸寒 · 发表于 2020-12-29 00:32:49

商业机密，恕我不能透露

/**
* 这个世上有很多事是解释不通的
* 比如突然的失落
* 莫名其妙的孤独
* 没有由来的落寞
* 以及突然离开的你
*
* MJJ专用全球主机论坛紫薯补丁。
*/

lemeaco · 发表于 2020-12-29 00:33:48

异步多线程，垃圾笔记本一天爬几亿条数据小意思

我太难了 · 发表于 2020-12-29 02:08:47

肯定是异步，然后多线程，多进程拉满，然后分布式也弄上。然后去重也是个很麻烦的问题用布隆呗，数据库的话感觉一半是no sql一半是普通的数据库。而且这么大的数据写入量，优化sql语句，分布式数据库如何同步就是盲区了

		自动登录	找回密码
密码			注册