感觉无爱了啊...速度起不来...所谓的奶奶飞飞~艾薇~

pony

所谓的奶奶飞飞~艾薇~

速度不行啊

弄了10台16TB存储的机器搞集群开爬

才发现他们的渣渣CDN限制了1个线程1000kb的速度

唉

无爱了。。。

漂移弟

加油啊大佬 爬虫小白等着你分享呢

pony

kxxzz.com 发表于 2019-4-28 22:53
pony也用宝塔？

不论什么面板啊
好用就成
哪管出身

哈哈哈
不管黑猫白猫。。。（*）&%（*&……（）&……（）*dsahkjd，/。；akldh

modianxia

坐等大佬分享

pony

都还没爬完
还不知道是否会有限制
起码磁盘是足够了
看时间吧

lovees

挂上

1. def get_proxy():
   
2.     return requests.get

复制代码

某站被我自动爬了代理再加入线程，最后好几万代理加上多线程，活活被我爬死！！！

vps1

lovees 发表于 2019-4-28 23:49
挂上

某站被我自动爬了代理再加入线程，最后好几万代理加上多线程，活活被我爬死！！！

大佬发个帖子,写个教程呗

lovees

vps1 发表于 2019-4-29 00:51
大佬发个帖子,写个教程呗

慢慢来呗，写教程的都基本上无人回帖，看情况吧，比如

1. def get_proxy():
   
2.     return requests.get("http://127.0.0.1:5005/get/").content
   
3. 
   
4. def get_all_proxy():
   
5.     return requests.get("http://127.0.0.1:5005/get_all/").content
   
6. 
   
7. def delete_proxy(proxy):
   
8.     requests.get("http://127.0.0.1:5005/delete/?proxy={}".format(proxy))

复制代码

加载添加代理，和删除无效代理，前提是搞个爬虫，把代理爬下来有效代理ip加入代理池内，无效ip或过期Ip自动剔除