全球主机交流论坛

 找回密码
 注册

QQ登录

只需一步,快速开始

CeraNetworksBGVM服务器主机交流
IP归属甄别会员请立即修改密码Sharktech防护
查看: 650|回复: 9

google drive 如何快速上传大量小文件

[复制链接]
发表于 2019-10-29 10:27:44 | 显示全部楼层 |阅读模式
如题。
用了rclone测试单个大文件的上传速度可以达到10M/s

但如果是大量的小文件,(每个大概100k左右),这不管上传线程开到10还是20都是400~500k左右

rclone copy --ignore-existing --progress  --cache-chunk-size 136M --transfers=20 /home/www google:www

不管如何设置 --cache-chunk-size 和 --transfers(这个管上传文件线程),速度都不能明显提高。

请老司机赐教一下,更快上传速度的方法,感谢!
 楼主| 发表于 2019-10-29 10:58:29 | 显示全部楼层
测了下gdrive速度也一样
发表于 2019-10-29 11:03:27 | 显示全部楼层
你本地拷小文件速度都慢 别说是上传了...小文件建议打包
 楼主| 发表于 2019-10-29 11:13:50 | 显示全部楼层
爱尔兰不动产 发表于 2019-10-29 11:03
你本地拷小文件速度都慢 别说是上传了...小文件建议打包

如果是ssh就很快。
发表于 2019-10-29 12:06:23 | 显示全部楼层
如果是两个google drive,rclone copy如何使用,实现从一个文件夹复制到另一个文件夹
发表于 2019-10-29 12:08:50 | 显示全部楼层
醒醒,你就算copy够快,大量小文件会判你超速
发表于 2019-10-29 12:08:57 来自手机 | 显示全部楼层
打包吧,无解的
发表于 2019-10-29 12:20:50 | 显示全部楼层
小文件就这样吧,毕竟磁盘还要有时间
发表于 2019-10-29 12:35:06 | 显示全部楼层
缓存设置减少或为0,
另外API限制的每秒调用数,可能快不了多少
多开几个API,设置多个rclone配置,分文件夹,每个文件夹上传到的GD设置不同的API配置
 楼主| 发表于 2019-10-29 14:17:53 | 显示全部楼层
CACss 发表于 2019-10-29 12:35
缓存设置减少或为0,
另外API限制的每秒调用数,可能快不了多少
多开几个API,设置多个rclone配置,分文件 ...

这个专业
您需要登录后才可以回帖 登录 | 注册

本版积分规则

小黑屋|手机版|Archiver|全球主机交流论坛

GMT+8, 2020-2-24 04:01 , Processed in 0.072519 second(s), 9 queries , MemCache On.

Powered by Discuz! X3.4

© 2001-2017 Comsenz Inc.

快速回复 返回顶部 返回列表