硬盘里三万视频怎么去重复

村长 · 发表于 2020-10-1 19:37:49

好像是d开头的软件以前筛选cd用过

老爷爷wkjy · 发表于 2020-10-1 19:54:31

cyz971337 发表于 2020-10-1 19:29
什么软件

DuplicateCleaner
专业版有15天免费试用期

laogui · 发表于 2020-10-1 19:55:40

收藏量真可观

cw723 · 发表于 2020-10-1 19:58:46

如果文件不同（不如不同压缩比例的大姐姐视频）

只能人工鉴黄师

wop · 发表于 2020-10-1 20:02:52

视频逐个算md5 入库遇到重复的直接删除就行了感觉用python 应该工作量不大

liugogal · 发表于 2020-10-1 20:29:54

随便找个软件就行了比如ccleaner之类的

cyz971337 · 发表于 2020-10-1 22:51:02

老爷爷wkjy 发表于 2020-10-1 19:54
DuplicateCleaner
专业版有15天免费试用期

谢谢

tir · 发表于 2020-10-1 23:47:35

本帖最后由 tir 于 2020-10-1 23:48 编辑

缩略图， MD5 ，大小！
视频去重-般先进行抽帧,然后基于图片做重复检测,为了提高准确率,也可以借助音频流指纹做
辅助判断,图片重复检测有pHash、dHash、 HashNet等, 为了应付大量视频的重复比较,还要借
助Faiss来进行召回过滤, 我的一篇文章里面有提到,希望能帮助到你:
https://zhuanlan.zhihu.com/p/101323402

buzhidao · 发表于 2020-10-2 00:20:34

ccleaner

airline · 发表于 2020-10-2 09:09:17

md5去重不香吗

		自动登录	找回密码
密码			注册

[疑问] 硬盘里三万视频怎么去重复