Mysql百万数据去重

yywudih

采集了200W条数据，字段有id，title等，入库时title没设置唯一，怎么能快速基于title去重，去重后我要设置title唯一，才敢再采集入库

zenk

用个redis做缓存，一边读，一边判断，再写到一个新库里得了。200万，用不了多久。

cdwyd

才200万，导出来设置唯一索引再导入进去就行了

dvbhack

h2o 发表于 2019-7-19 10:14
新建一个表，加主键，导过去，忽略失败。

简单粗暴有效的做法

1819

h2o 发表于 2019-7-19 10:14
新建一个表，加主键，导过去，忽略失败。

给跪了,,,但是不做好备份,出错就gg

dvbhack

adminw 发表于 2019-7-19 10:37

命令要写全啊。

1. use database;
   
2. drop table  tablename;
   
3. commit;
   
4. 
   
5. # run away

复制代码