关于SQL的导入

可乐呀

Qys 发表于 2020-11-30 03:31
我遍历所有行，检测一行是否只有"----"，满足的话写进新的文件里，这样遍历一遍感觉也没多久 ...

我用Shell遍历了一遍正则匹配xxx-xxx，不匹配的输出到文件，从上午上课开始，到中午回来 看了看还没匹配到最后一行。。。
已经又26万行不匹配数据了，看了看有些数据确实不对，比如一两个数字----xxxxx
还有xxxxxxx-xxxxxxxx-xxxxxxxx
前两个段不一样
Linux Shell效率应该比Python高点吧

夏生啊

处理文本文件速度很快的，我用python把十几个G的文件按开头数字分割也就用了十几分钟吧感觉。还是单线程处理。也有可能是我边玩手机边弄没注意时间，反正感觉挺短的，不至于一上午处理不完把。建议你在自己电脑上搞，别在VPS上性能不够。

可乐呀

我用grep直接筛，两分钟筛完了不合法数据
用Shell自带的read line 然后 bash的=~匹配一下午才匹配完一半的行数

chuanchuanlak

是导入那个库吧?

我已导入, 方法是:

百度搜: 辅助者txt分割器, 然后分割成每个txt10w行,
分割后会生成1-5000.txt个文件,

然后就交给php的foreach 从1-5000循环, 然后写入mysql