Linux 如何处理超大体积的文本文件？

This topic created in 3990 days ago, the information mentioned may be changed or developed.

例如，以 GB 为单位的文本文件，内容为纪录条目
1）对文件里面的条目去重，仅保留不重复的内容
2）切割文件，例如只保留最后 1/3 或最后 1/2 体积的内容

使用uniq sort 等系统自带命令

2 replies • 2015-07-06 11:50:34 +08:00

msg7086

Jul 6, 2015

切割可以 head / tail。
去重需要 sort + uniq 要看内存有多大了吧。

tanywei

Jul 6, 2015

python yield