Linux下大文件的排序和去重复

Linux下我们用 sortuniq 的命令来实现去重复行。

去重复

简单的用法如下,如一个文件名:happybirthday.txt

cat happybirthday.txt (显示文件内容)

Happy Birthday to You!
Happy Birthday to You!
Happy Birthday Dear Tux!
Happy Birthday to You!

cat happybirthday.txt|sort (排序)

Happy Birthday Dear Tux!
Happy Birthday to You!
Happy Birthday to You!
Happy Birthday to You!

cat happybirthday.txt|sort|uniq (去重复行)

Happy Birthday Dear Tux!
Happy Birthday to You!

去大文件重复行

但有时碰到一个大文件时(例如G级的文件),用上面的命令时报错,提示空间不足。我尝试了一下,最后是用 split 命令把大文件分割为几个小文件,单独排完序后再合并 uniq 。

split -b 200m  happybirthday.big Prefix_

用-b参数切割happybirthday.big,小文件为200M。切割后的文件名前缀是Prefix_

切割后的文件名如

Prefix_aa

Prefix_ab

再分别sort

sort Prefix_aa >Prefix_aa.sort

sort Prefix_ab >Prefix_ab.sort

再用 sort -m合并,再 uniq

cat Prefix_aa.sort Prefix_ab.sort |sort -m |uniq

上面的代码排序后还是不满意的话,可尝试下面的(2010-07-12更新):

sort -sm Prefix_aa.sort Prefix_ab.sort|uniq

这是好早前碰到的一个问题了。没记错的话应该是这么回事。~

sort 与 uniq 命令还有许多有用的参数,如sort -m、uniq -u、uniq -d等。sort 与 uniq的组合是很强大的。

~完。

13 回复
  1. 呐喊 says:

    分享了你的技术贴,受教颇深 [抱拳] 。
    但我有个小问题想请教一下,在去大文件重复行时,先分割再合并,如果Prefix_aa和Prefix_ab中同有一个“gediao”这一行,因为sort -m 只合并不排序,所以最后不会去除gediao 这个重复行是不是?

    柳城 回复:

    马上试了一下,的确是啊。这方法还是有很大的缺陷啊。
    杯具~ 想不出更好的办法了 [可怜]

评论已关闭。