Linux下大文件的排序和去重复
Linux下我们用 sort 与 uniq 的命令来实现去重复行。
去重复行
简单的用法如下，如一个文件名：happybirthday.txt
cat happybirthday.txt (显示文件内容)
Happy Birthday to You!
Happy Birthday to You!
Happy Birthday Dear Tux!
Happy Birthday to You!
cat happybirthday.txt|sort （排序）
Happy Birthday Dear Tux!
Happy Birthday to You!
Happy Birthday to You!
Happy Birthday to You!
cat happybirthday.txt|sort|uniq (去重复行)
Happy Birthday Dear Tux!
Happy Birthday to You!
去大文件重复行
但有时碰到一个大文件时（例如G级的文件），用上面的命令时报错，提示空间不足。我尝试了一下，最后是用 split 命令把大文件分割为几个小文件，单独排完序后再合并 uniq 。
split -b 200m happybirthday.big Prefix_ 用-b参数切割happybirthday.big，小文件为200M。切割后的文件名前缀是Prefix_
切割后的文件名如
Prefix_aa Prefix_ab
再分别sort
sort Prefix_aa >Prefix_aa.sort sort Prefix_ab >Prefix_ab.sort
再用 sort -m合并，再 uniq
cat Prefix_aa.sort Prefix_ab.sort |sort -m |uniq
上面的代码排序后还是不满意的话，可尝试下面的（2010-07-12更新）：
sort -sm Prefix_aa.sort Prefix_ab.sort|uniq
这是好早前碰到的一个问题了。没记错的话应该是这么回事。~
sort 与 uniq 命令还有许多有用的参数，如sort -m、uniq -u、uniq -d等。sort 与 uniq的组合是很强大的。
~完。
有点相关的文章
- 两种方法查看文件的行数 (1.000)
- AWK详细参考(转载整理) (0.500)
- 使用linux中的sed编辑器 (0.500)
- IBM文章:Shell、Shell 脚本编写、命令行、相关工具及技巧 (0.500)
- Linux：FTP全部命令 使用方法介绍 (0.500)
- 用perl统计一个六种类型的数据 (RANDOM - 0.500)
这些命令学熟了是相当有用啊
那是,还有sed ,awk我也非常喜欢用
我比较喜欢grep，一开始就接触这个，后来就只用这个了，呵呵
:ws: grep我也喜欢用啊.用于快速查找与匹配是非常不错的. 不过,复杂的事情就要sed 跟awk了.
sort uniq 不错不错. :cy: :cy:
我只当豆芽菜，一排排的pass pass pass
:cy:
绝对技术帖啊 收藏先 谢谢博主分享。。
半瓶水飘过。
希望柳城能多写点这种帖子，我在这顶了。十分受教
呵。过奖了。 这方面还是蛮多的可以分享的。。有空多写。。 [抱拳]
分享了你的技术贴，受教颇深 [抱拳] 。
但我有个小问题想请教一下，在去大文件重复行时，先分割再合并，如果Prefix_aa和Prefix_ab中同有一个“gediao”这一行，因为sort -m 只合并不排序，所以最后不会去除gediao 这个重复行是不是？
马上试了一下，的确是啊。这方法还是有很大的缺陷啊。
杯具~ 想不出更好的办法了 [可怜]