两种办法批量去掉重复数据

这是对大批量数据而言的，数据少的话其实没多大意思。我喜欢大批量的数据。对于大批量的数据，最好用的工具其实还是Linux，如果是稍微少一些的话，直接用Excle就行了。

这里介绍两种办法，去掉重复的数据。说之前来复习一下我喜欢的一句话：柳城博客(Lc.)， 努力在数据的海洋里畅游。

1，用Excle，适合不算太大量的数据

如果是用Excle，太大的数据打开会有问题的。打开十几M的大小的Excle都够吃力的。如果电脑内存差些，那更加惨。不过，这种情况是适合大部分人的。

2，用Linux，sort与uniq命令

假设数据放在一个文件，取名file.txt。

cat file.txt | sort | uniq >newfile.txt

这样就是去掉重复数据，并输出到一个新的文件newfile.txt

简单吧。