linux uniq 命令 去重统计

文件： test3.txt

baidu.com
baimei.com
hua.com
taobao.com
baidu.com
taobao.com
taobao.com
taobao.com

去重必须是相邻的， 所以我们需要提前对文件排序：

cat test3.txt |sort|uniq

案例: 去重并统计重复的次数(统计每个单词出现的次数)

cat test3.txt |sort|uniq -c

-c 参数就是 count ， 统计次数

案例: 将去重统计后的结果按照数字进行逆序排序

cat test3.txt |sort|uniq -c|sort -nk1

案例: 统计/etc/passwd中单词的数量

替换： 

cat /etc/passwd | tr ":/" " "  

cat /etc/passwd|tr ":/0-9x" " "|xargs -n1|sort |uniq -c|sort -rn|head

扩展

欢迎来撩 ： 汇总all