您的位置 首页 linux常用命令

linux uniq 命令 去重统计

文件: test3.txt

baidu.com
baimei.com
hua.com
taobao.com
baidu.com
taobao.com
taobao.com
taobao.com

去重必须是相邻的, 所以我们需要提前对文件排序:

cat test3.txt |sort|uniq

案例: 去重并统计重复的次数(统计每个单词出现的次数)

cat test3.txt |sort|uniq -c

-c 参数就是 count , 统计次数

 

案例: 将去重统计后的结果按照数字进行逆序排序

cat test3.txt |sort|uniq -c|sort -nk1

案例: 统计/etc/passwd中单词的数量

替换: 

cat /etc/passwd | tr ":/" " "  

 

cat /etc/passwd|tr ":/0-9x" " "|xargs -n1|sort |uniq -c|sort -rn|head

 

扩展

 

 

欢迎来撩 : 汇总all

白眉大叔

关于白眉大叔linux云计算: 白眉大叔

热门文章