linux系统安装步骤csdn
【⽂件去重】linux下的⼏种⽂本去重⽅法1、传统⽅法：cat xx | sort | uniq
优点：简单直接
缺点：顺序乱了
2、awk命令去重输出：awk '!x[$0]++' filename
应⽤扩展1：cat Afile Bfile|awk '!x[$0]++' >Cfile
依次输出A、B两个⽂件内容，去掉B中与A重复的⾏，输出到C；多应⽤于⽇志拼接。
灵活扩展2：cat Afile|awk '!x[$0]++'
也可以写作：awk '!x[$0]++' Afile
去掉重复的⾏，输出A⽂件
3、vim通配符：
: sort //可以直接排序，这个太好⽤了
:
g/^.∗.∗$\n\1$/d //去除重复⾏
:g/\%(^\1$\n\)\@<=.∗.∗$/d //功能同上，也是去除重复⾏
:g/\%(^\1\>.*$\n\)\@<=\k\+\k\+.*$/d//功能同上，也是去除重复⾏

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。