正则表达式基础
一、正则表达式
虽然我们这一节的标题是正则表达式，但实际我们这一节的内容并不会主要介绍它，而是只介绍grep,sed,awk这三个命令，而正则表达式作为这三个命令的一种使用方式（命令输出中可以包含正则表达式），正则表达式本身的内容很多，要把它说明清除需要单独一门课程来实现，不过我们这一节中涉及到的相关内容通常也能够满足很多情况下的需求了。
那什么是正则表达式呢？
正则表达式，又称正规表示式、正规表示法、正规表达式、规则表达式、常规表示法（英语：Regular Expression，在代码中常简写为regex、regexp或RE），计算机科学的一个概念。正则表达式使用单个字符串来描述、匹配一系列符合某个 句法规则的字符串。在很多文本编辑器里，正则表达式通常被用来检索、替换那些符合某个模式的文本。
许多程序设计语言都支持利用正则表达式进行字符串操作。例如，在Perl中就内建了一个功能强大的正则表达式引擎。正则表达式这个概念最初是由Unix中的工具软件（例如sed和grep）普及开的。正则表达式通常缩写
成“regex”，单数有regexp、regex，复数有regexps、regexes、regexen。
简单的说形式和功能上正则表达式和我们前面讲的通配符很像，不过它们之间又有很大差别，特别在于一些特殊的匹配字符的含义上，希望初学者注意不要将两者弄混淆。
1.先举个栗子
假设我们有这样一个文本文件，包含"shiyanlou",和"shilouyan"这两个字符串
同样一个表达式
shi*
如果这作为一个正则表达式，它将只能匹配shi，而如果不是作为正则表达式*作为一个通配符，则将同时匹配这两个字符串。这是为什么呢。因为在正则表达式中*表 示匹配前面的子表达式（这里就是它前面一个字符）零次或多次，比如它可以匹配"sh","shii","shish","shiishi"等等，而作为通 配符表示匹配通配符后面任意多个任意字符，所以它可以匹配"shiyanlou",和"shilouyan"两个字符。
体验完了，下面就来开始正式学习正则表达式吧。
2.基本语法：
一个正则表达式通常被称为一个模式（pattern），为用来描述或者匹配一系列符合某个句法规则的字符串。
选择
|竖直分隔符表示选择，例如"boy|girl"可以匹配"boy"或者"girl"
数量限定
数量限定除了我们举例用的*,还有+加号,?问号,.点号，如果在一个模式中不加数量限定符则表示出现一次且仅出现一次：
+表示前面的字符必须出现至少一次(1次或多次)，例如，"goo+gle",可以匹配"gooogle","goooogle"等；
?表示前面的字符最多出现一次(0次或1次)，例如，"colou?r",可以匹配"color"或者"colour";
*星号代表前面的字符可以不出现，也可以出现一次或者多次（0次、或1次、或多次），例如，“0*42”可以匹配42、042、0042、00042等。
范围和优先级
()圆括号可以用来定义模式字符串的范围和优先级，这可以简单的理解为是否将括号内的模式串作为一个整体。例 如，"gr(a|e)y"等价于"gray|grey"，（这里体现了优先级，竖直分隔符用于选择a或者e而不是gra和ey），" (grand)?father"匹配father和grandfather（这里体验了范围，?将圆括号内容作为一个整体匹配）。
语法（部分）
正则表达式有多种不同的风格，下面列举一些常用的作为PCRE子集的适用于perl和python编程语言及grep或egrep的正则表达式匹配规则：(由于markdown表格解析的问题，下面的竖直分隔符用全角字符代替，实际使用时请换回半角字符)
PCRE(Perl Compatible Regular Expressions中文含义：perl语言兼容正则表达式)是一个用C语言编写的正则表达式函数库，由菲利普.海泽(Philip Hazel)编写。PCRE是一个轻量级的函数库，比Boost之类的正则表达式库小得多。PCRE十分易用，同时功能也很强大，性能超过了POSIX正 则表达式库和一些经典的正则表达式库.
字符
描述
\
将下一个字符标记为一个特殊字符、或一个原义字符。例如，“n”匹配字符“n”。“\n”匹配一个换行符。序列“\\”匹配“\”而“\(”则匹配“(”。
^
匹配输入字符串的开始位置。
$
匹配输入字符串的结束位置。
{n}
n是一个非负整数。匹配确定的n次。例如，“o{2}”不能匹配“Bob”中的“o”，但是能匹配“food”中的两个o。
{n,}
n是一个非负整数。至少匹配n次。例如，“o{2,}”不能匹配“Bob”中的“o”，但能匹配“foooood”中的所有o。“o{1,}”等价于“o+”。“o{0,}”则等价于“o*”。
{n,m}
m和n均为非负整数，其中n<=m。最少匹配n次且最多匹配m次。例如，“o{1,3}”将匹配“fooooood”中的前三个o。“o{0,1}”等价于“o?”。请注意在逗号和两个数之间不能有空格。
*
匹配前面的子表达式零次或多次。例如，zo*能匹配“z”、“zo”以及“zoo”。*等价于{0,}。
+
匹配前面的子表达式一次或多次。例如，“zo+”能匹配“zo”以及“zoo”，但不能匹配“z”。+等价于{1,}。
?
匹配前面的子表达式零次或一次。例如，“do(es)?”可以匹配“do”或“does”中的“do”。?等价于{0,1}。
?
当该字符紧跟在任何一个其他限制符（*,+,?，{n}，{n,}，{n,m}）后面时，匹配模式是非贪婪的。非贪婪模式尽可能少的匹配所搜索的 字符串，而默认的贪婪模式则尽可能多的匹配所搜索的字符串。例如，对于字符串“oooo”，“o+?”将匹配单个“o”，而“o+”将匹配所有“o”。
.
匹配除“\n”之外的任何单个字符。要匹配包括“\n”在内的任何字符，请使用像“(.｜\n)”的模式。
(pattern)
匹配pattern并获取这一匹配的子字符串。该子字符串用于向后引用。要匹配圆括号字符，请使用“\(”或“\)”。
x｜y
匹配x或y。例如，“z｜food”能匹配“z”或“food”。“(z｜f)ood”则匹配“zood”或“food”。
[xyz]
字符集合（character class）。匹配所包含的任意一个字符。例如，“[abc]”可以匹配“plain”中的“a”。其中特殊字符仅有反斜线\保持特殊含义，用于转义字符。其它特殊字符如星号、加号、各种括号等均作为普通字符。脱字符^如果出现在首位则表示负值字符集合；如果出现在字符串中间就仅作为普通字符。连字符 - 如果出现在字符串中间表示字符范围描述；如果如果出现在首位则仅作为普通字符。
[^xyz]
排除型（negate）字符集合。匹配未列出的任意字符。例如，“[^abc]”可以匹配“plain”中的“plin”。
[a-z]
字符范围。匹配指定范围内的任意字符。例如，“[a-z]”可以匹配“a”到“z”范围内的任意小写字母字符。
[^a-z]
排除型的字符范围。匹配任何不在指定范围内的任意字符。例如，“[^a-z]”可以匹配任何不在“a”到“z”范围内的任意字符。
优先级
优先级为从上到下从左到右，依次降低
运算符
说明
\
转义符
(), (?:), (?=), []
括号和中括号
*、+、?、{n}、{n,}、{n,m}
限定符
^、$、\任何元字符
定位点和序列
｜
　选择
更多正则表达式的内容可以参考以下链接：
∙ 正则表达式wiki
∙ 几种正则表达式引擎的语法差异
∙ 各语言各平台对正则表达式的支持
最后再来一张regex的思导图
二、grep模式匹配命令
上面空谈了那么多正则表达式的内容也并没有提及具体该如何使用它，实在枯燥，如果说正则表达式是一门武功话，那它也只能算得上一些口诀招式罢了，要把它真正练起来还得需要一些兵器在手才行，这里我们要介绍的grep命令以及后面要讲的sed,awk这些就该算作是这样的兵器了。
1.基本操作
grep命令用于打印输出文本中匹配的模式串，它使用正则表达式作为模式匹配的条件。grep支持三种正则表达式引擎，分别用三个参数指定：
参数
说明
-E
POSIX扩展正则表达式，ERE
-G
POSIX基本正则表达式，BRE
-P
Perl正则表达式，PCRE
不过在你没学过perl语言的大多数情况下你将只会使用到ERE和BRE,所以我们接下来的内容都不会讨论到PCRE中特有的一些正则表达式语法（它们之间大部分内容是存在交集的，所以你不用担心会遗漏多少重要内容）
在通过grep命令使用正则表达式之前，先介绍一下它的常用参数
参数
说明
-b
将二进制文件作为文本来进行匹配
-c
统计以模式匹配的数目
-i
忽略大小写
-n
显示匹配文本所在行的行号
-v
反选，输出不匹配行的内容
-r
递归匹配查
-A n
n为正整数，表示正则匹配数字字符串开头after的意思，除了列出匹配行之外，还列出后面的n行
-B n
n为正整数，表示before的意思，除了列出匹配行之外，还列出前面的n行
--color=auto
将输出中的匹配项设置为自动颜显示
注：在大多数发行版中是默认设置了grep的颜的，你可以通过参数指定或修改GREP_COLOR环境变量
2.使用正则表达式
使用基本正则表达式，BRE
位置
查/etc/group文件中以"shiyanlou"为开头的行
$ grep 'shiyanlou' /etc/group$ grep '^shiyanlou' /etc/group
数量
# 将匹配以'z'开头以'o'结尾的所有字符串$ echo 'zero\nzo\nzoo' | grep 'z.*o'
# 将匹配以'z'开头以'o'结尾，中间包含一个任意字符的字符串$ echo 'zero\nzo\nzoo' | grep 'z.o'
# 将匹配以'z'开头,以任意多个'o'结尾的字符串$ echo 'zero\nzo\nzoo' | grep 'zo*'
注意：其中\n为换行符
选择
# grep默认是区分大小写的，这里将匹配所有的小写字母$ echo '1234\nabcd' | grep '[a-z]'
# 将匹配所有的数字$ echo '1234\nabcd' | grep '[0-9]'
# 将匹配所有的数字$ echo '1234\nabcd' | grep '[[:digit:]]'
# 将匹配所有的小写字母$ echo '1234\nabcd' | grep '[[:lower:]]'
# 将匹配所有的大写字母$ echo '1234\nabcd' | grep '[[:upper:]]'
# 将匹配所有的字母和数字，包括0-9,a-z,A-Z$ echo '1234\nabcd' | grep '[[:alnum:]]'
# 将匹配所有的字母$ echo '1234\nabcd' | grep '[[:alpha:]]'
下面包含完整的特殊符号及说明：
特殊符号
说明
[:alnum:]
代表英文大小写字节及数字，亦即 0-9, A-Z, a-z
[:alpha:]
代表任何英文大小写字节，亦即 A-Z, a-z
[:blank:]
代表空白键与 [Tab] 按键两者
[:cntrl:]
代表键盘上面的控制按键，亦即包括 CR, LF, Tab, Del.. 等等
[:digit:]
代表数字而已，亦即 0-9
[:graph:]
除了空白字节 (空白键与 [Tab] 按键) 外的其他所有按键
[:lower:]
代表小写字节，亦即 a-z
[:print:]
代表任何可以被列印出来的字节
[:punct:]
代表标点符号 (punctuation symbol)，亦即：" ' ? ! ; : # $...
[:upper:]
代表大写字节，亦即 A-Z
[:space:]
任何会产生空白的字节，包括空白键, [Tab], CR 等等
[:xdigit:]
代表 16 进位的数字类型，因此包括： 0-9, A-F, a-f 的数字与字节

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。