正则表达式re模块re模块实⽤⽅法
⼀. 正则表达式
  ⾸先, 我们在⽹⻚上进行注册或者登陆的时候经常能看到⼀些格式上的错误提⽰. ⽐如：你在注册百度账号的时候输⼊⽤户名随意的输⼊系统会提⽰你. 你的账号过长或者不允许使⽤中⽂等等操作. 那这种操作如果使⽤我们现有的知识点是可以完成的. 但是完成的效果并不好. 写起来也不容易. 尤其是对邮箱的匹配. 电话号码的匹配. 那正则表达式就是专门来处理理类似问题的⼀种表达式. 英⽂全称: Regular Expression. 简称 regex或者re. 但你要知道我们在使⽤⽤python的re模块之前. 我们⾸先要对正则有⼀定的了解和认识. 就像我们使⽤time模块之前. 我们已经对时间有了⼀定的认识.
  正则表达式是对字符串操作的⼀种逻辑公式. 我们⼀般使⽤正则表达式对字符串进行匹配和过滤.
使⽤正则的优缺点:
元字符: 元字符才是正则表达式的灵魂. 元字符中的内容太多了, 在这里我们只介⼀些
常⽤的.
  1. 字符组
  字符组很简单⽤[]括起来. 在[]中出现的内容会被匹配. 例如:[abc] 匹配a或b或c
如果字符组中的内容过多还可以使⽤- , 例如: [a-z] 匹配a到z之间的所有字⺟ [0-9]
匹配所有阿拉伯数字
  2. 简单元字符
  基本的元字符. 这个东⻄⽹上⼀搜⼀⼤堆. 但是常⽤的就那么⼏个:
. 匹配除换行符以外的任意字符
\w 匹配字母或数字或下划线
\s 匹配任意的空⽩符
\d 匹配数字
\n 匹配⼀个换行符
\t 匹配⼀个制表符
\b 匹配⼀个单词的结尾
^ 匹配字符串的开始
$ 匹配字符串的结尾
\W 匹配⾮字⺟或数字或下划线
\D 匹配⾮数字
\S 匹配⾮空⽩符
a|b 匹配字符a或字符
() 匹配括号内的表达式，也表⽰⼀个组
[...] 匹配字符组中的字符
[^...] 匹配除了字符组中字符的所有字符
..............还有很多,⾃⼰上⽹搜...........
  3. 量词
  我们到⽬前匹配的所有内容都是单⼀⽂字符号. 那如何⼀次性匹配很多个字符呢,
我们要⽤到量词
* 重复零次或更多次
+ 重复⼀次或更多次
重复零次或⼀次
{n} 重复n次
{n,} 重复n次或更多次
{n,m} 重复n到m次
  4. 惰性匹配和贪婪匹配
  在量词中的*, +,{} 都属于贪婪匹配. 就是尽可能多的匹配到结果.
str: ⿇花藤昨天让英雄联盟关服了
reg: ⿇花藤.*
此时匹配的是整句话
  在使⽤.*后⾯如果加了? 则是尽可能的少匹配. 表⽰惰性匹配
str: ⿇花藤昨天让英雄联盟关服了
reg: ⿇花藤.*?
此时匹配的是⿇花藤
str: <div>胡辣汤</div>
reg: <.*>
结果: <div>胡辣汤</div>
str: <div>胡辣汤</div>
reg: <.*?>
结果:
<div>
  .*?x的特殊含义到下⼀个x为⽌.
str: abcdefgxhijklmn
reg: .*?x
结果:abcdefgx
  5. 分组
  在正则中使⽤()进行分组. ⽐如. 我们要匹配⼀个相对复杂的⾝份证号. ⾝份证号分
成两种. ⽼的⾝份证号有15位. 新的⾝份证号有18位. 并且新的⾝份证号结尾有可能是x.
给出以下正则:
^[1-9]\d{13,16}[0-9x]$    #不⾏
^[1-9]\d{14}(\d{2}[0-9x])?$      #可⽤
^([1-9]\d{16}[0-9x]|[1-9]\d{14})$    #不可⽤
  6. 转义
  在正则表达式中, 有很多有特殊意义的是元字符, ⽐如\n和\s等，如果要在正则中匹
配正常的"\n"⽽不是"换行符"就需要对"\"进行转义, 变成'\\'.在python中, ⽆论是正则表达式, 还是待匹配的内容, 都是以字符串的形式出现的, 在字符串中\也有特殊的含义, 本⾝还需要转义. 所以如果匹配⼀次"\n", 字符串中要写成'\\n', 那么正则里就要写成"\\\\n"，这样就太⿇烦了.
这个时候我们就⽤到了r'\n'这个概念, 此时的正则是r'\\n'就可以了.
⼆. re模块
# re的⼯作是在python中执⾏正则表达式
  re模块是python提供的⼀套关于处理正则表达式的模块. 核⼼功能有四个:
    1. findall 查所有. 返回list
lst = re.findall("m", "mai le fo len, mai ni mei!")
print(lst) # ['m', 'm', 'm']
lst = re.findall(r"\d+", "5点之前. 你要给我5000万")
print(lst) # ['5', '5000']
    2. search 会进行匹配. 但是如果匹配到了第⼀个结果. 就会返回这个结果. 如果匹配不上search返回的则是None
ret = re.search(r'\d', '5点之前. 你要给我5000万').group()
print(ret) # 5
    3. match 只能从字符串的开头进行匹配
ret = re.match('a', 'abc').group()
print(ret) # a
    4. finditer 和findall差不多. 只不过这时返回的是迭代器 
it = re.finditer("m", "mai le fo len, mai ni mei!")
for el in it:
  up()) # 依然需要分组
    5. 其他操作
ret = re.split('[ab]', 'qwerafjbcd') # 先按'a'分割得到'qwer'和'fjbcd'，再
对'qwer'和'fjbcd'分别按'b'分割
print(ret) # ['qwer', 'fj', 'cd']
ret = re.sub(r"\d+", "_sb_", "alex250taibai250wusir250ritian38") # 把字符串中的数字换成__sb__ print(ret) # alex_sb_taibai_sb_wusir_sb_ritian_sb_
ret = re.subn(r"\d+", "_sb_", "alex250taibai250wusir250ritian38") # 将数字替
换成'__sb__'，返回元组(替换的结果，替换了多少次)
print(ret) # ('alex_sb_taibai_sb_wusir_sb_ritian_sb_', 4)
obj = repile(r'\d{3}') # 将正则表达式编译成为⼀个正则表达式对象, 规则要匹配的
是3个数字
ret = obj.search('abc123eeee') # 正则表达式对象调⽤search, 参数为待匹配的字符串串
up()) # 结果: 123
爬⾍重点:
obj = repile(r'(?P<id>\d+)(?P<name>e+)') # 从正则表达式匹配的内容每个组起名
字
ret = obj.search('abc123eeee') # 搜索
up()) # 结果: 123eeee
up("id")) # 结果: 123 # 获取id组的内容
up("name")) # 结果: eeee # 获取name组的内容
# 正则的常⽤操作
result = re.split("\d+", "宝宝110来你了. 你回头收拾收拾去119报道")
print(result)
⽤正则替换
s = re.sub("\d+", "__sb__", "宝宝110来你了. 你回头收拾收拾去119报道")
正则匹配快代理print(s)
s = re.subn("\d+", "__sb__", "宝宝110来你了. 你回头收拾收拾去119报道") # 替换了xxx次
print(s)
code = "for i in range(10): print(i)"
c = compile(code, "", "exec") # 编译
exec(c) # 快速执⾏
reg = repile(r"\d+") # 编译了⼀段正则. 加载了⼀段正则
lst = reg.findall("呵呵, 宝宝才不去110呢.他要去120了")
print(lst)
re.findall(r"\d+", "呵呵, 宝宝才不去110呢.他要去120了")
lst = re.findall(r"a(?:\d+)c", "a123456c") # 把括号python中的分组变成了原来正则表达式中的分组
print(lst)
6. 两个坑
注意: 在re模块中和我们在线测试⼯具中的结果可能是不⼀样的.
ret = re.findall('www.(baidu|oldboy)', 'www.oldboy')
print(ret) # ['oldboy'] 这是因为findall会优先把匹配结果组里内容返回，如果想要匹
配结果，取消权限即可
ret = re.findall('www.(?:baidu|oldboy)', 'www.oldboy')
print(ret) # ['www.oldboy']
split里也有⼀个坑
ret=re.split("\d+","eva3egon4yuan")
print(ret) #结果： ['eva', 'egon', 'yuan']
ret=re.split("(\d+)","eva3egon4yuan")
print(ret) #结果： ['eva', '3', 'egon', '4', 'yuan']
#在匹配部分加上（）之后所切出的结果是不同的，
#没有（）的没有保留所匹配的项，但是有（）的却能够保留了匹配的项，
#这个在某些需要保留匹配部分的使⽤过程是⾮常重要的。
这种优先级的问题有时候会帮我们完成很多功能. 我们来看⼀个⽐较复杂的例⼦
import re
quest import urlopen
import ssl
# ⼲掉数字签名证书
ssl._create_default_https_context = ssl._create_unverified_context
def getPage(url):
  response = urlopen(url)
ad().decode('utf-8')
def parsePage(s):
  ret = re.findall(
'<div class="item">.*?<div class="pic">.*?<em .*?>(?P<id>\d+).*?
<span class="title">(?P<title>.*?)</span>'
'.*?<span class="rating_num" .*?>(?P<rating_num>.*?)</span>.*?<span>
(?P<comment_num>.*?)评价</span>', s, re.S)
return ret
def main(num):
  url = '' % num
  response_html = getPage(url)
  ret = parsePage(response_html)
  print(ret)
count = 0
for i in range(10): # 10页
  main(count)
  count += 25
  此时利⽤的就是分组之后. 匹配成功后获取到的是分组后的结果. (?P<id>\d+) 此时当前组所匹配的数据就会被分组到id组内. 此时程序可以改写成:import ssl
import re
quest import urlopen
# ⼲掉数字签名证书
ssl._create_default_https_context = ssl._create_unverified_context
def getPage(url):
  response = urlopen(url)
  ad().decode('utf-8')
def parsePage(s):
  com = repile(
      '<div class="item">.*?<div class="pic">.*?<em .*?>(?P<id>\d+).*?
      <span class="title">(?P<title>.*?)</span>'
      '.*?<span class="rating_num" .*?>(?P<rating_num>.*?)</span>.*?
      <span>(?P<comment_num>.*?)评价</span>', re.S)
  ret = com.finditer(s)
  for i in ret:
    yield {
    "id": i.group("id"),
    "title": i.group("title"),
    "rating_num": i.group("rating_num"),
    "comment_num": i.group("comment_num"),
    }
def main(num):
  url = 'movie.douban/top250?start=%s&filter=' % num
  response_html = getPage(url)
  ret = parsePage(response_html)
  # print(ret)
  f = open("move_info7", "a", encoding="utf8")
  for obj in ret:
    print(obj)
    data = str(obj)
    f.write(data + "\n")
count = 0
for i in range(10):
  main(count)
  count += 25
  正则表达式和re模块就说这么多. 如果要把正则所有的内容全部讲清楚讲明⽩, ⾄少要⼀周
以上的时间. 对于我们⽇常使⽤⽽⾔. 上述知识点已经够⽤了. 如果碰到⼀些极端情况建议想
办法分部处理. 先对字符串进⾏行拆分. 然后再考虑⽤正则.
# 爬取电影天堂极其简易版
quest import urlopen
content = urlopen("www.dytt8/html/gndy/dyzz/20181219/57954.html").read().decode("gbk")
# print(content)
reg = r'<div id="Zoom">.*?⽚  名(?P<name>.*?)<br />◎年  代(?P<years>.*?)<br />.*?◎上映⽇期(?P<date>.*?)<br />'+ \ '.*?◎主  演(?P<main>.*?)◎简  介.*?<td bgcolor="#fdfddf"><a href="(?P<download>.*?)">' it = re.finditer(reg, content, re.S) # re.S 去掉.⾥⾯的\n
for el in it:
up("name"))
up("years"))
up("date"))
up("main").replace("<br />      ", ", "))
up("download"))

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。