正则匹配整数⼩数百分数_正则表达式汇总表
⼀、万能法则
贪婪与⾮贪婪匹配
如:str="ab123c"
p1="ab.*?c"
p2="ab(.*?)c"
贪婪匹配:正则表达式⼀般趋向于最⼤长度匹配,也就是所谓的贪婪匹配。如上⾯使⽤模式p1匹配字符串str,结果就是匹配到:ab123c。⾮贪婪匹配:就是匹配到结果就好,就少的匹配字符。如上⾯使⽤模式p2匹配字符串str,结果就是匹配到:123。
注意:在实践中,正则没必要⼀⼝就吞个胖⼦,可以降阶匹配,少费点脑⼒,后⾯结合BeautifulSoup,就更简单啦。
多⾏匹配
re.S:.将会匹配换⾏符,默认.不会匹配换⾏符。(Python Cookbook的⽅法OUT啦)
>>>re.findall("a(\d+)b.+a(\d+)b", "a23b\na34b")
[]
>>>re.findall("a(\d+)b.+a(\d+)b", "a23b\na34b", re.S)
[('23', '34')]
re.M:^$标志将会匹配每⼀⾏,默认^和$只会匹配第⼀⾏:
>>>re.findall("^a(\d+)b", "a23b\na34b")
['23']
>>>re.findall("^a(\d+)b", "a23b\na34b", re.M)
['23', '34']
如果没有^标志:
>>>re.findall("a(\d+)b", "a23b\na23b")
['23', '23']
具体的例⼦稍后会⽤爬⾍实例进⾏解说。
⼆、校验数字表达式
1 数字:^[0-9]*$
2 n位的数字:^\d{n}$
3 ⾄少n位的数字:^\d{n,}$
4 m-n位的数字:^\d{m,n}$
5 零和⾮零开头的数字:^(0|[1-9][0-9]*)$
6 ⾮零开头的最多带两位⼩数的数字:^([1-9][0-9]*)+(.[0-9]{1,2})?$
7 带1-2位⼩数的正数或负数:^(\-)?\d+(\.\d{1,2})?$
8 正数、负数、和⼩数:^(\-|\+)?\d+(\.\d+)?$
9 有两位⼩数的正实数:^[0-9]+(.[0-9]{2})?$
10 有1~3位⼩数的正实数:^[0-9]+(.[0-9]{1,3})?$
11 ⾮零的正整数:^[1-9]\d*$ 或 ^([1-9][0-9]*){1,3}$ 或 ^\+?[1-9][0-9]*$
12 ⾮零的负整数:^\-[1-9][]0-9"*$ 或 ^-[1-9]\d*$
13 ⾮负整数:^\d+$ 或 ^[1-9]\d*|0$
14 ⾮正整数:^-[1-9]\d*|0$ 或 ^((-\d+)|(0+))$
15 ⾮负浮点数:^\d+(\.\d+)?$ 或^[1-9]\d*\.\d*|0\.\d*[1-9]\d*|0?\.0+|0$
16 ⾮正浮点数:^((-\d+(\.\d+)?)|(0+(\.0+)?))$ 或^(-([1-9]\d*\.\d*|0\.\d*[1-9]\d*))|0?\.0+|0$
17 正浮点数:^[1-9]\d*\.\d*|0\.\d*[1-9]\d*$ 或^(([0-9]+\.[0-9]*[1-9][0-9]*)|([0-9]*[1-9][0-9]*\.[0-9]+)|([0-9]*[1-9][0-9]*))$
18 负浮点数:^-([1-9]\d*\.\d*|0\.\d*[1-9]\d*)$ 或^(-(([0-9]+\.[0-9]*[1-9][0-9]*)|([0-9]*[1-9][0-9]*\.[0-9]+)|([0-9]*[1-9][0-9]*)))$
19 浮点数:^(-?\d+)(\.\d+)?$ 或^-?([1-9]\d*\.\d*|0\.\d*[1-9]\d*|0?\.0+|0)$
三、校验字符表达式
1 汉字:^[\u4e00-\u9fa5]{0,}$
2 英⽂和数字:^[A-Za-z0-9]+$ 或 ^[A-Za-z0-9]{4,40}$
3 长度为3-20的所有字符:^.{3,20}$
4 由26个英⽂字母组成的字符串:^[A-Za-z]+$
5 由26个⼤写英⽂字母组成的字符串:^[A-Z]+$
6 由26个⼩写英⽂字母组成的字符串:^[a-z]+$
7 由数字和26个英⽂字母组成的字符串:^[A-Za-z0-9]+$
8 由数字、26个英⽂字母或者下划线组成的字符串:^\w+$ 或 ^\w{3,20}$
9 中⽂、英⽂、数字包括下划线:^[\u4E00-\u9FA5A-Za-z0-9_]+$
10 中⽂、英⽂、数字但不包括下划线等符号:^[\u4E00-\u9FA5A-Za-z0-9]+$ 或^[\u4E00-\u9FA5A-Za-z0-9]{2,20}$
11 可以输⼊含有^%&',;=?$\"等字符:[^%&',;=?$\x22]+
12 禁⽌输⼊含有~的字符:[^~\x22]+
四、特殊需求表达式
1 Email地址:^\w+([-+.]\w+)*@\w+([-.]\w+)*\.\w+([-.]\w+)*$
2 域名:[a-zA-Z0-9][-a-zA-Z0-9]{0,62}(/.[a-zA-Z0-9][-a-zA-Z0-9]{0,62})+/.?
3 InternetURL:[a-zA-z]+://[^\s]* 或^([\w-]+\.)+[\w-]+(/[\w-./?%&=]*)?$
4 ⼿机号码:^(13[0-9]|14[5|7]|15[0|1|2|3|5|6|7|8|9]|18[0|1|2|3|5|6|7|8|9])\d{8}$
5 电话号码("XXX-XXXXXXX"、"XXXX-XXXXXXXX"、"XXX-XXXXXXX"、"XXX-XXXXXXXX"、"XXXXXXX"和"XXXXXXXX):^(\(\d{3,4}-)|\d{3.4}-)?\d{7,8}$
6 国内电话号码(0511-*******、021-********):\d{3}-\d{8}|\d{4}-\d{7}
7 ⾝份证号(15位、18位数字):^\d{15}|\d{18}$
8 短⾝份证号码(数字、字母x结尾):^([0-9]){7,18}(x|X)?$ 或^\d{8,18}|[0-9x]{8,18}|[0-9X]{8,18}?$
9 帐号是否合法(字母开头,允许5-16字节,允许字母数字下划线):^[a-zA-Z][a-zA-Z0-9_]{4,15}$
10 密码(以字母开头,长度在6~18之间,只能包含字母、数字和下划线):^[a-zA-Z]\w{5,17}$
11 强密码(必须包含⼤⼩写字母和数字的组合,不能使⽤特殊字符,长度在8-10之间):^(?=.*\d)(?=.*[a-z])(?=.*[A-Z]).{8,10}$
12 ⽇期格式:^\d{4}-\d{1,2}-\d{1,2}
13 ⼀年的12个⽉(01~09和1~12):^(0?[1-9]|1[0-2])$
14 ⼀个⽉的31天(01~09和1~31):^((0?[1-9])|((1|2)[0-9])|30|31)$
15 钱的输⼊格式:
15-1.有四种钱的表⽰形式我们可以接受:"10000.00" 和"10,000.00", 和没有 "分" 的 "10000" 和 "10,000":^[1-9][0-9]*$
15-2.这表⽰任意⼀个不以0开头的数字,但是,这也意味着⼀个字符"0"不通过,所以我们采⽤下⾯的形式:^(0|[1-9][0-9]*)$
15-3.⼀个0或者⼀个不以0开头的数字.我们还可以允许开头有⼀个负号:^(0|-?[1-9][0-9]*)$
15-4.这表⽰⼀个0或者⼀个可能为负的开头不为0的数字.让⽤户以0开头好了.把负号的也去掉,因为钱总不能是负的吧.下⾯我们要加的是说明可能的⼩数部分:^[0-9]+(.[0-9]+)?$
15-5.必须说明的是,⼩数点后⾯⾄少应该有1位数,所以"10."是不通过的,但是 "10" 和 "10.2" 是通过的:^[0-9]+(.[0-9]{2})?$
15- 6.这样我们规定⼩数点后⾯必须有两位,如果你认为太苛刻了,可以这样:^[0-9]+(.[0-9]{1,2})?$
15-7.这样就允许⽤户只写⼀位⼩数.下⾯我们该考虑数字中的逗号了,我们可以这样:^[0-9]{1,3}(,[0-9]{3})*(.[0-9]{1,2})?$
15-8.1到3个数字,后⾯跟着任意个 逗号+3个数字,逗号成为可选,⽽不是必须:^([0-9]+|[0-9]{1,3}(,[0-9]{3})*)(.[0-9]{1,2})?$
*备注:这就是最终结果了,别忘了"+"可以⽤"*"替代如果你觉得空字符串也可以接受的话(奇怪,为什么?)最后,别忘了在⽤函数时去掉去掉那个反斜杠,⼀般的错误都在这⾥
16 xml⽂件:^([a-zA-Z]+-?)+[a-zA-Z0-9]+\\.[x|X][m|M][l|L]$
17 中⽂字符的正则表达式:[\u4e00-\u9fa5]
18 双字节字符:[^\x00-\xff] (包括汉字在内,可以⽤来计算字符串的长度(⼀个双字节字符长度计2,ASCII字符计1))
19 空⽩⾏的正则表达式:\n\s*\r (可以⽤来删除空⽩⾏)
20 HTML标记的正则表达式:]*>.*?\1>|<.> (⽹上流传的版本太糟糕,上⾯这个也仅仅能部分,对于复杂的嵌套标记依旧⽆能为⼒)
21 ⾸尾空⽩字符的正则表达式:^\s*|\s*$或(^\s*)|(\s*$) (可以⽤来删除⾏⾸⾏尾的空⽩字符(包括空格、制表符、换页符等等),⾮常有⽤的表达式)
22 腾讯QQ号:[1-9][0-9]{4,} (腾讯QQ号从10000开始)
23 中国:[1-9]\d{5}(?!\d) (中国为6位数字)
24 IP地址:\d+\.\d+\.\d+\.\d+ (提取IP地址时有⽤)
25 IP地址:((?:(?:25[0-5]|2[0-4]\\d|[01]?\\d?\\d)\\.){3}(?:25[0-5]|2[0-4]\\d|[01]?\\d?\\d))
实例:⽤python爬取⽹站数据1.运⾏环境和python库
先说下运⾏环境:
python3.5
windows7, 64位系统python库
本次智联招聘的⽹站爬取,主要涉及以下⼀些python库:
requests
BeautifulSoup
multiprocessing
pymongo
itertools
2.爬取的主要步骤
根据关键字、城市、以及页⾯编号⽣成需要爬取的⽹页链接
⽤requests获取相应的⽹页内容
⽤BeautifulSoup解析,获取需要的关键信息
将爬取的信息存⼊MongoDB数据库中,插⼊新记录或更新已有记录
⽤multiprocessing启动多进程进⾏爬取,提⾼运⾏效率
3.⽂件组成
信息配置⽂件“zhilian_kw_config.py”
爬⾍主运⾏⽂件“zhilian_kw_spider.py”
在配置⽂件中设置需要爬取的信息,然后运⾏主程序进⾏内容抓取。
配置⽂件“zhilian_kw_config.py”的内容如下:
#Code based on Python 3.x
正则表达式提取中文字符#_*_ coding: utf-8 _*_
#__Author: "LEMON"
TOTAL_PAGE_NUMBER= 90 # PAGE_NUMBER: total number ofpages,可进⾏修改KEYWORDS= ['⼤数据', 'python', '投资经理'] # 需爬取的关键字可以⾃⼰添加或修改
#爬取主要城市的记录
ADDRESS= ['全国', '北京', '上海', '⼴州', '深圳',
'天津', '武汉', '西安', '成都', '⼤连',
'长春', '沈阳', '南京', '济南', '青岛',
'杭州', '苏州', '⽆锡', '宁波', '重庆',
'郑州', '长沙', '福州', '厦门', '哈尔滨',
'⽯家庄', '合肥', '惠州', '太原', '昆明',
'烟台', '佛⼭', '南昌', '贵阳', '南宁']
MONGO_URI= 'localhost'
MONGO_DB= 'zhilian'
爬⾍主运⾏⽂件“zhilian_kw_spider.py”的内容如下:
#Code based on Python 3.x
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。
发表评论