使用正则表达式进行数据解析

Introduction

所谓的正则表达式，就是指从某个字符串中匹配想要的数据，这个规则就是正则表达式，正则表达式的神奇之处在于“那些正则大师们，写了一串外星文似的字符串，替代了你用一大篇幅的if else代码来做一些数据校验”

关于正则表达式的详细介绍：百度百科

python中的常用匹配函数

主要是match、search和findall这三个函数

match函数

re.match 尝试从字符串的起始位置匹配一个模式，如果不是起始位置匹配成功的话，match()就返回none。

re.match(pattern, string, flags=0) # 参数分别是匹配模式、待匹配的字符串和字符常量（后面会说到）

search函数

re.search 扫描整个字符串并返回第一个成功的匹配。

re.search(pattern, string, flags=0)

findall函数

在字符串中找到正则表达式所匹配的所有子串，并返回一个列表，如果没有找到匹配的，则返回空列表。再次强调是返回是列表，所以当用到findall时，一定注意是直接打印不出来的，要遍历。

findall(string, pos, endpos) # 参数分别是字符串、起始位置和结束位置，其中起始位置和结束位置可以省略

group的用法

在正则表达式中，可以对过滤到的字符串进行分组。分组使用圆括号的方式。 group()：它和 group(0)是等价的，返回的是整个满足条件的字符串。
groups()：返回的是里面的子组，用元组返回。
group(1)：返回的是第一个子组，可以传入多个，比如group(1, 2)

示例：

text = "apple price is $99,orange price is $10"
ret = re.search('.*(\$\d+).*(\$\d+).*', text)
   #对字符串进行分组
print(ret.group())   
print(ret.group(0))
print(ret.group(1))
print(ret.group(2))
print(ret.groups())

>>输出结果：
>>apple price is $99,orange price is $10   # 匹配整句话
>>apple price is $99,orange price is $10   # 匹配整句话
>>$99                                
>>$10
>>('$99', '$10')

单字符匹配

匹配某个特定的字符

import re  #首先导入re模块
text = "hello, he is boy!"  #我们需要匹配的源字符串
ret = re.match('he', text)  #match匹配，从头开始找
print(ret.group()) #输出he

点.可以匹配任意字符，除了默认的换行符

text = "\nabc\n"
#ret = re.match('.', text) #因为从头开始匹配，所以并不会匹配到什么
#print(ret.group())
ret = re.search('.', text) #从前往后，直到第一次匹配成功，所以匹配到了a
print(ret.group())

\d匹配任意的数字

text = '喂，110, he is a boy'
ret = re.search('\d\d\d', text)  #匹配到110
print(ret.group())

\D匹配\d不能匹配的字符，也就是非数字

text = '喂，110, he is a boy'
ret = re.search('\D', text) #匹配到了"喂"
print(ret.group())

\s匹配任意空白字符(\n \r \t 空格)

text = '喂\t110, he is a boy!'
ret = re.search('\s', text) #输出一个制表符，但是我们看不到
print(ret.group())

\S匹配\s不能匹配的字符，也就是非空白字符

text = '喂\t110, he is a boy!'
ret = re.search('\S', text)  #匹配到了"喂"
print(ret.group())

\w匹配 a-z、A-Z以及数字和下划线

text = '\t110, he is a boy!'
ret = re.search('\w', text)
print(ret.group())

\W匹配\w匹配不到的

text = '\t110, he is a boy!'
ret = re.search('\W', text) #匹配到了制表符
print(ret.group())

`[]`组合的方式，只要满足中括号中的某一项就算匹配成功

之前讲到的几种匹配规则，其实可以使用中括号的形式来进行替代

\d：[0-9]
\D：[^0-9]
\w：[0-9 a-z A-Z]
\W：[^0-9 a-z A-Z]

在中括号后面加上+号，可以匹配多个字符

text = '0731-88888888'
ret = re.search('[\d\-]', text) #可以匹配数字或者-号，满足括号中的某一项就算匹配成功，所以最终会匹配上0
print(ret.group())

text = '0731-88888888'
ret = re.search('[\d\-]+', text) #在中括号后面加上了+之后，会将之后满足条件的字符全部匹配，所以最终会匹配上：0731-88888888
print(ret.group())

匹配多个字符

`*`号可以匹配零个或者任意多个字符，示例代码如下：

text = '0731'
ret = re.match('\d*', text) # 以上因为匹配的要求是\d，匹配数字，后面跟了一个星号，就可以匹配到 0731 这 四个字符。 
print(ret.group())

`+`号可以匹配一个或者任意多个字符，最少一个：

text = 'abc'
ret = re.match('\w+', text) # 匹配字符a后发现后面的b、c同样满足条件，所以会匹配上abc
print(ret.group())

因为匹配的是\w，那么就要求是英文字符，后面跟了一个加号，意味着最少要有一个满足\w 的字符才能够匹配到。如果 text 是一个空白字符或者是一个不满足\w 的字符，那么就会报错。示例代码如下：

text = ''
ret = re.search('\w+', text) 
print(ret.group())
>>AttributeError: 'NoneType' object has no attribute

`?` 匹配的字符可以出现一次或者不出现（0或者1次）

text = "8888"
ret = re.match('\d?',text) #会匹配到8
print(ret.group())

text = ""
ret = re.match('\d?',text) #没有匹配到什么，但是并不会报错，因为允许出现零次
print(ret.group())

`{m}`表示匹配m个字符

text = "123"
ret = re.match('\d{2}',text) #匹配两个\d字符，也就是会匹配到12
print(ret.group())

`{m, n}`匹配m到n个字符。在这中间的字符都可以匹配到（优先匹配多个）

text = "123"
ret = re.match('\d{1,2}',text) #匹配一个或者两个，因为这里有两个满足条件，所以会匹配到12
print(ret.group())

如果源字符串只有一个字符，也就是说最多只能匹配到一个，那么：

text = "1"
ret = re.match('\d{1,2}',text) #匹配到1
print(ret.group())

^（脱字号）：表示以……开始：

import re
text = 'hello'
ret = re.search('^h',text) 
  #如果是以h开头的就可以匹配，否则就不匹配
print(ret.group())  #输出h

$：表示以……结束

text = 'xxx@163.com'
ret = re.search('\w+@163.com$', text)
   #如果是以@163.com结束的就可以匹配
print(ret.group())   #最后输出：xxx@163.com

|：匹配多个表达式或者字符串，也就是或

小例子：验证url，URL 的规则是前面是 http 或者 https 或者是 ftp 然后再加上一个冒号，再加上一个斜杠，再后面就是可以出现任意非空白字符

url = 'http://www.vsbf.fun'
ret = re.match('(http|https|ftp)://[^\s]+', url)
print(ret.group())

小案例

手机号码验证

验证手机号码：手机号码的规则是以1开头，第二位可以是34587，后面那9位就可以随意了。示例代码如下：

phone = '15527601234'
ret = re.match('1[34578]\d{9}', phone)
print(ret.group())

邮箱验证

验证邮箱：邮箱的规则是邮箱名称是用数字、字符、下划线组成的，然后是@符号，后面就是域名了。示例代码如下：

email = '2297855974@qq.com'
ret = re.match('\w+@\w+\.[a-zA-z\.]+', email) #首先是前缀可直接用\w，然后是@,@之后又是一个后缀，用\w，之后就是点，为了防止理解错误，这里需要转义一下，点的后面就是域名了，域名用[a-zA-z\.]+
print(ret.group())

URL验证

验证URL：URL的规则是前面是http或者https或者是ftp然后再加上一个冒号，再加上一个斜杠，再后面就是可以出现任意非空白字符了。示例代码如下：

url = 'http://www.vsbf.fun'
ret = re.match('(http|https|ftp)://[^\s]+', url)
print(ret.group())

身份证号码验证

验证身份证：身份证的规则是，总共有18位，前面17位都是数字，后面一位可以是数字，也可以是小写的x，也可以是大写的X。示例代码如下：

idcard = '420821200004101111'
ret = re.match('\d{17}[\dxX]', idcard)
print(ret.group())

贪婪模式和非贪婪模式

贪婪模式：正则表达式会匹配尽量多的字符，默认是贪婪模式
非贪婪模式：正则表达式会匹配尽量少的字符

示例代码：

text = '1145141919810'
ret = re.search('\d+', text)
  #贪婪模式
print(ret.group())   #输出1145141919810

text = '1145141919810'
ret = re.search('\d+?', text)
   #非贪婪模式
print(ret.group())   #输出1

转义字符和原生字符串

首先来看转义字符：在python中\是有特殊含义的，也就是转义字符，我们来看一个例子：

根据前面说过的$在是具有特殊意义的字符，如果我们需要匹配他，应该如何做呢？

text = "apple price is $99,orange paice is $88"
ret = re.search('\$(\d+)',text)
   #要匹配$，就需要对其转义，也就是在前面加上一个反斜杠
print(ret.group())

原生字符串：所谓的原生字符串，就是：字符串里面有什么就是什么，比如'\n'就是两个字符，而不是代表回车：

text = '\n'
print(text)    #输出一个回车，因为这里的\n被转义成了回车

text = r'\n'  #在字符串前面加上一个r表示标记为原生字符串
print(text)  #输出\n

这里有一个问题，就是如果我们需要匹配字符串中的\时，需要使用四个反斜杠，具体操作如下：

text = "apple \c"
ret = re.search('\\\\c',text)
print(ret.group())  #输出\c

或者使用原生字符串：

text = "apple \c"
ret = re.search(r'\\c',text)
print(ret.group())   #输出\c

re模块中常用的函数

findall函数

找出所有满足条件的字符串，返回的是一个列表。

text = 'apple price $99 orange price $88'
ret = re.findall('\$\d+', text)
print(ret)

>> ['$99', '$88']

sub函数

sub函数可以找到满足条件的字符串，让后将这些字符串替换成另一个串

text = 'apple price $99 orange price $88'
ret = re.sub('\$\d+', '0', text)
print(ret)

>>
apple price 0 orange price 0

另一个小案例，把html代码中的标签给去掉

html = """
<div>
<p>基本要求：</p>
<p>1、精通HTML5、CSS3、 JavaScript等Web前端开发技术，对html5页面适配充分了解，熟悉不同浏览器间的差异，熟练写出兼容各种浏览器的代码；</p>
<p>2、熟悉运用常见JS开发框架，如JQuery、vue、angular，能快速高效实现各种交互效果；</p>
<p>3、熟悉编写能够自动适应HTML5界面，能让网页格式自动适应各款各大小的手机；</p>
<p>4、利用HTML5相关技术开发移动平台、PC终端的前端页面，实现HTML5模板化；</p>
<p>5、熟悉手机端和PC端web实现的差异，有移动平台web前端开发经验，了解移动互联网产品和行业，有在Android,iOS等平台下HTML5+CSS+JavaScript（或移动JS框架）开发经验者优先考虑；6、良好的沟通能力和团队协作精神，对移动互联网行业有浓厚兴趣，有较强的研究能力和学习能力；</p>
<p>7、能够承担公司前端培训工作，对公司各业务线的前端（HTML5\CSS3）工作进行支撑和指导。</p>
<p><br></p>
<p>岗位职责：</p>
<p>1、利用html5及相关技术开发移动平台、微信、APP等前端页面，各类交互的实现；</p>
<p>2、持续的优化前端体验和页面响应速度，并保证兼容性和执行效率；</p>
<p>3、根据产品需求，分析并给出最优的页面前端结构解决方案；</p>
<p>4、协助后台及客户端开发人员完成功能开发和调试；</p>
<p>5、移动端主流浏览器的适配、移动端界面自适应研发。</p>
</div>
"""

ret = re.sub('</?[a-zA-Z0-9]+>', "", html) #第一个参数是正则，第二个是替换的内容，第三个是text
print(ret)

>>输出如下：
基本要求：
1、精通HTML5、CSS3、 JavaScript等Web前端开发技术，对html5页面适配充分了解，熟悉不同浏览器间的差异，熟练写出兼容各种浏览器的代码；
2、熟悉运用常见JS开发框架，如JQuery、vue、angular，能快速高效实现各种交互效果；
3、熟悉编写能够自动适应HTML5界面，能让网页格式自动适应各款各大小的手机；
4、利用HTML5相关技术开发移动平台、PC终端的前端页面，实现HTML5模板化；
5、熟悉手机端和PC端web实现的差异，有移动平台web前端开发经验，了解移动互联网产品和行业，有在Android,iOS等平台下HTML5+CSS+JavaScript（或移动JS框架）开发经验者优先考虑；6、良好的沟通能力和团队协作精神，对移动互联网行业有浓厚兴趣，有较强的研究能力和学习能力；
7、能够承担公司前端培训工作，对公司各业务线的前端（HTML5\CSS3）工作进行支撑和指导。

岗位职责：
1、利用html5及相关技术开发移动平台、微信、APP等前端页面，各类交互的实现；
2、持续的优化前端体验和页面响应速度，并保证兼容性和执行效率；
3、根据产品需求，分析并给出最优的页面前端结构解决方案；
4、协助后台及客户端开发人员完成功能开发和调试；
5、移动端主流浏览器的适配、移动端界面自适应研发。

split函数

用来分割字符串，返回一个列表

text = "hello world ni hao"
ret = re.split('\W',text)
print(ret)   
>>["hello","world","ni","hao"]

compile函数

对于一些经常要用到的正则表达式，可以使用compile进行编译，后期再使用的时候可以直接拿过来用，执行效率会更快。而且compile还可以指定flag=re.VERBOSE，在写正则表达式的时候可以做注释。示例代码如下：

text = "the number is 20.50"
r = re.compile(r"""
                \d+ # 小数点前面的数字
                \.? # 小数点
                \d* # 小数点后面的数字
                """,re.VERBOSE)
ret = re.search(r,text)
print(ret.group())

>>20.50

用好compile函数可以处理一些高并发的情况。

Introduction

python中的常用匹配函数

match函数

search函数

findall函数

group的用法

单字符匹配

匹配某个特定的字符

点.可以匹配任意字符，除了默认的换行符

\d匹配任意的数字

\D匹配\d不能匹配的字符，也就是非数字

\s匹配任意空白字符(\n \r \t 空格)

\S匹配\s不能匹配的字符，也就是非空白字符

\w匹配 a-z、A-Z以及数字和下划线

\W匹配\w匹配不到的

[]组合的方式，只要满足中括号中的某一项就算匹配成功

匹配多个字符

*号可以匹配零个或者任意多个字符，示例代码如下：

+号可以匹配一个或者任意多个字符，最少一个：

? 匹配的字符可以出现一次或者不出现（0或者1次）

{m}表示匹配m个字符

{m, n}匹配m到n个字符。在这中间的字符都可以匹配到（优先匹配多个）

^（脱字号）：表示以……开始：

$：表示以……结束

|：匹配多个表达式或者字符串，也就是或

小案例

手机号码验证

邮箱验证

URL验证

身份证号码验证

贪婪模式和非贪婪模式

转义字符和原生字符串

re模块中常用的函数

findall函数

sub函数

split函数

compile函数

因子分析模型

不光是查找值！“二分搜索”

vsbf

Comments | NOTHING

取消回复

`[]`组合的方式，只要满足中括号中的某一项就算匹配成功

`*`号可以匹配零个或者任意多个字符，示例代码如下：

`+`号可以匹配一个或者任意多个字符，最少一个：

`?` 匹配的字符可以出现一次或者不出现（0或者1次）

`{m}`表示匹配m个字符

`{m, n}`匹配m到n个字符。在这中间的字符都可以匹配到（优先匹配多个）