Python中使⽤XPath
⽬录
摘⾃W3School官⽅⽂档：
XPath简介
XPath （XML Path Language）是⼀门在 HTML\XML ⽂档中查信息的语⾔，可⽤来在 HTML\XML ⽂档中对元素和属性进⾏遍历。在Python爬⾍中，我们可以利⽤ XPath 快速地定位 HTML\XML 响应中的特定元素以及获取节点的信息，并且通常情况下会⽐使⽤正则表达式提取更简单⽽且更⾼效。
Chrome插件XPath Helper⽹盘链接：
提取码：4c5e
提⽰：在使⽤XPath Helper选择标签时，被选中的标签会⾃动添加属性 class="xh-highlight" 。
XPath语法
我们将以下⾯的这个 XML ⽂档为例对XPath的语法进⾏⽰例。
<?xml version="1.0" encoding="ISO-8859-1"?>
<bookstore>
<book>sql server简介
<title lang="eng">Harry Potter</title>
双浮点数转换器在线<price>29.99</price>
</book>
<book>
<title lang="eng">Learning XML</title>
<price>39.95</price>
</book>
</bookstore>
选取节点
XPath 使⽤路径表达式来选取 XML ⽂档中的节点或节点集。节点是通过沿着路径 (path) 或者步 (step) 来选取的。
下⾯列出了最有⽤的路径表达式：
表达式描述
nodename选取所有nodename⼦节点。
/从根节点选取。
//从匹配选择的当前节点选择⽂档中的节点，⽽不考虑它们的位置。
.选取当前节点。
..选取当前节点的⽗节点。
@选取属性。
text()选取⽂本。
下⾯是⼀些实例：
路径表达式结果
bookstore选取 bookstore 元素的所有⼦节点。
/bookstore 选取根元素 bookstore。
注释：假如路径起始于正斜杠( / )，则此路径始终代表到某元素的绝对路径！
bookstore/book选取属于 bookstore 的⼦元素的所有 book 元素。
//book选取所有 book ⼦元素，⽽不管它们在⽂档中的位置。
bookstore//book选择属于 bookstore 元素的后代的所有 book 元素，⽽不管它们位于 bookstore 之下的什么位置。//@lang选取名为 lang 的所有属性。
//title/text()选取所有 title 元素的⽂本。
谓语（Predicates）
谓语⽤来查某个特定的节点或者包含某个指定的值的节点。谓语被嵌在⽅括号中。
路径表达式结果
/bookstore/book[1]选取属于 bookstore ⼦元素的第⼀个 book 元素。
/bookstore/book[last()]选取属于 bookstore ⼦元素的最后⼀个 book 元素。
/bookstore/book[last()-1]选取属于 bookstore ⼦元素的倒数第⼆个 book 元素。
/bookstore/book[position()<3]选取最前⾯的两个属于 bookstore 元素的⼦元素的 book 元素。
//title[@lang]选取所有拥有名为 lang 的属性的 title 元素。
//title[@lang='eng']选取所有 title 元素，且这些元素拥有值为 eng 的 lang 属性。
/bookstore/book[price>35.00]选取 bookstore 元素的所有 book 元素，且其中的 price 元素的值须⼤于 35.00。
/bookstore/book[price>35.00]/title 选取 bookstore 元素中的 book 元素的所有 title 元素，且其中的 price 元素的值须⼤于35.00。
选取未知节点
XPath 通配符可⽤来选取未知的 XML 元素。
通配符描述
*匹配任何元素节点。
@*匹配任何属性节点。
node()匹配任何类型的节点。
下⾯是⼀些实例：
教你怎样打门球的视频路径表达式结果
/bookstore/*选取 bookstore 元素的所有⼦元素。//*选取⽂档中的所有元素。
//title[@*]选取所有带有属性的 title 元素。
选取若⼲路径
通过在路径表达式中使⽤“|”运算符，您可以选取若⼲个路径。
路径表达式结果
//book/title | //book/price选取 book 元素的所有 title 和 price 元素。
//title | //price选取⽂档中的所有 title 和 price 元素。
/bookstore/book/title | //price选取属于 bookstore 元素的 book 元素的所有 title 元素，以及⽂档中所有的 price 元素。XPath 轴
轴可定义相对于当前节点的节点集。
轴名称结果
ancestor选取当前节点的所有先辈（⽗、祖⽗等）。
ancestor-or-self选取当前节点的所有先辈（⽗、祖⽗等）以及当前节点本⾝。
attribute选取当前节点的所有属性。
child选取当前节点的所有⼦元素。
descendant选取当前节点的所有后代元素（⼦、孙等）。
descendant-or-self选取当前节点的所有后代元素（⼦、孙等）以及当前节点本⾝。
following选取⽂档中当前节点的结束标签之后的所有节点。
namespace选取当前节点的所有命名空间节点。
parent选取当前节点的⽗节点。
preceding选取⽂档中当前节点的开始标签之前的所有节点。
preceding-sibling选取当前节点之前的所有同级节点。
self选取当前节点。
下⾯是⼀些实例：
例⼦结果
child::book选取所有属于当前节点的⼦元素的 book 节点。
attribute::lang选取当前节点的 lang 属性。
child::*选取当前节点的所有⼦元素。
attribute::*选取当前节点的所有属性。
child::text()选取当前节点的所有⽂本⼦节点。
child::node()选取当前节点的所有⼦节点。
descendant::book选取当前节点的所有 book 后代。
ancestor::book选择当前节点的所有 book 先辈。
ancestor-or-self::book选取当前节点的所有 book 先辈以及当前节点（如果此节点是 book 节点）
child::*/child::price选取当前节点的所有 price 孙节点。
XPath 运算符
下⾯列出了可⽤在 XPath 表达式中的运算符：
运算符描述实例返回值
|计算两个节点集//book | //cd返回所有拥有 book 和 cd 元素的节点集+加法  6 + 410
-减法  6 - 42
*乘法  6 * 424
div除法8 div 42
=等于price=9.80如果 price 是 9.80，则返回 true。如果 price 是 9.90，则返回 false。
!=不等于price!=9.80如果 price 是 9.90，则返回 true。如果 price 是 9.80，则返回 false。
<⼩于price<9.80如果 price 是 9.00，则返回 true。如果 price 是 9.90，则返回 false。
java与c++哪个更好发展<=⼩于或等于price<=9.80如果 price 是 9.00，则返回 true。如果 price 是 9.90，则返回 false。
>⼤于price>9.80如果 price 是 9.90，则返回 true。如果 price 是 9.80，则返回 false。
>=⼤于或等于price>=9.80如果 price 是 9.90，则返回 true。如果 price 是 9.70，则返回 false。
or或price=9.80 or price=9.70如果 price 是 9.80，则返回 true。如果 price 是 9.50，则返回 false。
and与price>9.00 and price<9.90如果 price 是 9.80，则返回 true。如果 price 是 8.50，则返回 false。
mod计算除法的余数  5 mod 21
使⽤lxml
lxml是Python的⼀个第三⽅解析库，⽀持HTML和XML解析，⽽且效率⾮常⾼，弥补了Python⾃带的xml标准库在XML解析⽅⾯的不⾜。
由于是第三⽅库，所以在使⽤ lxml 之前需要先安装：
pip install lxml
下⾯是⼀段⽰例代码
# coding=utf-8
from lxml import etree
xml_data = '''
<bookstore>
<book>
<title lang="eng">Harry Potter</title>
<price>29.99</price>
</book>
<book>
<title lang="eng">Learning XML</title>
<price>39.95</price>
</book>
</bookstore>
'''
# etree.HTML()可以接收str或者bytes类型数据，将其转化成 Element 对象html = etree.HTML(xml_data)
# 从⽂件加载 HTML
# html = etree.parse('test.html',etree.HTMLParser())
# lxml 会⾃动修 HTML ，查看⼀下 lxml 修正后的结果
string(html, pretty_print=True).decode('utf-8'))
# 获取 Learning XML 这本书的价格
ret = html.xpath('//title[text()="Learning XML"]/following::price/text()')[0] if len(    html.xpath('//title[text()="Learning XML"]/following::price/text()')) else None
print(ret)
程序运⾏结果：
<html>
<body><bookstore>
python入门教程网盘<book>
<title lang="eng">Harry Potter</title>
<price>29.99</price>
</book>
<book>
<title lang="eng">Learning XML</title>
<price>39.95</price>
</book>
</bookstore>
</body>
</html>
39.95selection project图片
更多lxml API：

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。