python中xpath解析xml_python爬⾍之XPath解析XPath 简介:
XPath 是⼀门在 XML ⽂档中查信息的语⾔
什么是 XPath?
XPath 使⽤路径表达式在 XML ⽂档中进⾏导航
XPath 包含⼀个标准函数库
XPath 是 XSLT 中的主要元素
XPath 是⼀个 W3C 标准
事例:
etree_html = etree.HTML(html)
print(etree_html)
# 匹配所有节点 //*
result = etree_html.xpath('//*')
# 匹配所有⼦节点 //a ⽂本获取:text()
result = etree_html.xpath('//a/text()')
print(result)
# 查元素⼦节点 /
result_article = etree_html.xpath('//div[@class="pic"]/p/text()') #获取⽂章
print(result_article)
from_name = etree_html.xpath('//div[@class="source"]//span[@class="from"]/a/text()') # 获取名字
from_address = etree_html.xpath('//div[@class="source"]//span[@class="from"]/a/@href') # 获取地址
# 查元素所有⼦孙节点 //
result_title = etree_html.xpath('//div[@class="channel-item"]//h3/a/text()') # 获取标题
# print(result_son)
# ⽗节点 ..
result = etree_html.xpath('//span[@class="pubtime"]/../span/a/text()')
print(result)
# 属性匹配 [@class="xxx"]
# ⽂本匹配 text() 获取所有⽂本//text()
result = etree_html.xpath('//div[@class="article"]//text()')
print(result)
# 属性获取 @href
result = etree_html.xpath('//div[@class="bd"]/h3/a/@href')
print(result)
# 属性多值匹配 contains(@class 'xx')
result = etree_html.xpath('//div[contains(@class, "grid-16-8")]//div[@class="likes"]/text()[1]')
print(result)
# 多属性匹配 or, and, mod, //book | //cd, + - * div = != < > <= >=
result = etree_html.xpath('//span[@class="pubtime" and contains(text(), "09-07")]/text()')
print(result)
# 按序选择 [1] [last()] [poistion() < 3] [last() -2]
# 节点轴
//li/ancestor::* 所有祖先节点
//li/ancestor::div div这个祖先节点
//li/attribute::* attribute轴,获取li节点所有属性值
/
/li/child::a[@href="link1.html"] child轴,获取直接⼦节点
//li/descendant::span 获取所有span类型的⼦孙节点
//li/following::* 选取⽂档中当前节点的结束标记之后的所有节点
//li/following-sibling::* 选取当前节点之后的所⽤同级节点
# 同时取到节点和元素
result = etree_html.xpath('//div[@class="channel-item"] | //span[@class="pubtime"]/../span/a/text()')推荐⼀款插件 Xpath Helper:
Xpath Helper 是⼀种结构化⽹页元素选择器,⽀持列表和单节点数据获取,python处理xml文件
它可以快速地定位⽹页元素。
对⽐ Beautiful Soup,由于 Xpath ⽹页元素查性能更有优势;Xpath 相⽐正则表达式编写起来更⽅便。
编写 Xpath 之后会实时显⽰匹配的数⽬和对应的位置,⽅便我们判断语句是否编写正确。
image.png
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。
发表评论