Python⼤数据之使⽤lxml库解析html⽹页⽂件⽰例
本⽂实例讲述了Python⼤数据之使⽤lxml库解析html⽹页⽂件。分享给⼤家供⼤家参考，具体如下：
lxml是Python的⼀个html/xml解析并建⽴dom的库，lxml的特点是功能强⼤，性能也不错，xml包含了ElementTree ，html5lib ，beautfulsoup 等库。
使⽤lxml前注意事项：先确保html经过了utf-8解码，即code =html.decode('utf-8', 'ignore')，否则会出现解析出错情况。因为中⽂被编码成utf-8之后变成 '/u2541'　之类的形式，lxml⼀遇到　"/"就会认为其标签结束。
具体⽤法：元素节点操作
1、解析HTMl建⽴DOM
from lxml import etree
dom = etree.HTML(html)
2、查看dom中⼦元素的个数len(dom)
3、查看某节点的内容：string(dom[0])
4、获取节点的标签名称：dom[0].tag
5、获取某节点的⽗节点：dom[0].getparent()
6、获取某节点的属性节点的内容：dom[0].get("属性名称")
对xpath路径的⽀持：
XPath即为XML路径语⾔，是⽤⼀种类似⽬录树的⽅法来描述在XML⽂档中的路径。⽐如⽤"/"来作为上下层级间的分隔。第⼀个"/"表⽰⽂档的根节点（注意，不是指⽂档最外层的tag节点，⽽是指⽂档本⾝）。⽐如对于⼀个HTML⽂件来说，最外层的节点应该是"/html"。
xpath选取元素的⽅式：
1、绝对路径，如page.xpath("/html/body/p")，它会到body这个节点下所有的p标签
2、相对路径，page.xpath("//p")，它会到整个html代码⾥的所有p标签。
xpath筛选⽅式：
1、选取元素时⼀个列表，可通过索引查[n]
2、通过属性值筛选元素p =page.xpath("//p[@style='font-size:200%']")
3、如果没有属性可以通过text()（获取元素中⽂本）、position()（获取元素位置）、last()等进⾏筛选
获取属性值
dom.xpath(.//a/@href)
获取⽂本
dom.xpath(".//a/text()")
⽰例代码：
#!/usr/bin/python
# -*- coding:utf-8 -*-
from scrapy.spiders import Spider
from lxml import etree文本文档变成html网页
from jredu.items import JreduItem
class JreduSpider(Spider):
name = 'tt' #爬⾍的名字，必须的，唯⼀的
allowed_domains = ['sohu']
start_urls = [
'www.sohu'
]
def parse(self, response):
content = response.body.decode('utf-8')
dom = etree.HTML(content)
for ul in dom.xpath("//div[@class='focus-news-box']/div[@class='list16']/ul"):
lis = ul.xpath("./li")
for li in lis:
item = JreduItem() #定义对象
if ul.index(li) == 0:
strong = li.xpath("./a/strong/text()")
li.xpath("./a/@href")
item['title']= strong[0]
item['href'] = li.xpath("./a/@href")[0]
else:
la = li.xpath("./a[last()]/text()")
item['title'] = la[0]
item['href'] = li.xpath("./a[last()]/href")[0]
yield item
更多关于Python相关内容可查看本站专题：《》、《》、《》、《》、《》、《》及《》希望本⽂所述对⼤家Python程序设计有所帮助。

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。