python中⽤beautifulSoup+urlib2安装、抓取和解析⽹页，以及
解析shtml
安装 Beautiful Soup
如果你⽤的是新版的Debain或ubuntu，那么可以通过系统的软件包管理来安装:
$ apt-get install Python-bs4
Beautiful Soup 4 通过PyPi发布，所以如果你⽆法使⽤系统包管理安装，那么也可以通过 easy_install 或 pip 来安装.包的名字是beautifulsoup4 ，这个包兼容Python2和Python3.
$ easy_install beautifulsoup4
$ pip install beautifulsoup4
(在PyPi中还有⼀个名字是 BeautifulSoup 的包，但那可能不是你想要的，那是的发布版本，因为很多项⽬还在使⽤BS3, 所以 BeautifulSoup 包依然有效.但是如果你在编写新项⽬，那么你应该安装的 beautifulsoup4 )
如果你没有安装 easy_install 或 pip ，那你也可以  ，然后通过setup.py来安装.
$ Python setup.py install
如果上述安装⽅法都⾏不通,Beautiful Soup的发布协议允许你将BS4的代码打包在你的项⽬中，这样⽆须安装即可使⽤.
作者在Python2.7和Python3.2的版本下开发Beautiful Soup, 理论上Beautiful Soup应该在所有当前的Python版本中正常⼯作
安装解析器
Beautiful Soup⽀持Python标准库中的HTML解析器，还⽀持⼀些第三⽅的解析器，其中⼀个是.根据操作系统不同，可以选择下列⽅法来安装lxml:
$ apt-get install Python-lxml
$ easy_install lxml
$ pip install lxml
另⼀个可供选择的解析器是纯Python实现的  , html5lib的解析⽅式与浏览器相同，可以选择下列⽅法来安装html5lib:
$ apt-get install Python-html5lib
$ easy_install html5lib
$ pip install html5lib
解析⼀般的⽹页（html），直接：
from bs4 import  BeautifulSoup,BeautifulStoneSoup
import urllib2
import html5lib
url_header = "xxxxxx"
Webpage = urllib2.urlopen(url_header).read()
soup = BeautifulSoup(webpage)
print soup.prettify( )
ubuntu怎么安装python
但是在解析shtml的⽹页的时候，beautifulsoup模块⽀持的解释器有lxml，html5lib和HTMLparse三种，只有html5lib⽀持解析shtml，所以在⽣成beautifulsoup对象的时候，要加上⼀个参数：soup = BeautifulSoup(Webpage,"html5lib")，不然的话，当解析shtml页⾯的时
候，<body> </body>标签⾥⾯的内容是⽆法解析的。

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。