用Python写一个小小的爬虫程序
浏览次数：1356次 2007年11月11日 互联网 字号: 大 中 小
分享到：QQ空间新浪微博人人网豆瓣网开心网更多1
Python有一个urllib的库，可以很方便的从给定的url抓取网页，以下这段程序实现了抓取一个url并存到指定文件的功能： 
爬虫工作的基本原理就是，给定一个初始的url，下载这个url的网页，然后出网页上所有满足下载要求的链接，然后把这些链接对应的url下载下来，然后再下载下来的这些网页的url，我们可以用广度优先搜索实现这个算法，不过，首先得有一个函数出网页上所有的满足要求的urlpython网络爬虫书籍推荐，下面这个例子用正则表达式出url.
最后就是广度优先搜索了，这个实现起来也很简单：
作者用上面的算法，感觉速度还行，1小时可以抓10000多网页，可以满足小型系统的要求。

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。