Python爬⾍--[最简单的爬⾍例⼦] Python 爬⾍–[最简单的爬⾍例⼦]
1、拷贝代码
#!/usr/bin/python
# -*- coding: UTF-8 -*-
import requests
from bs4 import BeautifulSoup
movie_url ='movie.douban/subject/1292052/'
def download_page(url):
headers ={
'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_12)AppleWebKit/537.36 (KHTML, like Gecko) ' 'Chrome/47.0.2526.80 Safari/537.36 '
}
data = (url, headers=headers).content
python新手代码例子
return data
def paser_html(html):
soup = BeautifulSoup(html,'lxml')
title = soup.find(property='v:itemreviewed').string
return title
def main():
print(paser_html(download_page(movie_url)))
if __name__ =='__main__':
main()
2、编译程序
可能会编译出错
*我们主要关注最后⼀排报错，⼀般报错是因为缺少包，我们在pycharm的终端下载⼀下就好了。
例如：上图显⽰缺少 ‘pandas’
我们只需要点击终端，然后输⼊ pip install <；缺失的包>
最后等待下载完成，重新编译就可以了~
*例如缺少的是‘lxml’
同样的我们在终端输⼊: pip install lxml
等待下载完成，重新编译，就可以了~
3、实验结果
通过爬取⾖瓣⽹站上的某个具体链接，我们爬取得到：该链接是电影《肖申克的救赎》 “The Shawshank Redemption”
总结
这是个⾮常简单的爬⾍例⼦，通过这个例⼦，我们可以⾮常直观的看到爬⾍是怎么通过代码爬取我们需要的信息，有了这⼀理性的认知之后，我们再从代码⼊⼿，⼀点点往⾥学习爬⾍的奥秘，同时也可以学习python，就很好玩，对不对~
------[分界线]-------
参考：

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。