Pythｏn网络爬虫实习报告
一、选题背景    - 2 -
python网络爬虫书籍推荐
二、爬虫原理ﻩ— 2 -
三、爬虫历史与分类    — 2　—
四、常用爬虫框架比较ﻩ-　5 -
五、数据爬取实战（豆瓣网爬取电影数据)    — ６ -
2爬取数据    — 7　-
3数据整理、转换ﻩ－ 1０　-
4数据保存、展示ﻩ- 12　－
5技术难点关键点ﻩ—　12 —
六、总结    - １４　—
一、
选题背景
二、爬虫原理
三、爬虫历史与分类
四、常用爬虫框架比较
Scrapｙ框架：Scraｐｙ框架就是一套比较成熟得Pythoｎ爬虫框架，就是使用Pｙthon开发得快速、高层次得信息爬取框架,可以高效得爬取ｗeb页面并提取出结构化数据。Ｓcrapｙ应用范围很广,爬虫开发、数据挖掘、数据监测、自动化测试等.
Crawleｙ框架:Ｃrａwley也就是Pythoｎ开发出得爬虫框架，该框架致力于改变人们从互联网中提取数据得方式。
Portia框架：Ｐoｒtiａ框架就是一款允许没有任何编程基础得用户可视化地爬取网页得爬虫框架。
newspａpｅr框架:ｎｅwspapｅr框架就是一个用来提取新闻、文章以及内容分析得Pythｏn爬虫框架.
Pｙtｈｏn-goｏse框架：Pythｏn-goｏse框架可提取得信息包括：〈1〉文章主体内容;<2>文章主要图片；<3>文章中嵌入得任ｈeYｏutube／Viｍeo视频；<4〉元描述；〈５〉元标签
五、数据爬取实战（豆瓣网爬取电影数据）
１分析网页　
# 获取htｍl源代码
def _＿gｅtHtml(）：
    ｄata =　[]ﻫ    ｐageNｕm = １
    pageSize = 0
    try:ﻫ        whｉle (ｐageSizｅ 〈= 1２５）：
            # ｈeadｅrs ＝　{’Ｕser—Aｇeｎt'：’Moziｌlａ/5、0 (Windows ＮT 6、1) AｐpｌeWeｂKｉt/5３７、１1 （KHTMＬ， like　Geckｏ) Cｈrome/23、0、127１、64 Sａfari/537、１１’，
            # ’Ｒefeｒer’:Ｎonｅ　＃注意如果依然不能抓取得话,这里可以设置抓取网站得ｈost
            ＃ }ﻫ            ＃　ｏpener　＝　urlliｂ、ｒeqｕeｓt、build_ｏｐｅｎeｒ（)
            # opener、addhｅａdｅｒs ＝ ［headeｒs］ﻫ            ｕｒl　= ＂” + stｒ（pagｅSizｅ) +　”＆ｆiltｅr＝＂ + sｔｒ(pａｇeNum)
            ＃ data［'hｔml%s’ ％　i ]＝urlｌｉb、reｑuest、urｌopｅｎ（urｌ）、ｒead()、decode("utｆ—８")ﻫ            daｔa、append(urlｌiｂ、ｒequｅst、urlopeｎ（urｌ)、ｒead()、ｄecode（”ｕｔf－8＂）)
            pageＳiｚe +＝　２5ﻫ            pａｇｅNｕm += 1ﻫ            prｉnt(ｐａgeSize, pageＮum)
    excepｔ Eｘceptiｏn aｓ e:
        rａｉse e

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。