Python爬⾍⼊门教程——爬取⾃⼰的博客园博客
互联⽹时代⾥，⽹络爬⾍是⼀种⾼效地信息采集利器，可以快速准确地获取⽹上的各种数据资源。本⽂使⽤Python库requests、Beautiful Soup爬取博客园博客的相关信息，利⽤txt⽂件转存。
基础知识：
php下载为什么那么慢⽹络爬⾍是⼀种⾼效地信息采集利器，利⽤它可以快速、准确地采集互联⽹上的各种数据资源，⼏乎已经成为⼤数据时代IT从业者的必修课。简单点说，⽹络爬⾍就是获取⽹页并提取和保存信息的⾃动化过程，分为下列三个步骤：获取⽹页、提取信息、保存数据。
1.获取⽹页
使⽤requests发送GET请求获取⽹页的源代码。以获取百度为例：
import requests
response = ('www.baidu')
)
2.提取信息
Beautiful Soup是Python的⼀个HTML或XML解析库，速度快，容错能⼒强，可以⽅便、⾼效地从⽹页中提取数据。基本⽤法：
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'lxml')
print(soup.prettify())
print(soup.title.string)
Beautiful Soup⽅法选择器：
find_all()查询符合条件的所有元素，返回所有匹配元素组成的列表。API如下：
find_all(name,attrs,recursive,text,**kwargs)
find()返回第⼀个匹配的元素。举个栗⼦：
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'lxml')
print(soup.find('div', attrs={'class': 'article-list'}))
3.保存数据
html把鼠标放在图片上图片会动使⽤Txt⽂档保存，兼容性好。
使⽤with as语法。在with控制块结束的时候，⽂件⾃动关闭。举个栗⼦：
with open(file_name, 'a') as file_object:
file_object.write("I love programming.\n")
file_object.write("I love playing basketball.\n")
分析页⾯：
要爬取的页⾯是博客园“我的博客”：。
使⽤Chrome的开发者⼯具（快捷键F12），可以查看这个页⾯的源代码。
HTML代码说⽩了其实就是⼀棵树，这棵树的根节点为html标签，head标签和body标签是它的⼦节点，当然有时候还会有script标签。body标签下⾯⼜会有许多的p标签、div标签、span标签、a标签等，共同构造了这棵⼤树。
可以很容易看到这个页⾯的博⽂列表是⼀个id为mainContent的div。
在class为postTitle的div⾥⾯可以到链接和标题，这就是本⽂爬取的⽬标。
编写代码：
获取⽹页使⽤requests ，提取信息使⽤Beautiful Soup，存储使⽤txt就可以了。# coding: utf-8gcc 编译器优化
import re
import requests
from bs4 import BeautifulSoup
def get_blog_info():
headers = {'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) '
'AppleWebKit/537.36 (KHTML, like Gecko) '
python入门教程非常详细免费
'Ubuntu Chromium/44.0.2403.89 '
'Chrome/44.0.2403.89 '
'Safari/537.36'}
html = get_page(blog_url)
soup = BeautifulSoup(html, 'lxml')
article_list = soup.find('div', attrs={'id': 'mainContent'})
article_item = article_list.find_all('div', attrs={'class': 'postTitle'})gets是输入还是输出
for ai in article_item:
title =
link = ai.a['href']
print(title)
print(link)
write_to_file(title+'\t')
write_to_file(link+'\n')
def get_page(url):
try:
高中数学ln的知识点
headers = {'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) '
'AppleWebKit/537.36 (KHTML, like Gecko) '
'Ubuntu Chromium/44.0.2403.89 '
'Chrome/44.0.2403.89 '
'Safari/537.36'}
response = (blog_url, headers=headers, timeout=10)
except:
return""
def write_to_file(content):
with open('', 'a', encoding='utf-8') as f:
f.write(content)
if__name__ == '__main__':
blog_url = "wwwblogs/sgh1023/"
get_blog_info()
爬取结果：

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。