python的post请求抓取数据python通过get⽅式,post⽅式发送http请求和接收http响应--
import urllib模块,urllib2模块, httplib模块
blog.163/xychenbaihu@yeah/blog/static/132229655201231085444250/
测试⽤CGI，名字为test.py，放在apache的cgi-bin⽬录下:
linux教程孟庆昌pdf#!/usr/bin/
import cgi
def main():
print "Content-type: text/html\n"
form = cgi.FieldStorage()
if form.has_key("ServiceCode") and form["ServiceCode"].value != "":
print "<h1> Hello",form["ServiceCode"].value,"</h1>"
else:
print "<h1> Error! Please enter first name.</h1>"
main()
python发送post和get请求
get请求：
使⽤get⽅式时，请求数据直接放在url中。
黑客的c语言教程⽅法⼀、
import urllib
import urllib2
url = ""
req = urllib2.Request(url)
print req
res_data = urllib2.urlopen(req)
res = ad()
print res
⽅法⼆、
import httplib
url = ""
conn = httplib.HTTPConnection("192.168.81.16")
response = sponse()
res= ad()
获取connection的方式
print res
post请求：
使⽤post⽅式时，数据放在data或者body中，不能放在url中，放在url中将被忽略。
⽅法⼀、
import urllib
import urllib2
test_data = {'ServiceCode':'aaaa','b':'bbbbb'}
test_data_urlencode = urllib.urlencode(test_data)
requrl = ""
req = urllib2.Request(url = requrl,data =test_data_urlencode)
print req
res_data = urllib2.urlopen(req)
res = ad()
print res
⽅法⼆、
import urllib
import httplib
test_data = {'ServiceCode':'aaaa','b':'bbbbb'}
test_data_urlencode = urllib.urlencode(test_data)
requrl = ""
headerdata = {"Host":"192.168.81.16"}
conn = httplib.HTTPConnection("192.168.81.16")
response = sponse()
res= ad()
print res
对python中json的使⽤不清楚，所以临时使⽤了urllib.urlencode(test_data)⽅法;
模块urllib,urllib2,httplib的区别
httplib实现了http和https的客户端协议，但是在python中，模块urllib和urllib2对httplib进⾏了更上层的封装。
介绍下例⼦中⽤到的函数：
1、HTTPConnection函数
httplib.HTTPConnection(host[,port[,stict[,timeout]]])
这个是构造函数，表⽰⼀次与服务器之间的交互，即请求/响应
host 标识服务器主机(服务器IP或域名)
html文本框怎么写port 默认值是80
strict 模式是False，表⽰⽆法解析服务器返回的状态⾏时，是否抛出BadStatusLine异常
例如:
conn = httplib.HTTPConnection("192.168.81.16"，80) 与服务器建⽴链接。
2、quest(method,url[,body[,header]])函数
这个是向服务器发送请求
method 请求的⽅式，⼀般是post或者get，
例如：
method="POST"或method="Get"
url 请求的资源，请求的资源(页⾯或者CGI，我们这⾥是CGI)
例如：
url="" 请求CGI
或者
url="" 请求页⾯
body 需要提交到服务器的数据，可以⽤json，也可以⽤上⾯的格式，json需要调⽤json模块
headers 请求的http头headerdata = {"Host":"192.168.81.16"}
例如:
test_data = {'ServiceCode':'aaaa','b':'bbbbb'}
test_data_urlencode = urllib.urlencode(test_data)
requrl = ""
headerdata = {"Host":"192.168.81.16"}
conn = httplib.HTTPConnection("192.168.81.16"，80)
conn在使⽤完毕后，应该关闭，conn.close()
3、sponse()函数
这个是获取http响应，返回的对象是HTTPResponse的实例。
4、HTTPResponse介绍：
HTTPResponse的属性如下：
read([amt]) 获取响应消息体，amt表⽰从响应流中读取指定字节的数据，没有指定时，将全部数据读出；
getheader(name[,default]) 获得响应的header，name是表⽰头域名，在没有头域名的时候，default⽤来指定返回值
getheaders() 以列表的形式获得header
hadoop spark读音例如：
header('date');
print date
resheader=''
headers();
print resheader
列形式的响应头部信息:
[('content-length', '295'), ('accept-ranges', 'bytes'), ('server', 'Apache'), ('last-modified', 'Sat, 31 Mar 2012 10:07:02 GMT'), ('connection', 'close'), ('etag', '"e8744-127-
4bc871e4fdd80"'), ('date', 'Mon, 03 Sep 2012 10:01:47 GMT'), ('content-type', 'text/html')]
header('date');
print date
取出响应头部的date的值。
********************************************************************************************************************************************************************************************************************************************
所谓⽹页抓取，就是把URL地址中指定的⽹络资源从⽹络流中读取出来，保存到本地。
类似于使⽤程序模拟IE浏览器的功能，把URL作为HTTP请求的内容发送到服务器端，然后读取服务器端的响应资源。
在Python中，我们使⽤urllib2这个组件来抓取⽹页。
urllib2是Python的⼀个获取URLs(Uniform Resource Locators)的组件。
它以urlopen函数的形式提供了⼀个⾮常简单的接⼝。
最简单的urllib2的应⽤代码只需要四⾏。
我们新建⼀个⽂件urllib2_test01.py来感受⼀下urllib2的作⽤：
import urllib2
response = urllib2.urlopen('www.baidu/')
html = ad()
print html
按下F5可以看到运⾏的结果：
我们可以打开百度主页，右击，选择查看源代码（⽕狐OR⾕歌浏览器均可），会发现也是完全⼀样的内容。
python请求并解析json数据也就是说，上⾯这四⾏代码将我们访问百度时浏览器收到的代码们全部打印了出来。
这就是⼀个最简单的urllib2的例⼦。
除了"http:"，URL同样可以使⽤"ftp:"，"file:"等等来替代。
HTTP是基于请求和应答机制的：
客户端提出请求，服务端提供应答。
urllib2⽤⼀个Request对象来映射你提出的HTTP请求。
在它最简单的使⽤形式中你将⽤你要请求的地址创建⼀个Request对象，
通过调⽤urlopen并传⼊Request对象，将返回⼀个相关请求response对象，
这个应答对象如同⼀个⽂件对象，所以你可以在Response中调⽤.read()。
我们新建⼀个⽂件urllib2_test02.py来感受⼀下：
import urllib2
req = urllib2.Request('www.baidu')
response = urllib2.urlopen(req)
the_page = ad()
print the_page
可以看到输出的内容和test01是⼀样的。
urllib2使⽤相同的接⼝处理所有的URL头。例如你可以像下⾯那样创建⼀个ftp请求。
req = urllib2.Request('ftp://example/')
在HTTP请求时，允许你做额外的两件事。
1.发送data表单数据
这个内容相信做过Web端的都不会陌⽣，
有时候你希望发送⼀些数据到URL(通常URL与CGI[通⽤⽹关接⼝]脚本，或其他WEB应⽤程序挂接)。
在HTTP中，这个经常使⽤熟知的POST请求发送。
这个通常在你提交⼀个HTML表单时由你的浏览器来做。
并不是所有的POSTs都来源于表单，你能够使⽤POST提交任意的数据到你⾃⼰的程序。
⼀般的HTML表单，data需要编码成标准形式。然后做为data参数传到Request对象。
编码⼯作使⽤urllib的函数⽽⾮urllib2。
我们新建⼀个⽂件urllib2_test03.py来感受⼀下：
import urllib
import urllib2
url = 'www.i'
values = {'name' : 'WHY',
'location' : 'SDU',
'language' : 'Python' }
data = urllib.urlencode(values) # 编码⼯作
req = urllib2.Request(url, data) # 发送请求同时传data表单
response = urllib2.urlopen(req) #接受反馈的信息
the_page = ad() #读取反馈的内容
如果没有传送data参数，urllib2使⽤GET⽅式的请求。
GET和POST请求的不同之处是POST请求通常有"副作⽤"，
它们会由于某种途径改变系统状态(例如提交成堆垃圾到你的门⼝)。
Data同样可以通过在Get请求的URL本⾝上⾯编码来传送。
import urllib2
import urllib
data = {}
data['name'] = 'WHY'
data['location'] = 'SDU'
data['language'] = 'Python'
url_values = urllib.urlencode(data)
print url_values
name=Somebody+Here&language=Python&location=Northampton
url = 'i'
full_url = url + '?' + url_values
data = urllib2.open(full_url)
这样就实现了Data数据的Get传送。
2.设置Headers到http请求
有⼀些站点不喜欢被程序（⾮⼈为访问）访问，或者发送不同版本的内容到不同的浏览器。
默认的urllib2把⾃⼰作为“Python-urllib/x.y”(x和y是Python主版本和次版本号，例如Python-urllib/2.7)，
这个⾝份可能会让站点迷惑，或者⼲脆不⼯作。
浏览器确认⾃⼰⾝份是通过User-Agent头，当你创建了⼀个请求对象，你可以给他⼀个包含头数据的字典。下⾯的例⼦发送跟上⾯⼀样的内容，但把⾃⾝模拟成Internet Explorer。
（多谢⼤家的提醒，现在这个Demo已经不可⽤了，不过原理还是那样的）。
import urllib
import urllib2
url = 'www.someserver/i'
user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
values = {'name' : 'WHY',
'location' : 'SDU',
'language' : 'Python' }
headers = { 'User-Agent' : user_agent }
data = urllib.urlencode(values)
req = urllib2.Request(url, data, headers)
response = urllib2.urlopen(req)
the_page = ad()
以上就是python利⽤urllib2通过指定的URL抓取⽹页内容的全部内容，⾮常简单吧，希望对⼤家能有所帮助来源：wwwblogs/poerli/p/6429673.html
版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。
发表评论