网络爬虫的六种方式
突然对网络爬虫特别感兴趣，所以就上网查询了下，发现这个特别好。给大家分享下。
现在有越来越多的人热衷于做网络爬虫（网络蜘蛛），也有越来越多的地方需要网络爬虫，比如搜索引擎、资讯采集、舆情监测等等，诸如此类。网络爬虫涉及到的技术(算法/策略)广而复杂，如网页获取、网页跟踪、网页分析、网页搜索、网页评级和结构/非结构化数据抽取以及后期更细粒度的数据挖掘等方方面面，对于新手来说，不是一朝一夕便能完全掌握且熟练应用的，对于作者来说，更无法在一篇文章内就将其说清楚。因此在本篇文章中，我们仅将视线聚焦在网络爬虫的最基础技术——网页抓取方面。
说到网页抓取，往往有两个点是不得不说的，首先是网页编码的识别，另外一个是对网页脚本运行的支持，除此之外，是否支持以POST方式提交请求和支持自动的cookie管理也是很多人所关注的重要方面。其实Java世界里，已经有很多开源的组件来支持各种各样方式的网页抓取了，包括上面提到的四个重点，所以说使用Java做网页抓取还是比较容易的。下面，作者将重点介绍其中的六种方式。
HttpClient
HttpClient 是 Apache Jakarta Common 下的子项目，可以用来提供高效的、最新的、功能丰富的支持 HTTP 协议的客户端编程工具包，并且它支持 HTTP 协议最新的版本和建议。
以下列出的是 HttpClient 提供的主要的功能，要知道更多详细的功能可以参见 HttpClient 的主页。
（1）实现了所有 HTTP 的方法（GET,POST,PUT,HEAD 等）
（2）支持自动转向
（3）支持 HTTPS 协议
（4）支持代理服务器
（5）支持自动的Cookies管理等
Java爬虫开发中应用最多的一种网页获取技术，速度和性能一流，在功能支持方面显得较为底层，不支持JS脚本执行和CSS解析、渲染等准浏览器功能，推荐用于需要快速获取网页而无需解析脚本和CSS的场景。
范例代码如下：
package cn.awler.httpclient;
import org.apache.http.client.HttpClient;
import org.apache.http.client.ResponseHandler;
import org.apache.hods.HttpGet;
import org.apache.http.impl.client.BasicResponseHandler;
import org.apache.http.impl.client.DefaultHttpClient;
import org.apache.http.util.EntityUtils;
/**
* 基于HtmlClient抓取网页内容
*
* @author
*/
public class HttpClientTest {
public static void main(String[] args)throws Exception{
//目标页面
String url ="www.jjwxc/";
selenium获取cookie//创建一个默认的HttpClient
HttpClient httpclient =new DefaultHttpClient();
try{
//以get方式请求网页
HttpGet httpget =new HttpGet(url);
//打印请求地址
System.out.println("executing request "+ URI());
//创建响应处理器处理服务器响应内容
ResponseHandler responseHandler = new BasicResponseHandler();
//执行请求并获取结果
String responseBody = ute(httpget, responseHandler);
System.out.println("----------------------------------------");
String htmlStr=null; 
if(responseBody != null) { 
//                htmlStr=new String(responseBody)); 
//                htmlStr=new Bytes("ISO-8859-1"), "gbk"); // 读取乱码解决 
responseBody=new Bytes("ISO-8859-1"), "gb2312");
} 
System.out.println(responseBody);
System.out.println("----------------------------------------");
}finally{//关闭连接管理器
ConnectionManager().shutdown();
}
}
}
Jsoup
jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。
网页获取和解析速度飞快，推荐使用。
主要功能如下：
1. 从一个URL，文件或字符串中解析HTML；
2. 使用DOM或CSS选择器来查、取出数据；
3. 可操作HTML元素、属性、文本；
范例代码如下：
package cn.awler.jsoup;
import java.io.IOException;
import org.jsoup.Jsoup;
/**
* 基于Jsoup抓取网页内容

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。