Java爬⾍-WebMagic-WebClient-⽹页js渲染内容
⼤多数都是python，但是Java爬⾍的优势就是可以使⽤多线程；
Java爬⾍主要有WebMagic和WebClient，WebMagic框架⽐较好操作⼀些
WebMagic
但是在爬取js渲染的页⾯内容时，会⽆法解析该部分内容；也可能是我还没有了解到解决办法；⽬前使⽤WebClient解决的WebClient
WebClient内容很多，这⾥只放爬⾍的代码：
<!-- mvnrepository/artifact/org.jsoup/jsoup -->
<dependency>
<groupId>org.jsoup</groupId>
<artifactId>jsoup</artifactId>
<version>1.13.1</version>
</dependency>
<!-- mvnrepository/artifact/net.sourceforge.htmlunit/htmlunit -->
<dependency>
<groupId>net.sourceforge.htmlunit</groupId>
<artifactId>htmlunit</artifactId>
<version>2.43.0</version>
</dependency>
@Slf4j
@Component
public class SpiderUtils {java调用js的ajax
/** 爬取后的页⾯初始页⾯内容 */
public static String pageCon;
/** 需要爬取页⾯：*** */
public static String url = "******爬取的页⾯*****";
// 每⼩时爬取⼀次
@Scheduled(initialDelay = 1000, fixedDelay = 60 * 60 * 1000)
public static void spiderRun() {
log.info("======>爬取URL{}",url);
final WebClient webClient = new WebClient(BrowserVersion.CHROME);  // 新建⼀个模拟⾕歌Chrome浏览器的浏览器客户端对象
否抛出异常, 这⾥选择不需要
webClient.setAjaxController(new NicelyResynchronizingAjaxController()); // 很重要，设置⽀持AJAX
webClient.waitForBackgroundJavaScript(5 * 1000);  // 异步JS执⾏需要耗时，所以这⾥线程要阻塞30秒，等待异步JS执⾏结束
HtmlPage page = null;
try {
page = Page(url);  // 尝试加载给出的⽹页
} catch (Exception e) {
log.info("======>【严重】爬取失败：{}",url);
e.printStackTrace();
} finally {
webClient.close();
}
String pageXml = page.asXml();  // 直接将加载完成的页⾯转换成xml格式的字符串
pageCon = pageXml;
}
}

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。