８
IP 威胁情报收集系统的设计与实现
唐企业网站域名设计与查询
攀，叶晓鸣，杜林峰
（成都信息工程大学网络空间安全学院，四川成都610225）
摘要：随着互联网技术的发展，网络攻击日益频繁。IP 情报作为威胁情报的基础构成，对其的收集很有必要。目前，网络
上的IP 情报相对分散，不便于分析人员查询、分析。文章提出的程序设计方案主要通过两个途径收集IP 情报数据，使用网络爬虫，定期收集和更新网络上的开源威胁情报数据；通过定时检测，更新IP 情报数据。然后通过规则筛选，清洗无用数据，存入数据库。该文提出的程序设计基于Django 框架和ElasticSearch 数据库开发，可以用来查询黑名单，包括恶意IP 、恶意域名、恶意链接，以及域名的注册、历史解析记录等信息。同时，并与数据库中存在的APT 攻击信息进行关联，将查询结果进行可视化。程序测试表明，该程序能够不断搜集和更新不同来源的IP 情报数据，实现IP 查询结果进行可视化显示。关键词：网络安全；IP 情报；网络爬虫；可视化中图分类号：TP311.52文献标识码：A 文章编号：
1673-1131（2019）12-0008-03
0引言
随着互联网技术的快速发展，网络安全问题日益突出，网络威胁行动者利用各种手段，通过网络攻击实现其不法目的，给社会和国家安全造成了极大危害。非主动式防御技术已经很难解决这类以窃取关键信息为主要目的网络威胁。主动还原已发生的攻击和预测即将到来的攻击，成为新的研究方向，因此，威胁情报应用应运而生。
2014年开始，威胁情报逐渐成为安全领域的研究热点。在美国，威胁情报分析技术已经得到广泛的认可。从2003年开始，美国开始实施爱因斯坦计划，该计划包括收集、分析和共享信息安全情报、建立网络攻击检测系统。2009年，美国政府发布了一份网络空间政策评估报告，该报告主要阐述以保护关键基础设施为目的，建立威胁情报信息共享机制和事件响应框架。2013年，美国政府又先后颁布了多条行政命令，要求政府机构定时形成网络威胁报告，与相关企业合作，实现网络威胁信息共享，同时建立完善的威胁报告跟踪流程。目前，美国拥有FireEye 、Symantec 、IBM 等一大批威胁情报领域领先的厂商。
国内威胁情报起步较晚，2015年，国家安全法颁布，国内的安全厂商开始将威胁情报纳入其产品服务范围之内，主要研究方向是对威胁行动中出现的威胁指标（IOC ）进行溯源分析。目前国内这方面发
展相对成熟厂商的包括奇安信威胁情报中心、安天、绿盟等。我国的威胁情报关键技术仍落后于美国等发达国家，在攻击溯源分析上也远远弱势于美国。
近年来，通过网络攻击获取非法利益的事件频发。这给动机不纯的人员提供了谋取暴利的新手段，随之而来的就是给各个企业、私人造成巨大损失。一方面，网络威胁事件的迅速增长，攻击面的快速扩展，传统安全手段已经无法保持有效。另一方面，由于企业和个人开始注重隐私保护，给威胁行动者创造了足够的空间隐藏其真实身份，加大了威胁溯源的难度。威胁行动者可以利用企业的隐私保护服务隐藏其真实身份，也可以通过动态IP 、动态域名、VPS 等服务，隐藏和混淆其基础设施。
在溯源分析过程中，IP 地址提供攻击源信息，是溯源过程的关键点所在。然而实际上，一个IP 地址往往具有多重身份，例如僵尸网络IP 、代理IP 等。通过收集IP 的情报数据，可以使得分析者快速定位IP 性质，减少溯源难度。本文主要通过公开的网络安全情报源，对大量文献进行
研究，利用爬虫技术建立开源和实时IP 情报数据库，设计开发一个功能比较完善的IP 情报数据收集查询工具。主要实现IP 基本信息查询功能、黑名单查询功能、并将查询的结果以力导向图方式可视化展示。
1系统设计
IP 情报收集系统主要是四个功能模块：数据库模块、数据采集模块、数据更新模块、数据显示模块。系统总体功能设计如图1
所示。
图1系统总体功能设计
（1）数据采集模块。数据收集模块主要负责收集IP 情报数据，通过网络爬虫从网站收集IP 情报数据，以及数据的定时采集，如图2所示。
IP 情报包括：地理位置、ISP 、所属组织，历史解析记录信息，IP 信誉，IP 攻击记录等。本系统的IP 情报数据的采集方式主要通过三种方式实现：直接调用安全厂商开放的API 接口；使用爬虫获取feed 内容；定时监测。
第一，开放威胁情报平台。威胁情报的兴起，国内外各大厂商纷纷建立威胁情报平台，涌现出知名平台VirusTotal 、微步在线等。本系统通过调用平台提供的API 接口，获取IP 地址的历史解析记录，通信样本记录等。
第二，共享Feed 。IP 信誉指的是利用全球范围的情报，对IP 地址按照一定评价准则给出的评价。IP 信誉信息可作为进站流量分析的基础，也可作为互联网安全业务的第一道防线。本系统通过收集各个情报网站的共享IP 信誉列表，获取并标记恶意链接、恶意IP 、恶意域名三种类型的IP 标签。
第三，定时获取。利用IP 历史解析记录进行威胁溯源分析，可以推测威胁行动者曾经的活动或者其经
常使用的基础
2019
（Sum.No 204）
信息通信
INFORMATION &COMMUNICATIONS
2019年第12期（总第204期）

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。