(19)中华人民共和国国家知识产权局
(12)发明专利说明书
(10)申请公布号 CN 112882713 A
(43)申请公布日 2021.06.01
(21)申请号 CN201911199808.6
(22)申请日 2019.11.29
(71)申请人 北京数安鑫云信息技术有限公司
    地址 100015 北京市朝阳区酒仙桥北路甲10号院201号楼5层505内02
(72)发明人 刘一雄 汪海
(74)专利代理机构 11453 北京名华博信知识产权代理有限公司
    代理人 苗源
(51)Int.CI
      G06F8/41(20180101)
                                                                  权利要求说明书 说明书 幅图
(54)发明名称
      一种日志解析的方法、装置、介质及计算机设备
(57)摘要
      本文是关于一种日志解析方法、装置、介质及计算机设备，涉及日志数据解析技术。本文提供的一种日志解析方法，包括：为待解析的日志数据选择解析器；将所述日志数据与选择的解析器对应的模板进行匹配；使用与所述日志数据匹配的模板对所述日志数据进行解析，得到解析结果。本文通过为一个解析器配置多个模板，可以对来自同一个日志源的所有格式的日志数据使用同一个解析器进行解析。从而提高了解析器的灵活性和扩展性，大大增强了日志解析的适配性，提高了日志解析的解析效率。
法律状态 正则匹配多个
法律状态公告日
法律状态信息
法律状态
2021-06-01
公开
公开
2021-06-18
实质审查的生效
实质审查的生效
权 利 要 求 说 明 书
1.一种日志解析方法,其特征在于,包括:
为待解析的日志数据选择解析器;
将所述日志数据与选择的解析器对应的模板进行匹配,;
使用与所述日志数据匹配的模板对所述日志数据进行解析,得到解析结果。
2.如权利要求1所述的方法,其特征在于,所述方法还包括:
使用与所述日志数据匹配的模板对所述日志数据进行解析,得到解析结果后,从所述解析结果中提取满足预设的再解析的条件的字段;
对提取的字段再次进行模板匹配和解析,直到解析结果中不存在满足预设的再解析的条件的字段时,停止解析操作。
3.如权利要求2所述的方法,其特征在于,所述预设的再解析的条件至少包括如下任一个条件:
字段长度达到或超过设定长度;
字段内至少包含两种字段名称。
4.如权利要求1至3任一项所述的方法,其特征在于,所述为所述日志数据选择解析器,包括:
当所述日志数据的格式类型属于基本解析类型时,根据所述日志数据的格式类型为所述日志数据选择基本解析器;
当所述日志数据的格式类型不属于基本解析类型时,为所述日志数据选择正则解析器。
5.如权利要求1至3任一项所述的方法,其特征在于,所述将所述日志数据与选择的解析器对应的模板进行匹配,包括:
从所述日志数据中搜索与所述解析器对应的模板的关键词;
当从所述日志数据中搜索到任一模板的关键词时,确定该模板为与所述日志数据匹配的模板。
6.如权利要求5所述的方法,其特征在于,所述从所述日志数据中搜索与所述解析器对应的模板的关键词,包括:
使用选择的解析器对应的模板索引字典树,搜索与所述日志数据匹配的模板,其中,所述模板索引字典树包括,所述解析器对应的所有模板的索引信息及每个模板的关键词。
7.一种日志解析装置,其特征在于,包括:
解析器选择模块,用于为待解析的日志数据选择解析器;
模板匹配模块,用于将所述日志数据与选择的解析器对应的模板进行匹配;
解析模块,用于使用与所述日志数据匹配的模板对所述日志数据进行解析,得到解析结果。
8.如权利要求7所述的装置,其特征在于,所述装置还包括:
局部字段提取模块,用于在使用与所述日志数据匹配的模板对所述日志数据进行解析,得到解析结果后,从所述解析结果中提取满足预设的再解析的条件的字段;
所述解析模块,用于对提取的字段再次进行模板匹配和解析,直到解析结果中不存在满足预设的再解析的条件的字段时,停止解析操作。
9.如权利要求8所述的装置,其特征在于,所述预设的再解析的条件至少包括如下任一个条件:
字段长度达到或超过设定长度;
字段内至少包含两种字段名称。
10.如权利要求7至9任一项所述的装置,其特征在于,所述为所述日志数据选择解析器,包括:
当所述日志数据的格式类型属于基本解析类型时,根据所述日志数据的格式类型为所述日志数据选择基本解析器;
当所述日志数据的格式类型不属于基本解析类型时,为所述日志数据选择正则解析器。
11.如权利要求7至9任一项所述的装置,其特征在于,所述将所述日志数据与选择的解析器对应的模板进行匹配,包括:
从所述日志数据中搜索与所述解析器对应的模板的关键词;
当从所述日志数据中搜索到任一模板的关键词时,确定该模板为与所述日志数据匹配的模板。
12.如权利要求11所述的装置,其特征在于,所述从所述日志数据中搜索与所述解析器对应的模板的关键词,包括:
使用选择的解析器对应的模板索引字典树,搜索与所述日志数据匹配的模板,其中,所述模板索引字典树包括,所述解析器对应的所有模板的索引信息及每个模板的关键词。
13.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被执行时实现如权利要求1-6中任意一项所述方法的步骤。
14.一种计算机设备,包括处理器、存储器和存储于所述存储器上的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1-6中任意一项所述方法的步骤。
说  明  书
<p>技术领域
本文涉及日志数据解析技术,尤其涉及一种日志解析方法、装置、介质及计算机设备。
背景技术
深度威胁识别系统Atd-rt实时引擎(advancedthreaddetection-real-time),最核心的功能就是分析客户业务输入的实时日志流,分析出安全威胁事件。作为一个通用的大数据日志安全分析平台,面临的第一个问题便是输入日志源的多样性的解析及归一化。
相关技术中对日志进行解析时,主要存在如下问题:

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。