(19)中华人民共和国国家知识产权局
(12)发明专利说明书
(10)申请公布号 CN 108563629 A
(43)申请公布日 2018.09.21
(21)申请号 CN201810205205.1
(22)申请日 2018.03.13
(71)申请人 北京仁和诚信科技有限公司
    地址 100028 北京市昌平区科技园区超前路37号院16号楼2层C2027号
(72)发明人 邸壮
(74)专利代理机构 北京鸿元知识产权代理有限公司
    代理人 李琳
(51)Int.CI
     
                                                                  权利要求说明书 说明书 幅图
(54)发明名称
      一种日志解析规则自动生成方法和装置
(57)摘要
      本发明公开了一种日志解析规则自动生成方法和装置，该方法包括：日志分词步骤，接收新增设备日志，并对所述新增设备日志进行自动分词；语法分析步骤，对分出的词赋予语法定义；正则生成步骤，根据所述语法定义生成解析规则正则表达式；以及字段映射步骤，将所述解析规则正则表达式自动作用到服务端解析引擎。通过本发明，用户可以不用编写任何代码的前提下就可以自动完成设备日志接入，极大地降低了日志解析的难度和复杂度，从而提升对日志进行解析规则开发的效率。
法律状态
法律状态公告日
法律状态信息
法律状态
2022-04-19
授权
发明专利权授予
权 利 要 求 说 明 书
1.一种日志解析规则自动生成方法,包括:
日志分词步骤,接收新增设备日志,并对所述新增设备日志进行自动分词;
语法分析步骤,对分出的词赋予语法定义;
正则生成步骤,根据所述语法定义生成解析规则正则表达式;以及
字段映射步骤,将所述解析规则正则表达式自动作用到服务端解析引擎。
2.根据权利要求1所述的日志解析规则自动生成方法,在所述日志分词步骤中,构建有穷状态自动机,通过所述有穷状态自动机对所述新增设备日志中的逐个字符进行分析,当遇到停止词字典中的停止词时,则退出所述有穷状态自动机并输出词法标记,然后返回所述有穷状态自动机继续分词,直到所述新增设备日志中的全部字符分析完成为止,从而将所述新增设备日志切分成词列表。
3.根据权利要求2所述的日志解析规则自动生成方法,在计算机系统中内置有或通过用户定义有语法分析规则,在所述语法分析步骤中,接收所述词法标记,并将所述语法分析规则与所述词法标记进行匹配,
若具有与所述词法标记匹配的语法分析规则,则对切分出的词列表中的每个词赋予与所述词法标记匹配的语法分析规则中的语法定义,
若没有与所述词法标记匹配的语法分析规则,则对所述词法标记赋予默认的语法分析规则。
4.根据权利要求3所述的日志解析规则自动生成方法,在所述语法分析步骤中,所述语法定义包括时间戳、IP地址、URL地址、用户代理、整数、浮点数、文件、用户名中的一个或多个。
5.根据权利要求3所述的日志解析规则自动生成方法,在所述语法分析步骤中,多线程地将不同的词法标记分别与语法分析规则进行匹配,对于同一个词法标记,将词法标记与多个语法分析规则进行匹配,并选择与词法标记
匹配度最大的语法分析规则。
6.根据权利要求3所述的日志解析规则自动生成方法,在所述正则生成步骤中,将所述语法定义的组合转换成解析规则正则表达式,并与未解析成功的日志片段进行拼接。
7.根据权利要求6所述的日志解析规则自动生成方法,在所述字段映射步骤中,所述服务端解析引擎对所述解析规则正则表达式中的字段进行函数操作,以将所述解析规则正则表达式中的字段映射成为所述服务端解析引擎需要的最终字段。
8.根据权利要求7所述的日志解析规则自动生成方法,在所述字段映射步骤中,将所述解析规则正则表达式自动上传到服务器上,并通过可视化界面对用户展示,用户通过所述可视化界面对所述解析规则正则表达式进行二次确认和保存,并重新下发到服务端解析引擎。
9.根据权利要求8所述的日志解析规则自动生成方法,在所述字段映射步骤中,将所述解析规则正则表达式和语法分析规则与词法标记的匹配度自动上传到服务器上,并通过可视化界面对用户展示,用户通过所述可视化界面对所述解析规则正则表达式进行修正,并重新下发到服务端解析引擎。
10.一种日志解析规则自动生成装置,用于执行权利要求1-9任一项所述的日志解析规则自动生成方法,所述日
志解析规则自动生成装置包括:
日志分词模块,接收新增设备日志,并对所述新增设备日志进行自动分词;
语法分析模块,对切分出的词赋予语法定义;
正则生成模块,根据所述语法定义生成解析规则正则表达式;以及
正则匹配解析字段映射模块,将生成的所述解析规则正则表达式自动作用到服务端解析引擎。
说  明  书
<p>技术领域
本发明涉及安全管理技术领域,具体地,涉及一种日志解析规则自动生成方法和装置。
背景技术
在现有技术中,通过编写代码来接入计算机中新增的设备日志,从而对日志解析难度较大、复杂度较高,从而对日志进行解析规则开发的效率极低。
发明内容
本发明的目的是为了解决对日志解析难度较大、复杂度较高,从而对日志进行解析规则开发的效率极低的技术问题。
为了实现上述目的,本发明采用以下技术方案:
本发明提供了一种日志解析规则自动生成方法,包括:日志分词步骤,接收新增设备日志,并对所述新增设备日志进行自动分词;语法分析步骤,对分出的词赋予语法定义;正则生成步骤,根据所述语法定义生成解析规则正则表达式;以及字段映射步骤,将所述解析规则正则表达式自动作用到服务端解析引擎。
优选地,在所述日志分词步骤中,构建有穷状态自动机,通过所述有穷状态自动机对所述新增设备日志中的逐个字符进行分析,当遇到停止词字典中的停止词时,则退出所述有穷状态自动机并输出词法标记,然后返回所述有穷状态自动机继续分词,直到所述新增设备日志中的全部字符分析完成为止,从而将所述新增设备日志切分成词列表。
优选地,在计算机系统中内置有或通过用户定义有语法分析规则,在所述语法分析步骤中,接收所述词法标记,并将所述语法分析规则与所述词法标记进行匹配,若具有与所述词法标记匹配的语法分析规则,则对切分出的
词列表中的每个词赋予与所述词法标记匹配的语法分析规则中的语法定义,若没有与所述词法标记匹配的语法分析规则,则对所述词法标记赋予默认的语法分析规则。

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。