(19)中华人民共和国国家知识产权局
(12)发明专利说明书
(10)申请公布号 CN 107004036 A
(43)申请公布日 2017.08.01
(21)申请号 CN201580067554.6
(22)申请日 2015.12.17
(71)申请人 EMC 公司
    地址 美国麻萨诸塞州
(72)发明人 K.陈 L.唐 M.J.杜奇
(74)专利代理机构 中国专利代理(香港)有限公司
    代理人 申屠伟进
(51)Int.CI
     
                                                                  权利要求说明书 说明书 幅图
(54)发明名称
      用以搜索包含大量条目的日志的方法和系统
(57)摘要
      公开了用以搜索包含大量条目的日志的技术。在各种实施例中，递增地预扫描日志以标识感兴趣的日志。至少部分基于确定日志满足与征兆相关联的征兆定义而将日志标识为感兴趣的日志。生成对于满足征兆定义的那些感兴趣的日志的征兆预扫描结果。将征兆预扫描结果存储在可搜索的预扫描结果数据存储库中。
法律状态
法律状态公告日
法律状态信息
法律状态
2021-08-31
授权
授权
2017-08-25
实质审查的生效
实质审查的生效
2017-08-01
公开
公开
权 利 要 求 说 明 书
1.一种扫描系统日志的方法,包括:
递增地预扫描日志以标识感兴趣的日志,其中,至少部分基于确定日志满足与征兆相关联的征兆定义而将日志标识为感兴趣的日志;
生成对于满足征兆定义的那些感兴趣的日志的征兆预扫描结果;以及
将征兆预扫描结果存储在可搜索的预扫描结果数据存储库中。
2.权利要求1所述的方法,其中,预扫描包括确定日志匹配模式定义以及将与征兆相关联的频率约束应用于通过所述预扫描标识的一个或者多个感兴趣的日志。
3.权利要求2所述的方法,其中,频率约束指示模式出现的阈值数目以及时间段,在该时间段内必须出现了该阈值数目的模式出现以满足频率约束。
4.权利要求1所述的方法,其中,递增地预扫描日志包括预扫描第一组日志;将第一组日志标记为已被预扫描;以及至少部分基于确定第一组日志已经被预扫描而预扫描还没有被预扫描的第二组日志。
5.权利要求4所述的方法,其中,将第一组日志标记为已被预扫描包括使用指针或者其他数据结构来指示在一组原始日志数据内的已被预扫描的最后的日志。
6.权利要求1所述的方法,其中,征兆定义包括被表达为正则表达式的模式。
7.权利要求6所述的方法,其中,模式包括第一模式,并且第一模式引用第二模式。
8.权利要求7所述的方法,其中,被包括在第一模式中的占位符值,在第一模式与之相关联的定义方面,与和第二模式的对应出现相关联的对应数据相关联。
9.权利要求8所述的方法,其中,发现第一模式的匹配包括发现第一模式的非占位符部分的基本匹配;从第二模式的对应出现获取所述对应数据;用对应数据代替第一模式中的占位符;以及基于结果来确定已发现第一模式的匹配。
10.权利要求1所述的方法,进一步包括接收包括征兆作为查询项的搜索查询,以及使用一组已存储的征兆预扫描结果来发现响应于查询的日志或者其部分。
11.一种用以扫描日志的系统,包括:
数据存储设备;以及
处理器,其耦合到数据存储设备,并且被配置成:
递增地预扫描日志以标识感兴趣的日志,其中,至少部分基于确定日志满足与征兆相关联的征兆定义而将日志标识为感兴趣的日志;
生成对于满足征兆定义的那些感兴趣的日志的征兆预扫描结果;以及
将征兆预扫描结果存储在数据存储设备上的可搜索的预扫描结果数据存储库中。
12.权利要求11所述的系统,其中,预扫描包括确定日志匹配模式定义,以及将与征兆相关联的频率约束应用于通过所述预扫描标识的一个或者多个感兴趣的日志。
13.权利要求12所述的系统,其中,频率约束指示模式出现的阈值数目以及时间段,在该时间段内必须出现了该阈值数目的模式出现以满足频率约束。
14.权利要求11所述的系统,其中,递增地预扫描日志包括预扫描第一组日志;将第一组日志标记为已被预扫描;以及至少部分基于确定第一组日志已经被预扫描而预扫描还没有被预扫描的第二组日志。
15.权利要求14所述的系统,将第一组日志标记为已被预扫描包括使用指针或者其他数据结构来指示在一组原始日志数据内的已被预扫描的最后的日志。
16.权利要求11所述的系统,其中,征兆定义包括被表达为正则表达式的模式。
17.权利要求16所述的系统,其中,模式包括第一模式,并且第一模式引用第二模式。
18.权利要求17所述的系统,其中,被包括在第一模式中的占位符值,在第一模式与之相关联的定义方面,与和第二模式的对应出现相关联的对应数据相关联。
19.一种用以扫描系统日志的计算机程序产品,所述计算机程序产品被包括在非暂时性计算机可读存储介质中,并且包括用于以下步骤的计算机指令:
正则匹配时间戳递增地预扫描日志以标识感兴趣的日志,其中,至少部分基于确定日志满足与征兆相关联的征兆定义而将日志标识为感兴趣的日志;
生成对于满足征兆定义的那些感兴趣的日志的征兆预扫描结果;以及
将征兆预扫描结果存储在可搜索的预扫描结果数据存储库中。
20.权利要求19所述的计算机程序产品,其中,递增地预扫描日志包括预扫描第一组日志;将第一组日志标记为已被预扫描;以及至少部分基于确定第一组日志已经被预扫描而预扫描还没有被预扫描的第二组日志。
说  明  书
<p>技术领域
本发明涉及用以搜索包含大量条目的日志的方法和系统。
背景技术
在IT环境中,大多数设备每天生成日志。这些日志对于操作、统计、消除缺陷和其他管理工作是非常重要的。一般地,日志条目是非结构化数据。为了促进这些任务,解析非结构化日志并且将有价值的信息存储到贮存库中是常见惯例。然而,当管理大型IT环境比如全球公司时,或者向大量消费者提供云服务时,日志量可能是巨大的。从数百亿记录内发现感兴趣信息是困难且耗时的任务。
附图说明
在以下详细描述和附图中公开了本发明的各种实施例。
图1是图示用以预扫描日志的系统的实施例的框图。
图2是图示用以预扫描日志的过程的实施例的流程图。
图3是图示用以预扫描日志的系统和过程的实施例的框图。

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。