第 ３ 卷  第 １ 期专辑 ９ ０ ２１ 年１ 月 ０２ ０
计 算 机 科 学 Ｃ ｍ ｕｅ　Ｓｉｎｅ ｏ ｐ ｔｒ ｃ ｃ ｅ
Ｖ ｌ３ ｏ １ ｕ ｐ ｏ ．９Ｎ ．０Ｓ ｐ Ｏｔ ０ ２ ｃ  １ ２
面向终端用户的网页过滤模板动态生成技术研究
徐  慧  窦子辉  杨  林  陈  雪
（ 中国矿业大学（ 北京） 计算机科学与技术系  北京 １ ０ ８ ） ００３ 
摘  要  为了满足网络终端用户对网页噪音的过滤需求， 提出一种面向终端用户的动态模板网页过滤系 统 模 型， 它 基于模板并利用用户反馈自动进化过滤系统。设计了模板生成算法， 模拟实验验证了该算法的有效性。 关键词  网页过滤， 动态模板， ＯＭ 树 Ｄ 中图法分类号  Ｔ ３ １． Ｐ １ ５    文献标识码  Ａ
Ｆ ｃｎ　ｈ  ｎ  ｓｒ Ｗ ｂＦ ｔｒＴ ｍ ｌｔ　ｙ ａ ｉ　ｅｅａ ｏ  ｅｈ ｏｏｙＲｓａｃ ａｉｇ ｅＥ ｄＵｅ  ｅ  ｉ ｅ　ｅ ｐａｅＤ ｎ ｍｃＧ ｎｒｔ ｎＴｃ ｎｌｇ  ｅｅｒｈ ｔ ｌ ｉ
ＸＵ  ｕ  Ｄ  ｉｈｉ Ｈ ｉ ＯＵ Ｚ－ ｕ  ＹＡＮＧ Ｌｎ　ＣＨＥ  ｕ ＮＸｅ  ｉ
（ ｅ ａｔ ｅｔｏ　ｏ ｐ ｔｒＳｉｎｅａ ｄＴ ｃ ｎｌｇ ，ｈｎ  ｎｖｒｉ  ｆ Ｍ ｎｎ  Ｔ ｃ ｎｌｇ （ｅｉｇ ，ｅｉｇ１ ０ ８ ，ｈｎ ） Ｄ ｐｒｍ ｎ  Ｃ ｍ ｕｅ　ｃ ｃ　ｎ  ｅｈ ｏｏ ｙ Ｃ ｉａ Ｕ ｉｅｓ ｙｏ  ｉｉｇ ＆ ｅｈ ｏｏ ｙ Ｂｉｎ ）Ｂｉｎ  ０ ０ ３ Ｃ ｉａ ｆ ｅ ｔ ｊ ｊ
Ａ ｓ ａｔ Ｉ  ｒｅ　ｏｓｔ ｆ　ｈ  ｅｗ ｒ  ｒ ｉａ　ｓｒ　ｏ　ｈ  ｅ  ｆｎｉｅｆｔｒｄ ｍ ｎ ，　ｉｄｏ　ｙ ａ ｉ ｔ ｍ－ ｂｔ ｃ  ｎｏｄｒ  ａ ｓｙｔｅｎｔ ｏｋｔ ｍｎｌ ｅｓ ｒ ｅ Ｗ ｂｏ　ｏ  ｌ  ｅ ａ ｄ ａｋｎ  ｆｄ ｎ ｍｃ ｅ ｒ ｔ ｉ ｅ ｕ ｆ ｔ ｓ ｉｅ  ｌｔ　ａ ｅ ｉ ｅｉ  ｙｔ ｍ  ｏ ｅ ｆｃｎ　ｈ　ｎ  ｓｒ ｓｐ ｔ ｒ ａｄ Ｂ ｓｄｏ  ｈ　ｅ ｐａｅａ ｄｔｋｎ  ｄ ａｔｇ  ｆ ｆｔ ｎ ｉ ｆ  ｐａｅｐ ｇ　ｌ ｒ ｇｓｓｅ ｍ ｄｌ ａｉｇｔｅｅ ｄｕｅ  　ｕ　ｏ ｗ ｒ ．ａｅ  ｎｔｅｔ ｍ ｌｔ　ｎ　ａｉｇａ ｖ ｎａ ｅｏ ｆ ｉｒ ｉ ｓ ｉ ｌ ｔ ｉ ｕｅ  ｅ ｂｃ ，ｌ ａ ｏ  ｙｔ ｍｉ　ｖｏ ｅ ． ｈ　ｅ ｐａｅｇ ｎｒｔ ｎａｇｒ ｈ ｓａｅｄｓ ｎｄ Ｓｍ ｌｔ ｎｅ ｐｒｍ ｎｓ ｓｒ ｅｄ ａｋｆｔ ｔ ｎｓｓｅ  ｅｌｖｄ Ｔ ｅｔ ｍ ｌｔ　ｅ ｅａ ｏ  ｏｉ ｍ  ｒ　ｅｉ ｅ ．ｉ ｕａ ｏ  ｘ ｅｉ ｅｔ ｇ ｖｒ ｙｔｅｅ ｅｔ ｅ ｅｓｏ　ｈ  ｇｒ ｈ ｅｉ  ｈ  ｆｃ ｖｎｓ　ｆ ｅａ ｏｉ ｍ． ｆ ｆ ｉ ｔ ｌ ｔ Ｋ ｙ ｏｄ  Ｗ ｂｆｔｒ Ｄ ｎ ｍｃ ｅ ｐａｅ ， ＯＭ ｔｅ ｅ ｗ ｒｓ ｅ　ｌ ， ｙ ａ ｉ ｔ ｍ ｌｔｓ Ｄ  ｅ ｉｅ ｒ 
１  引言
随着互联网应 用 的 推 广 与 普 及， 络 已 成 为 很 网 多人生活中不可或缺的一部分。但是网页噪音 随着 浮动广告、 自动弹出 网络的广泛应用却是愈演愈烈， 广告、 单击弹出广告、 不堪入目的成人广告及花哨的 ａ ａｃｉ ｆｓ ｌ ｊｖｓｒ ｔ特效、ａｈ 动 画 等 严 重 影 响 了 人 们 浏 览 ｐ 网页的效率和 人 们 上 网 的 心 情。 可 是 到 目 前 为 止， 还没有相应的 规 范 来 解 决 这 一 问 题， 有 少 量 的 浏 只 览器和软件加入了有限的网页过滤功能来保护网络 用户。 因此， 研究一套 针 对 网 络 终 端 用 户 的 网 页 过 滤 系统， 对网络终 端 用 户 和 整 个 网 络 运 行 环 境 都 是 很 有意义和使用价值的。
过滤系统的核 心。 模 板 一 般 由 浏 览 器 预 先 制 定 好， 模板库在系统 升 级 中 进 行 更 新， 滤 系 统 本 身 不 对 过
１ 模板库进行更新 ［ ］。
（） 负责在模板库中到输入网 页对 ２ 模板匹配： 应的过滤模板用于噪音过滤。 （） 通 ３ 过滤器： 过 过 滤 模 板 去 除 网 页 中 的 噪 音， 输出净化后的网页。
图 １  静态模板网页过滤系统模型
２． 动态模板网页过滤系统模型 ２  在静态模板库 的 网 页 过 滤 系 统 中， 于 模 板 库 由 很难 满 足 终 端 用 户 对 网 页 过 滤 系 统 的 个 是静态的， 性要求， 因此提 出 了 一 种 面 向 终 端 用 户 的 动
态 模 板 网页过滤系统模型， 如图 ２ 所示。 其中， 模板库 生 成 器 可 以 根 据 网 页 信 息 生 成 模 板库中的模板； 户 定 制 模 块 可 以 让 用 户 定 制 自 己 用 的网页模板； 统 进 化 模 块 可 以 根 据 用 户 定 制 的 模 系
２  基于模板的网页过滤系统模型
２．  静态模板网页过滤系统 １ 静态模 板 网 页 过 滤 系 统 模 型 如 图 １ 所 示。 其 中： （） 存 是 １ 静态模 板 库： 储 用 于 过 滤 网 页 的 模 板，
， 硕士， ， 硕士生， ， 徐  慧（９ １－ ） 女， 副教授， 主要研究领域为数据挖掘； 窦子辉（９ ８－ ） 男， 主要研 究 领 域 为 数 据 挖 掘 等；  林（９ １－ ） 男， 杨 １６ １８ １６ ， 硕士生， 博士， 副教授， 主要研究领域为计算机网络等；  雪（９ ０－ ） 女， 陈 主要研究领域为数据挖掘等。 １９
·９ · ０
板修改模板库生成器的参数， 完成系统进化， 实现模 板库动态生成。
需要使用启发式规则。 判定” ３． 判定节点类型 ２  利用启发式规则判定节点类型涉及以下基本概 念： （） 信息指网页页面中可以被看 １ 信息和信息量： 图片和多媒体对象等； 信息量是信息量化 到的文
字、 的表示， 文字用数量表示， 图片和多媒体对象用面积 除以定值表示。 （） 节点信息量和页面信息量的 ２ 节点信息量比： 比， 代表节点在页面中的重要性。可以把 ｂ ｄ 节点 ｏｙ 信息量比看为 １。 （） 节点文本率指节 ３ 节点文本率和节点链接率： 点中非链接的信息量（ 包括文本和图片） 和节点 信息 量的比。节点链 接 率 指 节 点 中 链 接 的 信 息 量 （ 括 包 文本和图片） 节 点 信 息 量 的 比。 同 一 节 点 的 两 者 和 之和为 １。 对于进入用启 发 式 规 则 判 定 类 型 的 节 点， 判 其 定过程可以用图 ４ 表示。图中链接块类型的节点是 要去除的噪音 节 点， 为 这 种 节 点 一 般 是 图 片 或 文 因 字类型的链接集合， 一般与内容无关； 导航节点是特 殊的链接块， 为 导 航 对 浏 览 网 页 的 用 户 来 说 是 重 因 所以要单独分类并予以保留。 要的，
图 ２  动态模板网页过滤系统模型
３  模板动态生成
过滤系统结构 的 核 心 是 模 板 库， 了 好 的 模 板 有 库才能有好的过滤结果。所以模板库的自动生成技 术是本文的研 究 重 点。 本 文 中， 滤 模 板 是 通 过 对 过 网页 Ｄ ＯＭ 树中噪音节点编码构成的
［］ ３
。
生成网页过滤模板需要经过两个步骤： （） 遍 针 １ 确定 节 点 类 型： 历 网 页 Ｄ ＯＭ 树， 对 叶 子节点区分内 容 节 点 和 噪 音 节 点， 音 节 点 是 要 去 噪 内容节点是要保留的。 除的， （） 生成网页过滤模板。 ２ 对噪音节点进行编码， ３． 遍历网页 Ｄ １  ＯＭ 树 遍历网页 Ｄ ＯＭ 树的最 终 目 的 是 确 定 叶 子 节 点 类型。给模板生成器输入同一网站同一级别的两个
３ 网页 ［ ］， 这样的 网 页 一 般 有 相 同 的 模 板。 在 遍 历 两
如果有 相 同 的 节 点， 么 这 个 节 那 个网页的 Ｄ ＯＭ 时，
免费模板生成器４ 点通常就是噪音节点 ［ ］； 如果是非相同节点， 则启用
启发式规则来判断节点的类型。
图 ４  判定节点类型流程
在处理文本率 和 链 接 率 阈 值 时， 果 用 定 值 会 如 有深度遍历和 删 除 大 节 点 问 题， 是 由 于 对 大 节 点 这 和小节点用同一种判定标准所致。 如有的网页主要 内容是一段很 短 的 文 字， 有 很 多 文 字 或 图 片 链 接 但 块，ｏ ｙ 节 点 链 接 率 通 常 大 于 ０． ， 可 能 大 于 阈 ｂｄ ９ 很
图 ３  遍历网页 Ｄ ＯＭ 树流程
值。本文采用动态阈值的方式解决这个问题。 动态 阈值是把判定节点类型的阈值与节点信息量比关联 ·９ · １
遍历 Ｄ 其 节 ＯＭ 树流程如图 ３ 所 示， 中 “ 点 类 型
起来， 这样就避免了节点大小对判定结果的影响。 式（ ） １ 为节点链接率判定阈值计算公式：
３． 用户反馈和系统进化 ４  用户定制模板 主 要 是 生 成 网 页 的 可 定 制 页， 可 以让用户自己选择删除哪些节点。 系统进化是根据用户自己定制的过滤模板来修 改阈值参数。因为系统过滤模板的生成主要靠阈值 来界定各节点的类型。 当用户要对自 己 定 制 过 滤 模 板 时， 明 对 系 统 说 过滤模板不满意。用户自己定制的过滤模板和 系统 生成的过滤模板之间相异的节点可以分为两类。 一 类是在系统过滤模板中的， 称为用户保留节点， 因为 定制过滤模板 中 没 有 说 明 用 户 不 想 删 除 它； 一 类 另 是在用户定制的过滤模板中的， 称为用户噪音节点。 在不同情况下， 阈值变化如下： （） 链接率最 １ 当结构节点被判定为噪音节点时， 低阈值要升高， 为 最 低 阈 值 过 低 导 致 计 算 出 的 判 因 致使结构节点被判定为噪音节点， 所以要 定阈值低， 升高。表现出用户噪音节点为系统噪音节点的子节 点。 （） 链接率最 ２ 当噪音节点被判定为结构节点时， 低阈值要降低， 现 为 出 现 用 户 噪 音 节 点 为 系 统 噪 表 音节点的父节点； 当结构节点被判定为内容节点时， 文本率最低值 要 升 高， 现 为 出 现 用 户 噪 音 节 点 为 表 系统内容节点 的 子 节 点； 内 容 节 点 被 判 定 为 结 构 当 节点时， 文本率最低
值要降低， 表现为出现用户保留 节点为系统噪音节点的父节点。 对于用户噪音 节 点 和 用 户 保 留 节 点， 节 点 信 其 息量比、 链接率和文本率是已知的。可以代入式（ ） １ 和式（ ） ２ 计算出对应的最低阈值临界值。 在计算出的临界值中会有一些偏离系统最低阈 值太远的， 这是出于用户的一些特定需要， 所以要去 除。可以设定一个 变 化 范 围， ５％ ， 最 低 阈 值 加 如 在 减 ５％ 内 的 临 界 值 才 能 用 于 计 算 系 统 新 的 最 低 阈 系统阈值变化就会缓慢变化， 不会出 现大 值。这样， 的跨越。 当用户噪音节点和用户保留节点达到一定数量 时进行系统的 进 化 才 有 意 义， 为 数 量 太 少 不 会 有 因 参考价值。在系 统 更 新 阈 值 后， 重 新 生 成 系 统 各 要 模板。
ｌｍｔ ｉＬ ｍｔ （ ａ Ｌ ｍｔ ｉＬ ｍｔ ＊ ｉ ｉ ＝ｍｎ ｉ ｉ ＋ ｍ ｘ ｉ ｉ －ｍｎ ｉ ｉ ） ｗ ｉ ｈＲ ｔ ｅｇ ｔ ａｉ ｏ
（） １ 式中， ｅｇ ｔ ａｉ 为 节 点 信 息 量 比， ａ Ｌ ｍｔ 和 ｗ ｉ ｈＲ ｔ ｏ ｍ ｘｉ ｉ ｍｎ ｉ ｉ 为阈 值 最 大 和 最 小 值。 当 节 点 信 息 量 比 ｉＬ ｍｔ 判 为 １ 时， 定 阈 值 为 ｍ ｘ ｉ ｉ ， 着 节 点 信 息 量 变 ａ Ｌ ｍｔ 随 判定阈值会 线 性 趋 近 于 ｍｎ ｉ ｉ 。 这 体 现 了 对 小， ｉＬ ｍｔ 大节点判定为噪音时要严， 防止误删， 对小节点宽 松 的思想。 式（ ） ２ 为节点文本率判定阈值计算公式：
ｌｍｔ ａ Ｌ ｍｔ （ ａ Ｌ ｍｔ ｉＬ ｍｔ ＊ ｉ ｉ ＝ｍ ｘ ｉ ｉ － ｍ ｘ ｉ ｉ －ｍｎ ｉ ｉ ） ｗ ｉ ｈＲ ｔ ｅｇ ｔ ａｉ ｏ
（） ２ 文本率判定阈 值 的 变 化 和 链 接 率 是 相 反 的， 其 对于大节点要宽松一点， 对于小节点要严一点， 因为 文本率一般要大于 ０． ， ８ 放过大节点不会影响观看， 而对小节点严一点可以过滤更多的噪音。 ３． 模板结构与编码 ３  一个 Ｄ 就 ＯＭ 树 的 所 有 叶 子 节 点 确 定 之 后， 要 考虑 如 何 把 这 种 结 构 保 存 起 来， 就 需 要 对 Ｄ 这 ＯＭ 树进行编码。 本文使用一种快捷有效的编码来记录生成的模 板。对从根到叶子的路径中的节点用其为父节点中 的孩子编号来代表
［］ ５
， 后 把 所 有 数 字 按 顺 序 用 “” 然 －
字符连接形成 叶 子 节 点 的 编 码， 所 有 叶 子 节 点 的 把 编码按发现 顺 序 用 “ ” 接 形 成 Ｄ ＆ 连 ＯＭ 树 的 模 板。 为了应对网页 结 构 变 化 的 问 题， 模 板 中 应 该 加 入 在 一些节点信息， 如节点标签类型。 例如， ＯＭ 树编码如图 ５ 所示。 Ｄ
图 ５　Ｄ ＯＭ 树编码示例图
如果用 深 度 优 先 遍 历 树， Ｄ 则 ＯＭ 树 的 模 板 为
４  过滤实验
本文对过滤前 后 的 网 页 进 行 了 对 比 实 验， 验 实 结果如图 ６－ 图 ８ 所示。 其中图 ６ 是过 滤 前 的 网 页， ７ 是 用 系 统 生 成 图 图 的过滤模板过滤生成的网页， ８ 是加入用户定制模 板且系统进化后生成的过滤模板过滤生成的网页。
ｄｖ＝１－ ｄｖ＝１－ ｔ ＝２－ ｔ ＝２－ ｔ ＝２－ ｉ １＆ ｉ ２＆ ｄ １＆ ｄ ２＆ ｄ
那 ３＆ ｉ ＝３。如果图 ５ 中灰的节点 为 噪 音 节 点， ｄｖ 么， 过滤模板变为 ｄｖ＝１－ ｔ ＝２－ ｔ ＝２－ 。 ｉ １＆ ｄ １＆ ｄ ３当 说 匹配或过滤时 发 现 标 签 名 变 了， 明 现 有 模 板 已 经 应该重新生成对应模板。 不合适了， ·９ · ２
从图 ６ 可以看 到， 用 过 滤 模 板 后 的 网 页 的 噪 使 音基本消失。图 ７ 与图 ８ 的差异部分是在相关阅 读 文 部分。在图 ７ 中， 本 节 点 由 于 被 判 定 为 结 构 节 点 又进行了迭代， 而 被 删 除。 当 大 量 用 户 定 制 模 板 从 在 保留这一部分 时， 系 统 进 化 时 会 降 低 文 本 率 最 低 阈值， 从而保留 这 一 部 分。 而 图 ８ 中 进 化 过 滤 网 页 中的大框表示的是保留的文本节点。 结束语  本文面向终端用户对网页过滤模板动 态生成技术的 研 究， 出 了 面 向 网 络 终 端 用 户 的 动 提 对模板生成算法、 节点类 态模板网页过滤系统模型， 型判定、 模板编码结构、 用户反馈和系统进化等相 关 技术和算法进 行 了 研 究 设 计。 实 验 结 果 表 明， 系 该 并 统可以有效地 过 滤 网 页 噪 声， 可 以 实 现 模 板 的 动 态生成。 参 考 文 献
图 ６  过滤前的网页
［ ］ 毛先领， 何靖， 宏 飞 ． 页 去 噪： 究 综 述 ［ ］ 计 算 机 研 究 与 闫 网 研 １ Ｊ． 发展，０ ０，２ １ ）２ ２ － ０ ６ ２ １ ４ （２ ：０ ５２ ３ ［ ］ 何友全， 徐澄， 小 乐， ． 种 基 于 统 计 学 特 征 和 Ｄ 徐 等 一 ２ ＯＭ 树 的 网页去噪技术［］ 重庆理工大学学报，０ １，５ １ ：４５ Ｊ． ２ １ ２ （ ）５ － ８ ［ ］ 袁 明 轩， 选 平， 宇， ． 种 基 于 同 层 网 页 相 似 性 去 除 网 页 张 蒋 等 一 ３ 噪音的方法［］ 计算机工程，０ ６，２ ２ ）６ － ３ Ｊ． ２ ０ ３ （３ ：１６ ［ ］ 宋鳌， 支琤， 周军， ． 等 基于 Ｌ Ｓ 的 特 征 树 最 在 相 似 性 匹 配 网 页 ４ Ｃ 去噪算法［］ 宽带网络，０ １，５ １ ）４ － ８ Ｊ． ２ １ ３ （３ ：４４ ［ ］ 万乐， 左万利， 高金 ． 基于主题的网页噪音 去 除 机 制［ ］ 计 算 机 ５ Ｊ．
图 ７  过滤后的网页
图 ８  进化后过滤的网页
工程与设计，０ ８，８ ８ ：０ ２２ ７ ２ ０ ２ （ ）２ ７ － ０ ６
（ 上接第 ８ 页） ５ 包括基 １ 数据对象。数据对象保存实际数据，    （ ） 本值以及对其他数据对象的引用。 数据对象还拥有 对其元数据的 引 用， 允 许 基 本 数 据 对 象 获 取 有 关 这 数据类型、 数据
关系和数据约束的信息。 （） 数据图是一组 提供 ２ 数据图。从概念上来说， 组件之间或层 之 间 的 传 输 单 元 的 数 据。 具 体 来 说， 数据图是一个多根的数据对象集合。 数据图记录 所 有对数据的更改， 包括新的数据对象、 被更改的数 据 对象以及被移除的数据对象。 （） ３ 元数据。 关 于 数 据 对 象 的 元 数 据 使 开 发 工 具和运行时框架能够内省数据， 包括数据类型、 关系 以及约束。改框架提供了一 个 通 用 的 跨 异 构 数 据 源 类型的元数据 Ａ Ｉ来支持一般的工具和框架。 Ｐ 其主要负责两 方 面 的 工 作： 是 解 释 数 据 模 型 一 和服务调用， 完成各层模型的灵活转换和映射； 二是 从服务调用和 响 应 消 息 中 抽 取 业 务 数 据， 成 数 据 完 操作和计算， 并把结果以标准格式写入响应消息， 使 得双层平台间业务流程的交互更加准确、 便捷， 同时 能够满足用户 提 出 的 复 杂 的 考 试 时 间 安 排 规 则， 实
现复杂规则下的准确、 快速编排， 大大加强了在线考 试业务流程安排的灵活性。 结束语  随着 信 息 技 术 和 市 场 需 求 的 发 展， 数 字电视运 营 支 撑 系 统 的 设 计 需 要 进 一 步 完 善 和 改 进。物联网、 云计算等领域的发展， 也给三网融合和 数字电视带来新的机遇与挑战。对于三网融合和数 字电视的研究仍需要进一步深入。 参 考 文 献
［ ］ 魏建兰 ． 基于 Ｉ ｖ 的 交 互 式 数 字 电 视 应 用 ［ ］ 通 信 与 广 播 电 １ Ｐ６ Ｊ． 视，０ ８， ：４２ ２０ ４２ － ８ ［ ］ 赵岩 ． 基于云计算下的三网融合的讨论［ ］ 吉 林 广 播 电 视 大 学 ２ Ｊ． 学报，０ ２， ：４ － ４ ２ １ ３ １ ３１ ５ ［ ］ 马勇 ． 基于三网融合的数字机顶盒的设计
与 应 用 ［ ］ 淮 阴 工 学 ３ Ｊ． 院学报，０ ２， ：７２ ２１ ２１ － １ ［ ］ 胡云 ． 三网融合的技术基础和应用分 析［ ］ 信 息 化 研 究，０ １， ４ Ｊ． ２１ ４：－ ２ ９１ ［ ］ 王汉熙 ． 三网融合信息服务产业构建基础 理 论 的 研 究 方 向 ［ ］ ５ Ｊ． 中国海洋大学学报，０ ２， ：８６ ２１ ４５ － ５ ［ ］ 王然 ． 基于 Ｏ Ｓ Ｊ的 数 字 电 视 计 费 系 统 的 设 计 与 实 现 ［ ］ 北 ６ Ｓ／ Ｄ ． 京： 北京邮电大学，０ ６ ２０
·９ · ３

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。