电商数据分析系统功能要求
1范围
本标准规定了电商数据分析系统功能要求的术语和定义、功能要求、数据准备、性能与部署环境、安全性要求、运行维护与测试。
本标准适用于电商数据分析系统的功能要求。
2规范性引用文件
下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。
GB/T22239信息安全技术网络安全等级保护基本要求
GB/T28827.1信息技术服务运行维护第1部分：通用要求
GB/T28827.2信息技术服务运行维护第2部分：交付规范
GB/T28827.3信息技术服务运行维护第3部分：应急响应规范
3术语和定义
下列术语和定义适用于本文件。
3.1
电商E-commerce
电子商务通常是指在全球各地广泛的商业贸易活动中，在因特网开放的网络环境下，基于客户端/服务端应用方式，买卖双方不谋面地进行各种商贸活动，实现消费者的网上购物、商户之间的网上交易和在线电子支付以及各种商务活动、交易活动、金融活动和相关的综合服务活动的一种新型的商业运营模式。
3.2
电子商务数据分析E-commerce data analysis
当用户在电子商务网站上有了购买行为之后，就从潜在客户变成了网站的价值客户。电子商务网站一般都会将用户的交易信息，包括购买时间、购买商品、购买数量、支付金额等信息保存在自己的数据库里面，所以对于这些客户我们可以基于网站的运营数据对他们的交易行为进行分析。
4功能要求
4.1基本要求
根据公司业务需求，制定统一的技术元数据和业务元数据标准，覆盖多种来源统计数据采集、加工、清洗、加载、多维生成、分析利用、发布、归档等各个环节，建立相应的管理维护机制，梳理并加载各种元数据。
4.2具体实施
4.2.1根据业务特点，制定元数据标准，要满足元数据在口径、分类等方面的历史变化。支持对元数据的管理，包括：定义、添加、删除、查询和修改等操作，支持对派生元数据的管理，如派生指标、代码重新组合等，对元数据管理实行权限控制。通过元数据，实现对各类业务数据的统一管理和利用，包括:
a)基础数据管理：建立各类业务数据与元数据的映射关系，实现统一的数据查询、处理、报表管
理；
b)ETL：通过元数据获取ETL规则的描述信息，包括字段映射、数据转换、数据转换、数据清洗、
功能性的网站归档系统数据加载规则以及错误处理等；
c)数据仓库：利用元数据实现对数据仓库结构的描述，包括仓库模式、视图、维、层次结构维度
描述、多维查询的描述、立方体(CUBE)的结构等。
4.2.2元数据版本控制及追溯、操作日志管理。
4.3数据交换
4.3.1结合元数据管理模块并完成二次开发，构建统一的数据交换平台。通过数据抽取、清洗和转换等操作，最终加载到数据仓库中，完成整个数据交换过程的配置、管理和监控功能。
4.3.2具体要求包括:
a)支持多种数据格式的数据交换，如关系型数据库:MS-SQLServer、MYSQL、Oracle、DB2等。文
件格式:DBF、Excel、Txt、Cvs等。
b)支持数据交换规则的描述，包括字段映射、数据转换、数据转换、数据清洗、数据加载规则
以及错误处理等；
c)支持数据交换任务的发布与执行监控，如任务的执行计划制定、定期执行、人工执行、结果
反馈、异常监控；
d)支持增量抽取的处理方式，增量加载的处理方式；
e)支持元数据的管理，能提供动态的影响分析，能与前端报表系统结合，分析报表到业务系统
关系；
f)具有灵活的可编程性、模块化的设计能力，数据处理流程，客户自定义脚本和函数等具备可
重用性；
g)支持断点续传及异常数据审核、回滚等交换机制；
h)提供数据交换日志审计功能。
4.4功能支撑
作为系统的支撑平台，需要支持如下功能:
a)用户及权限管理，包括：用户及组织架构维护，权限管理与分配等功能；
b)统一工作门户，包括：门户菜单、栏目管理与维护，门户展现、个性化制定、单点登录等功能；
c)统一消息，要求提供通讯录管理，消息收发、状态监控等服务接口，支持手机短信、即时消
息、系统消息；
d)统一日志，提供统一的日志存储、管理、查询、监控、审计等功能，方便的集成到各应用平
台和子系统模块中。
4.5信息报送
为生产制造部门间信息报送提供统一规范的填报任务管理功能，实现指标管理、分组目录管理、报表表样管理以及调查样本抽取及管理工作，并提供调查任务发布、信息报送、数据审核、归档以及任务监控等功能。
4.6数据资源管理
4.6.1数据库建设与管理
在元数据的统一管理下，对历年各业务系统进行梳理和加载，形成统一业务存储的数据格式支持从各业务系统和软件中获取数据，支持从关系型数据库、EXCEL、DBF、TXT等数据格式中获取数据:
4.6.2数据浏览与处理
对各类数据按统一方式进行浏览与处理维护工作，包括:
a)对不同来源的原始数据进行分类分层次展示，比如按数据类型、时间(年、月)、专业等属性
及其不同的组合方式进行展示；
b)通过可视化工具，按照报表制度样式设计原始报表，实现对单道工序生产数据的查询、审核
和修改；
c)实现对基础数据的快速定位和展示功能；
d)实现对基础数据的条件筛选和导出功能；
e)对各类数据提供统一的审核、修改、删除、计算，以及数据导出、导入、备份、恢复等基本
数据处理功能。
4.6.3查询统计
提供可视化工具进行数据的各类查询统计，实现:
a)条件查询、模糊查询、组合查询、关键字搜索；
b)对结果进行各类排序；
c)基本统计(总量、均值、最大最小等)；
d)支持各种类型发布，包括生成EXCEL、HTML等功能；
e)提供各种图形、报表展示。
4.6.4统计数据分析与应用子系统
针对已有的基层微观数据和综合数据，系统需要提供以目标为需求导向的主题创建维护模块
5数据准备
5.1数据抽取功能
数据抽取模块要求如下:
a)应支持按照需求将存放在存储系统中的数据进行抽取；
b)应能供全量抽取及增盘地面。
c)应提供对结构化数据、非结构化数据的不同抽取方法；
d)应支持主动抽取和被动追加；
e)应支持定时批量抽取；
f)宜支持分布式数据抽取，实现数据抽取过程的负载均衡。
5.2数据清洗功能要求
数据清洗模块要求如下:
a)应支持数据一致性；
b)应支持处理无效值，包括无效数据值的删除、修正等；
c)应支持处理缺失值，包括缺失值的填充或缺失值对应数据条目的删除等；
d)应支持处理重复数据，包括重复数据的合并或者删除等操作；
e)应提供清洗前后的数据比对功能，方便使用者检验清洗的效果；
f)宜支持逻辑矛盾、关联性验证、不合理数据的清洗。
5.3数据转换功能要求
数据转换模块要求如下:
a)应支持结构化数据的列转换；
b)应支持结构化数据的行转换；
c)应支持结构化数据的表转换；
d)宜支持非结构化数据的结构化处理；
e)宜支持对文本、网页类数据的规范化处理，将文档类数据转化成单一规范形式；
f)宜支持对图片中的内容转换为字符文本，提取图像信息。
5.4数据加载功能要求
数据加载模块要求如下:
a)应支持把经过清洗和转换之后的数据加载到大数据分析系统，为分析功能模块提供数据；
b)宜支持全量加载：将转接的新据输人到目标结构；
c)宜支持增量加载：如果目标结构中已经存在数据，在保存已有数据的基础上增加新的数据。当
一个输入的数据记录与已经存在的记录重复时，丢弃新输入的数据或者输入记录可能会作为
副本增加进去；
d)应支持实时加载或批量加载两种方式。
6性能与部署环境
6.1性能要求
6.1.120个并发用户登录系统时间小于5秒；
6.1.220个并发用户登陆首页响应时间在2秒以内，在100个并发时，平均响应时间小于5秒。6.1.320个并发用户基础数据即席查询的响应时间应在5秒以内。
6.1.420个并发用户100万条数据单表OLAP分析4级维度下在5秒以内。
6.2部署环境要求
建有独立机房的，机房建设应符合国家相关标准规范；政府相关部门以及大型第三方数据分析机构宜使用大型商用数据库系统，企业可根据需求选择具有高可用性集解决方案的商用或开源数据库系统。
7安全性要求
7.1总体要求
平台安全性要求应达到GB/T22239标准规定的三级要求。应建立平台安全回应和反馈机制，及时受理安全性相关的提示、咨询和建议等。
7.2应用系统安全要求
7.2.1应采用有效的安全措施，对登录用户进行用户身份鉴别，保证登录用户为合法用户。
7.2.2应采用相对严格的系统访问权限控制措施，确保数据安全。
7.2.3应经过严格的攻击性测试和压力测试，确保具有一定的抗攻击能力和业务承载能力。
7.3运行环境安全要求
7.3.1应使用正版、稳定的服务器版操作系统，支持国产化应用，定期升级系统补丁，加强对密码的分级管理措施。数据库应采用科学的管理方法，对数据进行分区分库存储；数据库系统的密码和权限要求严格管理。使用数据库备份软件，定期对数据库中的数据进行备份。
7.3.2应使用主流应用服务器软件，要求应用服务器软件承载量高、安全性高、稳定性好。应安装正版高性能杀毒软件，制定安全措施，定期升级病毒库，防止病毒感染。
7.4备份要求
应对关键设备、程序和数据进行备份，关键数据应异地备份，并具备完善的应急和灾难恢复措施。8运行维护与测试
8.1运行维护
平台应具备完善的运维管理体系并严格按照体系执行，系统运行维护基本要求应符合GB/T28827.1的要求；系统运行维护的交付应符合GB/T28827.2的要求；系统运行维护的应急回应应符合GB/T 28827.3的要求。
8.2测试
8.2.1测试范围
根据需求分析说明书中对功能性需求以及非功能性需求的描述，确定此次的测试范围。
8.2.2功能性需求测试范围
功能性需求测试的范围包括:
a)模块初始化；
b)数据库存储；
c)数据处理；
d)数据加密。
8.2.3非功能性需求测试范围
非功能性需求测试的范围包括:
a)性能测试需求：测试系统基本且常用的功能以及对响应时间要求严格的功能模块；
b)可靠性测试需求：运行稳定性、屏蔽用户操作错误、错误提示的准确性以及故障异常恢复能力；
c)易用性测试需求：操作界面符合标准和规范，系统整体功能的直观性、一致性、正确性及可理
解性。
8.3测试方法
使用黑盒测试方法，Bug跟踪管理工具，定位问题抓包工具，覆盖所有功能需求对其进行等价类划分、边界值分析、错误推测等各类测试策略测试，确保功能的实现满足系统需求要求。
8.4性能测试
利用技术软件，结合参数化方法实现多用户的并发登录，使用虚拟用户并发来模拟实际用户对业务系统施加压力，查看各操作场景响应时间。
8.5安装调试
现场安装调试软件、拟定培训材料，进行相应的前期培训，及时记永交付、安装过程中系统出现的问题。

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。