nps数据清洗规则
一、数据清洗规则：
规则总览
数据清洗针对的对象主要有四个一缺失值、 异常值、重复值和无用值，针对不同对象的不同形式，采取相应的方法进行处理，从而得到期望的数据。
非空校核
要求字段为非空的情况下，对该字段数据进行校核。如果数据为空，需要进行相应处理。
重复校核
多个业务系统中同类数据经过清洗后，在统一保存时，为保证主键唯一性需进行校核工作。
异常值校核
包括取值错误、格式错误、逻辑错误、数据不一致等，需根据具体情况进行校核及修正。
无用值校核
目前业务中不需要使用到的、无价值的数据字段，需要进行校核及去除。
二、具体规则
缺失值清洗
确定缺失值范围：按照缺失比例和字段重要性分别制定策略：
重要性高，缺失率低字段字符串去重复：通过计算进行填充；通过经验或业务知识估计；
重要性高，缺失率高：尝试从其他渠道取数补全；使用其他字段通过计算获取；
重要性低，缺失率低：不做处理或简单填充：
重要性低，缺失率高：去掉该字段。
填充缺失内容，某些缺失值可以进行填充，方法有以下三种：
以业务知识或经验推测填充缺失值：
从其他业务系统数据中取数补全；
以同一指标的计算结果（均值、中位数、众数等）填充缺失值：
以不同指标的计算结果填充缺失值。
重复值清洗
重复数据可以进行去重或者进行标记。
异常值清洗
取值错误清洗：
范围错误：可以通过添加约束的方式过滤掉指定字段数值超出范围的数据。
位数错误：可以通过其他业务系统数据进行更改。
格式错误清洗：格式内容问题主要有以下几类：
时间、日期、 数值、全半角等显示格式不一致：在整合多来源数据时也有可能遇到，将其处理成一致的某种格式即可：
内容中有不该存在的字符：某些内容可能只包括一部分字符， 比如身份证号是数字+字母，中国人姓名是汉字。最典型的就是头、尾中间的空格，也可能出现姓名中存在数字符号、身份证号中出现汉字等问题。这种情况下，需要以半自动校验半人工方式来出可能存在的问题，并去除不需要的字符；
内容与该字段应有内容不符：某些字段内容应该是数值，而实际数据中字段的内容却是字符串。这种情况可以采用类型转换来处理。
逻辑错误清洗，主要包含以下几个步骤： .
去除/替换不合理值；
修正矛盾内容。
无用数据清洗。
无用数据字段可以直接进行删除。但在进行该过程的时候，要注意份原始数据。

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。