在互联网、大数据、云计算、人工智能等新一代信息化、数字化技术的应用下，社会的数字化程度不断加深，产生的总体数据量也有了爆发性的增长，成为了构建现代社会的第五大生产要素，于是大数据也在不断进步与改善。

但是任何改善都是建立在评估的基础上，知道问题在哪才能实施改进。通常数据质量评估和管理评估需通过以下几个维度衡量。常见的以下维度：

1)完整性

完整性，是指数据信息是否完整，是否存在缺失情况。数据缺失的情况可能是整个数据记录缺失，也可能是数据中某个字段信息的记录缺失。记录的完整性，一般使用统计的记录数和唯一值个数。完整性的另一方面，记录中某个字段的数据缺失，可使用统计信息中的NULL的个数进行审核。一般空值的占比基本恒定，同样可以使用统计的空值个数来计算空值占比，如果空值的占比明显增大，很可能这个字段的记录出现了问题，信息出现缺失。总而言之，完整性可用记录数、均值、唯一值、空值占比等指标来衡量。

2)规范性

规范性，是指记录是否符合规范，是否按照规定的格式存储(例如标准编码规则)。数据规范性审核是数据质量审核中比较重要也是比较复杂的一块。规范性检验主要是检验数据和数据定义是否一致，因此可以通过合规记录的比率来衡量。比如取值范围是枚举集合的数据，其实际值超出范围之外的数据占比，比如存在特定编码规则的属性值不符合其编码规则的记录占比。

3)一致性

一致性，是指数据是否符合逻辑，数据内单项或多项数据间存在逻辑关系。一致性检验，存在逻辑关系的属性之间的校验，比如属性A取某定值时，属性B的值应该在某个特定的数据范围内，都可以通过合规率来衡量。

4)准确性

准确性，用于度量哪些数据和信息是不正确的，或者数据是超期的。准确性可能存在于个别记录，也可能存在于整个数据集上。准确性和规范性的差别在于规范性关注合规，表示统一，而准确性关注数据错误。因此，同样的数据表现，比如数据实际值不在定义的范围内，如果定义的范围准确，值完全没有意义，那么这属于数据错误。

数据的准确性可能存在于个别记录，也可能存在于整个数据集。如果整个数据集的某个字段的数据存在错误，这种错误很容易发现，利用平均数和中位数也可以发现这类问题。当数据集中存在个别的异常值时，可使用最大值和最小值的统计量去审核，或者使用箱线图也可以让异常一目了然。

还有几个准确性的审核问题，字符乱码的问题或者字符被截断的问题，可以使用分布来发现这类问题，一般的数据记录基本符合正态分布或者类正态分布，那么那些占比异常小的数据项很可能存在问题。如果数据并没有显著异常，但仍然可能记录的值是错误的，只是这些值和正常值比较接近而已，这类准确性检验最困难，一般只能与其他来源或者统计结果进行对比来发现问题。

5)时效性

数据从产生到可以查看的时间间隔，也叫数据的延时时长。某些实时分析和决策需要用到小时或者分钟级的数据，这些需求对数据的时效性要求极高，所以及时性也是数据质量的组成要素之一。例如定义某张表在每月最晚达到的日期是几号。

6)唯一性

唯一性，用于度量哪些数据是重复数据或者数据的哪些属性是重复的。即对存在于系统内或系统间的特定字段、记录或数据集意外重复的测量标准。

7)合理性

合理性，是从业务逻辑角度判断数据是否正确。评估方面可参照规范性、一致性做法。

8)冗余性

冗余性，是指多层次数据中是否存在不必要的数据冗余。

9)获取性

获取性，是指数据是否易于获取、易于理解和易于使用。

以上就是数据质量评估与管理评估的几个维度，希望以上内容能够给你带来参考，想要了解更多，欢迎关注宜信!

责任编辑：kj005