数据质量评估（精选8篇）
篇1：数据质量评估
数据质量审核评估制度
为切实提高统计数据质量，有效促进各专业间统计数据衔接，更好地为地方党政领导、有关部门及全县经济社会发展服务，特制定本制度。
一、基本要求
1、建立数据质量评估小组
建立以局长为组长、副局长为副组长、各科室负责人和相关专业为成员的数据质量评估小组。数据质量评估小组负责对本局各专业报表的主要统计数据进行评估。凡涉及数据质量评估内容的统计报表，必须经评估后才能正式上报。评估工作由综合科牵头，组织召开评估会议。
2、严格执行国家、省、市统计局和上级调查队制订的统计方法制度
各科室、各专业必须严格按照统计方法制度规定的统计范围、指标口径、核算原则、计算方法、资料收集渠道等各项要求，开展统计调查工作。对基层提出的统计业务问题，应严格按照统计制度的规定予以答复。对统计制度和指标解释中不够明确或需要根据实际情况酌情处理的问题，应请示上级统计调查部门，不能以任何理由自行其是。
3、建立数据质量责任制
数据质量评估小组组长对所监控的主要统计数据质量负领导责任，副组长负直接责任，各成员和专业人员负具体责任。各专业要认真做好培训、布置、收表、审核、数据处理、评估、上报等各环节工作，增强在各阶段工作中的质量意识，并采取具体的质量控制措施，以保证主要统计数据能够客观真实地反映我县经济社会发展的状况。
二、评估内容
需要进行评估的数据必须是按科学的调查方法，经过数据采集、数据处理等环节所形成的各类月度、季度、统计调查数据。
三、评估前准备
1、搜集相关专业的统计资料，按要求进行整理汇总；
2、整理各专业报表上报情况和数据质量情况；
3、数据的来源及数据推算情况；
4、各专业撰写自评分析报告。
四、评估方法
1、数据评估要从客观反映本地国民经济和社会发展情况的要求出发对统计数据的准确性、及时性、可比性和衔接性等数据质量的基本方面进行评估。主要评估专业进度统计数据的衔接情况、相关统计指标之间的逻辑关系、生产总值数据与主要专业统计数据之间的相关状况等。
2、各专业对本专业的统计调查数据的合理性及与相关指标匹配性进行自我评估，并将自评分析报评估小组。
3、评估小组从规模总量、增长速度、比例结构、人均水平、历史资料、内在逻辑关系及相关部门资料等方面着手，运用纵向、横向对比以及综合分析判断等方法，定期对各专业主要的统计调查数据进行质量评估。
4、评估要从调查组织过程的严谨科学性，源头数据的完整性、准确性、代表性等方面进行论证。
5、统计调查数据质量评估后，要提出具体的评估意见，形成书面报告。评估报告的内容应包括：评估的结果，即对数据质量的评价；评估的依据，即对评估经过和评估方法的说明等。
6、在评估中发现的数据质量问题，应重新核实。严禁借评估之名，人为修改统计调查数据或在调查数据上弄虚作假。
7、在评估小组对数据进行评估认定后方可上报，并经市局反馈后发布使用。
篇2：数据质量评估
人口普查数据质量评估分析通知
各县人普办：
根据《关于认真做好登记和复查阶段工作的若干意见》和省人普办《关于认真做好人口普查复查验收工作的通知》文件精神，为切实做好登记复查的数据质量评估工作，确保普查数据数量，现对复查阶段数据评估工作提出如下意见，请各地结合本地实际，切实加强数据质量的分析评估工作。
一、严格按照复查验收工作细则和标准进行复查
各地要严格按照国家各阶段人普质量控制标准、省人普办函25号的验收标准、市人普办99号文件的复查工作要求，进行登记工作的复查验收。
二、登记数据评估的主要内容
普查登记数据质量分析评估主要围绕户籍人口、出生、死亡人口、外出、外来人口、登记人口、常住人口等主要人口数据进行，将普查登记人口数据与清查摸底人口、历年人口变化趋势进行对比，说明变化的原因。
1、户籍人口。主要应与公安的户籍资料及摸底资料进行核查分析，核对不上的人要求逐一说明原因，确保户籍人口不重不漏。
2、出生、死亡人口。主要应与摸底资料、计生、卫生部门出生人口、民政、公安部门死亡人口等资料，以及与历年本地出生和死亡人口趋势进行核查分析，特别是出生、死亡有缺口的地方需重点说明原因，确保出生、死亡人口不漏登。
3、户籍外出半年以上和省外外来人口。主要应与摸底资料、五普以来特别是近年来经济、社会发展与外来外出人口变化趋势进行核查分析，增加或减
少的人数进行原因说明，如增加的原因是新流入还是清查摸底遗漏等，减少的原因是流出还是非普查对象等。搜集外来人口增长与日常工业、建筑业、服务业相关从业人员统计数据、教育部门新居民子女就学等情况、数据。那一世范文网
4、登记人口。主要应与摸底资料进行核查分析，对登记人口比摸底增加或减少的人数、主要原因从普查小区逐级进行说明，并汇总上报。
5、常住人口。通过测算本地常住人口总量，与摸底时测算的进行核查分析，说明增加或减少的原因。
三、上报时间
要求各县人普办上报普查登记的数据质量评估报告分别于11月26日、12月1日16：00前上报。
市第六次人口普查领导小组办公室
篇3：浅析统计数据质量评估方法
1 统计数据质量的内涵
统计数据作为一种统计产品, 在信息化时代中占有至关重要的地位, 而统计数据质量概念的内涵也越来越丰富。传统的统计数据质量只包括统计数据的准确性, 而用来衡量准确性的标准就是统计估计中的误差。在如今市场经济迅猛发展的环境下, 准确性已经不再是衡量统计数据质量的唯一标准。统计数据作为统计产品, 必须根据用户的需求去判断其质量, 应该充分考虑统计数据提供的信息能否满足用户的需求。因此, 统计数据质量的内涵必须具有一定的综合性。统计数据质量是一个相对的属性概念, 其标准会根据用户的不同和时间的不同发生变化, 因此, 统计数据质量是指统计信息满足用户需求的程度, 其内涵应该包括以下内容。
1.1 完整性
应该确保相关数据无任何缺失, 从而确保有足够的深度和广度去满足研究的需求。
1.2 有用性
有用性具体是指数据本身的利用价值以及它的使用给用户所带来的利益程度。数据所提供的信息必须是用户需要的, 并且要具有一定的利用价值。此外, 有用性还应该包括安全问题, 也就是说数据的使用权应该受到一定的限制, 从而确保数据的保密性。
1.3 时效性
对相关的研究来说, 数据必须是最新的。时效性是判断统计数据是否满足用户需求的重要标准, 相关数据必须在用户作出决策之前提供给用户, 这样的数据对用户来说才是有利用价值的。
1.4 准确性
数据必须具备准确性和可靠性, 并能有效地反映实际情况。如何判断准确性, 主要决定于目标值和统计估算值之间的差异程度, 统计误差越小则说明准确性越高。数据的准确性还具体包括表述的准确性和一致性, 准确性就是对数据的描述语言应该满足准确和简洁的标准, 而一致性则是数据集内部、前后期以及其他数据来源和统计框架之间必须保持相互一致。
2 统计数据质量的评估方法
2.1 从核算角度进行的评估
从核算角度对数据进行评估, 首先要以被评估指标要求的核算方法为基础, 并深入分析指标核算中存在的问题及其原因, 然后充分利用现有的资料进行重新估算, 通过估算结果去检验官方估计值。又通过从核算角度重新对统计数据进行核算的方法也存在一些问题, 例如, 对相同的数据使用不同的估算方法, 估算的结果会存在很大的差异, 如果没有准确的信息, 就很难解释这种差异。此外, 由于缺乏和基础数据有关的信息, 因此, 在估算过程中必须通过建立假设进行估算, 这样很可能会造成估算结果出现偏差, 从而影响估算结果的准确性。虽然此方法存在一些问题, 但是只要严格按照相关规范对指标进行重新估算, 就可以有效地检验官方的统计数据, 同时可以针对该指标的参考提供相应的统计数据, 因此, 对于宏观统计数据质量评估而言, 此方法更具规范性。但是, 由于宏观统计数据的估算存在较大的复杂性, 而且收集数据的难度较大, 因此, 此方法只适合专门的研究人员和机构使用。
2.2 从误差的角度对数据质量进行评估
误差是数据质量问题中最为常见的, 所谓的误差就是客观的社会经济现象实际的数量特征与统计数据之间存在的差距。在现实中没有哪些数据是绝对准确的, 因此, 只能将精确度作为判断数据的标准, 如果精确度能满足社会经济现象数量规律以及数量特征的需要, 就可以判断此统计数据是准确的。然而, 误差的大小是决定数据精确度高低的关键, 因此, 从误差的角度对数据质量进行评估的方法可行性较强。统计数据中存在的误差具体包括抽样误差以及非抽样误差。在进行样本推断的过程中, 抽样误差是无法避免的, 由于其本身并非错误产生的结果, 且目前对抽样误差的研究已经取得了较高的成果, 因此, 只要成功的设计出样本的估计量, 就能得出该估计量的误差公式。除此之外, 其他所有的误差都属于非抽样误差。目前有两种方法可以判断非抽样误差, 一种是针对估计值建立起总误差模型, 并对非抽样误差在总误差中的份额大小以及其的具体数值进行测算, 但此方法在理论和实践中都存在较大的复杂性, 且成本较大。针对这种情况, 相关学者研究出了另一种方法:先对原始资料中是否存在失真资料进行判断, 并找出这些失真资料, 然后进行必要的整理和修改, 以避免误差的出现, 从而确保统计数据的质量。从误差角度对数据质量进行评估的方法适用于检验和控制原始调查数据的质量。随着抽样调查技术的应用和发展, 此方法在原始数据质量的评估中发挥着非常重要的作用, 但是, 针对计量误差的检测, 此方法还有待进一步的完善。
2.3 统计数据质量的逻辑性评估方法
2.3.1 基于相关性的逻辑性评估方法
目前, 有很多社会经济现象在数量上形成了一种相辅相成的关系, 当某个社会经济现象出现数量上的变化时, 也对其他的社会经济现象的数量造成直接的影响, 而且在生产技术条件达到一定标准时, 反映现象的不同指标之间保持着较为稳定的关系。基于相关性的逻辑性评估方法, 具体是指在相关性较高的指标中, 结合指标之间存在的关联, 用已经确定的正确指标给出被评估指标的评估意见, 如果各指标之间存在的关系出现大幅度的变动, 就可以基本判断出被评估指标存在质量问题。此方法是以指标的弹性系数、各指标的比例关系以及总体指标和部分指标的结构关系等条件为判断依据, 同时也可以采用主成分分析以及回归分析等计量方法。在对统计数据质量进行评估的过程中使用此方法时必须注意一些问题:各指标之间存在的关系并不会永远保持稳定的状态;必须确保和被评估指标相互联系的统计数据具备可靠性;和被评估指标相互联系的指标一般有很多, 而根据不同的相关指标得出的判断结果应该是相同的, 如果根据不同指标的变动来判断被评估数据的质量, 得出的判断结果应该完全相反。
2.3.2 基于规则的逻辑性评估方法
基于规则的逻辑性评估方法具体是指将一些已经通过专业审核的相关的统计数据资料进行集中, 然后从总体上对各项数据之间的逻辑性和平衡性进行检验。逻辑平衡审核评估方法主要分为几种:相关平衡方法具体是指检查一些存在大于、小于以及等于关系的指标, 如果检查结果出现异常, 就可以基本判断数据存在错误;利用使用和生产的平衡关系进行评估的方法, 具体是指判断一些有着明显内在关联的指标, 尤其是使用和生产之间存在平衡关系的指标存在的误差是否在合理的范围内;同项相等的方法具体是指判断相同的指标在不同的标准上产生的数据是否一样;差额平衡法具体是指根据不同增减关系的数据, 判断运算结果是否平衡。基于规则的逻辑性评估方法适用于原始调查资料和数据汇总, 但是应该注意的是此方法只对存在逻辑平衡关系的数据有效, 虽然使用计算机也可以检查和修改不同数据间存在的逻辑性错误, 但是针对原始数据中庞大且复杂的非逻辑平衡的数据, 要做出准确地判断存在很大的难度。
3 结论
综上所述, 由于影响统计数量的质量因素较多, 而且这些因素存在于数据生产的各个环节, 因此, 统计数据的质量评估存在一定的复杂性。本文分析总结了几种评估方法, 并对每个方法的特点和应用做了详细阐述, 在对统计数据进行质量评估的过程中应该根据统计数据的使用对象以及类型, 选择合适的评估方法, 从而正确的判断统计数据的质量。
摘要：随着我国社会经济的快速发展, 统计信息在决策中发挥着至关重要的作用。统计数据质量作为衡量经济发展水平和规模的重要标准, 近年来已经成为相关学者们的重点研究对象。统计数据的质量决定着宏观经济决策是否科学, 也对社会科学研究的研究结果有着非常关键的影响。因此, 如何对统计数据质量作出正确的评估, 是目前相关学者们的共同目标。本文重点分析总结了几种统计数据质量的评估方法。
关键词：统计信息,统计数据,质量评估,方法
参考文献
[1]胡安荣, 王光彩, 等.基层统计数据质量控制研究[J].统计制度方法研究, 2009 (4) .
[2]邵建利, 丁玲丽.统计数据质量控制和评估机制的研究[C].贯彻落实科学发展观推进上海统计改革与发展优秀论文选编, 2005.
[3]黄秉成, 孙宗进.统计调查数据质量的甄别与控制[J].上海统计, 2010 (1) .
[4]成邦文, 石林芬, 杨宏进.统计数据质量检查与异常点识别的模型与方法[J].系统工程, 2001 (3) .
[5]裴万辉, 傅德印.国外关于统计数据质量研究的综述[J].财经问题研究, 1998 (8) .
篇4：基于统计数据质量评估方法的研究
[关键词]统计数据质量；评估方法；逻辑检验；优缺点分析
统计数据作为信息的重要载体，随着社会信息需求的不断加大，相关领域对于统计数据的质量要求也逐渐提高。统计数据质量的高低不仅关系着经济的顺利发展，更关系到相关行业的重要决策。就目前我国统计数据质量评估还存在的问题来看，有必要对现有的统计数据质量评估方式做一个系统的整理和提高。下文就我国现阶段统计数据质量的评估现状展开分析，就几种评估方法进行改善研究。
一、现阶段我国统计数据质量评估现状
统计数据质量反映的是一个国家或者一个地区社会经济活动的成果和相关记录，是社会经济问题研究的基本依据。因此，统计数据质量的高低不仅关系到经济发展的顺利与否，更影响着各项决策的实施。所以，确保统计数据质量的准确性和可靠性对于统计数据质量工作有着重要的作用。就我国目前的情况来讲，对于统計数据质量评估还较为滞后，就其原因主要就是因评估方式和方法落后、不合理、应用不恰当。统计数据质量的准确性不仅要求统计人员要坚持客观性，保证统计过程的准确性，杜绝造价、瞒报和谎报等情况；更要确保数据统计方法的有效性，在对统计的数据进行抽样设计、过程控制以及统计评估的过程中，应保证其科学合理性，并在可信的数据收集基础上，加量保证统计数据与经济现象无限接近。
近年来，伴随着统计数据分析行业的快速发展，统计信息所涉及到的领域和行业信息逐渐复杂起来。例如一些金融业、医疗行业和工商管理行业的运用都对统计数据质量有较多的关注。从宏观的角度来看，统计数据是国家宏观调控和管理的手段；从微观上，也是企业管理与决策的重要依据。然而实际发布的数据与公众心中的需求还是存在一定的差距，这不仅给市场经济传递了错误的信息，更可能妨碍社会发展。
二、基于统计数据质量评估方法的几种方法分析
1.逻辑关系检验法
所谓逻辑关系检验法就是以政府的统计指标体系为主，包含各个统计指标体系之间的包含、恒等相关内在逻辑关系的判断标准，以实现对统计数据可信度的检验。逻辑关系检验法主要包括比较逻辑检验法、相关逻辑检验法两种，下面我们以相关逻辑检验法为主进行探讨。相关逻辑检验法是按照逻辑关系与其紧密联系的客观社会经济现象来决定的，一方面，总量指标之间存在着较为稳定的比例和比率关系。 也就是说，以此来计算出来的相对指标应在特定的范围里面规定其取值。另一方面，总量指标的变动趋势之间相同程度同向或者反向的一致性，就是说各自增长率之间应该在大致的方向和幅度之间保持一致性。将其作为一种传统的检验方法来进行操作，较为简单易懂，因此逻辑检验方法对数据可信度上的初步检验有着广泛的使用率。
2.计量模型分析法
计量模型分析法主要以建立经济模型基础，对指标的数据质量进行评估的一种评估方法，主要分为模型构建、评估、分析等几个步骤。首先，模型的构建就是计量模型的分析法中的关键不走，而要构建一个合理的统计数据质量评估模型，这对于建模者也有一定的要求。传统的回归模型主要是依照理论分析来确定数据之间的经济现象复杂关系，而如果利用经典时序模型来对历史指标数据进行深入、仔细的考查就能有效的指出其变化规律；另外，运用面板数据模型能有效的刻画出宏观经济现象之间的复杂关系，更能描述出不同个体之间在不同时期的差异。此外，科学合理的模型估计和分析是建立模型后得到准确可信数据的关键环节，因此，我们要找到可用性、适用性以及有用性较高的模型构建，以保证拥挤数据的可信度和准确度。
3.核算数据重估法
所谓核算数据重估法就是从统计核算的角度上对特定的统计指标数据进行重新估计，以提高相关指标的数据质量评估方法的效率。评估的基本思路主要分三步，包括以待评估统计为依据，通过分析找出待评估统计指标在实践中存在的问题等几个步骤；挖掘现有资料，采取针对性的替代数据和运用规范来评估统计；重新估计统计指标参数，对官方统计指标数据的准确性进行评估。
三、 结语
总之，统计数据质量管理是一个涉及梁宇多、研究复杂的技术，作为统计数据质量管理的重要环节，数据质量评估方法的确定应从多个方面进行分析，就其实用性、准确性、评估过程、优缺点进行详细剖析，以确保数据质量的评估实际价值。
参考文献：
[1]郭红丽，王华. 宏观统计数据质量评估的研究范畴与基本范式[J]. 统计研究，2011，06：72-78.
[2]许涤龙，叶少波. 统计数据质量评估方法研究述评[J]. 统计与信息论坛，2011，07：3-14.
[3]胡光. 林业统计数据质量评估体系的研究[D].东北林业大学，2012.
篇5：数据质量评估
抽样调查的实质主要是通过样本指标推算总体指标,产生一些误差是必然的；因此,样本的选择和抽取方法,对于抽样的推断结果有着至关重要的作用。同时，合理地评估样本数据既是非常重要的,也是必要的。在我们实际的工作中,对于抽样调查方法等工作比较重视,而对抽样样本的评估缺少全面系统的分析。本文结合城镇住户调查统计工作，对城镇住户数据质量评估内容、标准和方法，提出浅薄的看法。
一、建立数据质量评估制度
数据质量是住户调查工作的根本，而数据评估是提高数据质量的重要手段和环节。为切实提高城镇住户调查能力、提高调查数据质量、提高统计公信力，各级调查队必须建立数据质量评估制度，使得数据评估常态化、制度化、规范化，提高数据评估审核的科学性、客观性和可操作性。
二、数据质量评估标准
城镇住户调查数据评估以提高城镇住户调查数据的科学性、代表性和真实性为主要目的，以《中华人民共和国统计法》和城镇住户调查方法制度为依据，按照“科学、及时、可操作”的原则，高度关注城镇住户调查的样本代表性，使得调查样本能够真实地反映城镇居民的总体结构，这是保证住户调查数据质量的起始环节。同时，调查数据能准确反映城镇居民生活的实际情况以及一段趋势内城镇居民生活的变化情况，这是城镇住户调查的根本任务，也是提高数据质量的重要检验手段。
三、数据质量评估办法
（一）样本代表性评估
#样本代表性是住户调查工作的基础，样本结构存在问题将直接影响数据质量。一般情况下抽样的总体分布大部分是正态的或者接近于正态的,或者只要是抽样样本均值的分布呈正态的或者接近于正态分布的,就认为符合抽样理论要求，可以进行样本抽样，进行总体的推断，这是前提的条件；但是有一些总体分布非常不均匀，分布不合理，明显属于偏态。这主要是由于总体分布不均匀，或抽样方法不当，导致样本的分布不合理，或采取人为随机的方式抽取一定的比例时，很容易造成样本分布的系统偏差性。数据质量评估应首先检查各地是否按照城镇住户调查制度抽选和轮换样本。评估样本代表性主要有两个内容：一是城镇住户大样本调查与常规调查样本的代表性评估；二是非正常换户后对新换户样本的代表性评估。评估时重点注意以下方面：
⒈平均户规模及家庭类型的代表性。户规模与收支指标变动程度直接相关，要利用全面统计资料（人口普查、户籍统计、劳动工资等）和大样本调查资料进行样本的一致性分析，检查常规调查户中平均户规模及不同规模类型家庭的构成与总体是否一致。尤其要重视样本轮换及非正常换户前后平均户规模及家庭类型构成的变动情况。⒉人口及就业结构的代表性。要利用全面统计资料和大样本调查资料，检查常规住户调查的家庭人口结构与总体是否一致，就业人员的就业情况、行业、职业等构成与总体是否一致，就业人口、离退休人口的比例与总体是否一致。
⒊主要指标的计算。计算样本轮换及非正常换户前后人均可支配收入、人均消费性支出、家庭人口三项指标的平均值、方差、臵信区间和抽样误差。指标变动幅度较大的，要找出原因及解决办法。
（二）数据匹配性评估
进行数据匹配性评估时，应高度关注城镇住户调查数据内部的逻辑性和科学性，加强对同一时期内相关数据和历史数据在宏观层面上的把握，强化数据匹配性评估。评估分析主要从以下几方面着手：
⒈加强指标内部的对比验证。一是进行城镇住户调查历史数据纵向比对，通过观察历史数据的变动规律，分析当期主要收支指标变动幅度与全省或全国数据相差是否在±3%范围内，重点对同比增幅（或降幅）较大的数据进行评估审核；二是对收支数据的平衡关系、收入增长幅度与支出增长幅度是否匹配、分项收入的增长趋势是否匹配等内部指标的对比验证。
⒉关注同一经济带的数据比对。由于经济社会的发展存在地区差异，同一经济带的发展趋势存在可比性。比较主要收支指标的发展速度时，可结合所属同一经济地带其他地区的相同指标及其历史数据进行趋势比对。⒊注重对衍生指标的分析。对恩格尔系数、平均消费倾向、基尼系数等重要衍生指标进行趋势分析，重点关注这些指标的变化趋势是否能准确地反映本地经济发展趋势，和历史数据的走向是否衔接。要注意和同类型地区的相同指标进行比较，观察指标数值是否符合客观实际。
（三）数据协调性评估
数据的协调性评估遵循“科学、及时、可操作”的原则，充分利用其他统计指标及相关部门的行政记录对城镇住户调查数据进行全面的协调性分析。进行数据协调性分析时，应加强对同一时期内相关统计专业数据、部门数据在宏观层面上的把握，强化数据协调性评估。评估分析主要从以下几方面着手：
⒈重视与相关统计专业指标进行横向比对。住户收支数据应与国内生产总值、就业人员工资、银行现金收入中城乡个体经营收入、社会商品零售额等宏观经济指标的水平和增长趋势基本一致。并利用数据评估分析表提供的GDP、城镇职工工资水平、城镇单位从业人员数量、社会商品零售总额、财政收入、城乡储蓄存款变动额、银行现金收入中城乡个体经营收入等相关指标进行评估。住户调查中的职工人均工资及补贴收入要与劳动工资中的劳动者人均劳动报酬相比较。比较消费性支出与社会消费品零售总额增幅，分析变动幅度是否协调。
⒉加强与其他部门行政记录进行同期对比。如离退休人员养老金收入要与劳动和社会保障局提供的社会养老保险支出和人事局提供的机关事业单位离退休人员养老金进行比较。比较人均可支配收入和个人所得税增幅的变动趋势是否协调等。
⒊规范协调性评估过程。进行协调性评估之前，要分析对比指标的定义、调查期、覆盖范围、口径是否一致。如果不一致，则分析两者的差距及其产生原因。计算对比指标的同比增幅，观察指标数值与历史数据是否协调，结合当地出台的新政策、新规定，分析增幅差异的内在原因。
（四）多阶段数据评估
通过采用趋势分析、对比分析、影响因素分析、相关指标分析、逻辑性评估、基础性评估等方法对统计数据质量进行评估，从而提高统计数据质量。主要做法：
1、在做好每月报表检查审核的同时，按照每季一小评、半年一大评的数据质量评估办法对城镇住户调查专业数据质量进行认真细致地评估。
2、一季度和三季度末进行科室内评估。
3、半年和全年进行综合评估，邀请队领导，队综合、消价、限下商业等相关专业人员，共同对调查重要指标进行定性评估和定量分析，提高调查数据的科学性。
四、评估后数据的修正
若数据评估发现某地区数据质量存在不匹配、不协调现象，该地区须在规定时间内提交详细的分析说明报告，经上级核准以确定是否修正其（季度）数据。
1、原因的分析依据样本设计、抽样过程、开户情况、样本的重要指标代表性、较大异常值的影响、数据处理中误差等内容分析寻找原因。
2、数据的修正必须本着问题出在哪里修正哪里的原则进行。样本差距多少，调整多少；实地调查有误，要及时组织重新复查，解决漏报或错报的问题；对于属实的异常值，要做平滑处理，并作好台帐，以备检查。
篇6：数据质量评估
（一）审核评估范围
月报、季度、统计报表的主要指标数据均应进行评估。
（二）审核评估内容
1.统计范围中，全面统计的调查单位是否全面，非全面调查的样本单位、重点单位是否具有代表性。
2.统计数据同国民经济核算体系中相应或相关的数据是否一致或衔接；同业务部门相应或相关的数据是否有出入，有出入的原因是否清楚合理。
3.反映的增长速度、结构比重的变化是否清楚合理；同社会经济发展的客观情况是否吻合。
（三）审核评估步骤
1.统计人员按上述要求提供数据质量审核评估报告，当期报表，以及主要指标数据与上年的对比表。
2.召集相关部门和领导对数据质量进行审核评估。
3.经审核评估发现有重要差错或疑问的数字，由统计人员负责查对核实或调整，再由主管领导审定。
4、报表经过审核评估无误后由主管领导和统计人员签字，并加盖单位公章。
（四）审核评估时间
1.月报数据如出现陡增陡降或趋势性问题等，随时召开审核评估会。
2.每季对有明显趋势变化的统计数据，写出审核评估报告或书面说明，交分管领导审定，如有问题可随时召开评估会。
篇7：数据质量评估
实施方案的通知
各市农信办、各县（市、区）农信联社、农商银行：
现将《××省农村信用社数据质量管理良好标准评估实施方案》予以印发，请遵照执行。
2014年8月21日
村信用社数据质量管理良好标准实施工作的组织领导、工作部署、沟通协调等事项。领导小组下设办公室，办公室设在信贷业务部，具体落实领导小组的各项决定和工作部署，负责领导小组对外联系、协调事宜，统计、汇总、分析、通报数据质量管理良好标准工作开展情况，完成领导小组交办的其他工作。
各市农信办和县级行社要相应成立由主管领导任组长的数据质量管理良好标准实施工作领导小组，具体负责本级农信社数据质量管理良好标准实施工作。
三、有效组织实施
（一）认真组织自评（2014年7月1日—2014年8月29日）
全省各级农信社要组织由信贷、财会、科技、合规等部门人员组成的评估团队，严格按照《良好标准》中5 方面要素、15 项原则和 61 条具体标准的相关要求，对本机构数据质量管理情况进行全面自评，认真查找现有监管统计工作中存在的问题和不足。对支持本机构评估结论的文件资料，不仅要列名清单，还应将文件资料作为自评依据，整理成册。自评结束后，要认真总结分析，撰写自评报告，对61条具体标准进行归纳分析，明确提出影响本单位当前监管统计数据质量和管理水平的薄弱环节，并据此逐步进行整改。
（二）分级有序整改（2014年9月—2016年12月）
“1104”报表系统。前期省联社已将“1104”报表系统的相关需求提交给新一代IT系统的数据仓库模块部分，并将于2014年10月份上线，省联社将做好相关测试和培训工作，争取在2015年3月份前使用新的“1104”报表系统报送数据，届时，数据自动采集率将达到80%以上，数据质量和报送效率将大幅提高。二是研发新版风险客户端统计信息系统。目前，省联社已与相关公司签订了系统开发合同，将于2014年10月前完成需求提供，12月前完成程序开发，2015年3月前完成数据补录、测试、培训等工作，确保2015年6月实现正式报数。三是推进金融统计数据标准化工作。省联社前期已按照人民银行、银监会以及国家金融统计标准化委员会的相关要求，将存款、贷款等基本业务的数据元标准提交新一代IT系统，将于2014年10月逐步实施。2015年起，省联社将逐步将信托、理财等业务的数据标准纳入相关的统计系统，并根据银监部门要求，在2016年12月前，将主要监管统计所涉及的数据标准纳入相应科技系统。四是明确操作标准和流程。待相关各系统测试完备后，省联社将组织相关人员编制详细的操作指导手册，解释各业务指标含义，明确操作步骤和流程，为基层统计人员提供详细的操作指南，使统计工作标准化、规范化、流程化。
2.县级行社层面整改措施。县级行社作为数据质量第一责任人，要强化全局意识，全力配合省联社工作部署，建立
不断提高监管统计的科技支撑水平。
四、加强考核验收
在整改落实过程中，省联社和县级行社要逐年对整改效果进行评价，分析整改落实进展情况，按季度撰写数据质量管理良好标准推动工作评价报告，总结前期整改情况，制订下步整改计划，确保整改工作按计划有序推进。与此同时，省联社也将组织检查组，配合银监部门的外部评估检查，定期或不定期对县级行社的整改工作进行现场检查，督促县级行社做好数据质量管理良好标准推动工作。
五、实时反馈信息
在数据质量管理良好标准工作推动过程中，全省农信社要建立良好沟通协调机制，尤其是县级行社，要针对数据质量管理中出现的新情况、新问题，加强与省联社的沟通与交流，积极提出合理化意见和建议，保证全省农信社数据质量管理体系能够始终适应工作实际需要，各项机制保持良好运行效率。
六、加大问责力度
篇8：数据质量评估
电力行业作为国家基础产业也紧跟时代步伐,国网大力推广智能电网等相关科技项目。智能电网利用电力系统辅助人工管理,就会产生海量数据。海量数据的管理一直都是困扰企业化运作的一个很大问题。从海量数据中提取有效信息,跟数据质量息息相关,数据质量状况很大程度上会影响到大数据分析的结果,可以使其产生偏离,误导企业决策。
目前,国内外虽然提出了数据资产的理念,但没有具体的数据资产管理体系,所以未在实际中应用。近年,国网企业间通力合作开展各种方式完善的数据资产管理体系为基础,实现集约、有序的数据共享,规范数据从产生到共享应用的各个环节,有效度量企业数据质量,为大数据在企业中的应用提供有力保障。
2 数据质量现状
国内数据质量管理研究大多才刚刚起步,大多数企业数据质量管理还停留在具体操作层面,尚未形成完备的体系,未形成可操作的质量标准。通过对电网企业数据质量相关问题进行研究,其数据质量具有以下几个特点:
1)数据质量对象可以用若干个质量特性进行描述。质量属性是数据属性的扩展,与数据属性不同的是,质量属性描述了对象在数据质量方面的约束。
2)数据质量的元素是相对稳定的。但许多系统,包括一些专业领域都在试图定义局部的数据质量元素规范,以形成对数据质量的定量或非定量的衡量标准。
3)数据质量指标计算是复杂的。简单的算法可以使一个约束表达式来描述,如关系数据库中的约束定义已经非常完善,但其他方面的算法则需要进行更深入的研究。
3 关键技术
基于数据资产的数据质量监测跟传统数据质量模型息息相关,数据管理体系的建立是一个不断推进的过程,需要进行大量的方法研究和实践工作。涉及以下几个方面的技术:
1)数据资产全景展示技术:全景视图是以企业数据标准为基础、以各应用系统数据为来源,依据企业业务规划,梳理产生的企业数据资源的管理、业务、技术属性信息,以及相应的信息化描述和展现。
2)数据溯源建模技术:利用IPO模型,对指标的形成过程进行逐步回溯,形成指标的全局视图,对每一个指标的产生进行溯源,掌握所有与之相关的最初始的人工输入数据和自动采集数据。
3)数据资产质量监测技术:利用业务监测、技术监测两周方式对数据资产溯源全过程节点进行及时性、完整性、准确性、实效性、一致性和关联核查内容等几个方面进行监测。
4 数据质量监测指标体系构建
4.1 指标构建理论依据
从整体角度对企业数据资源进行的全方位、多层次、动静结合的描述,即构建全景视图,包括数据资源的产生、加工、流转与使用关系,其核心是存储数据属性(S)和处理节点(P)。以回溯为手段,形成树状的数据溯源视图,实现数据的形成过程可控。根据数据资产溯源图从数据资产产生、加工、应用全过程节点发现业务系统运维管理中的薄弱环节,推动业务系统运维管理水平的提升。
4.2 数据质量分析量化指标
首先建立企业数据资产台帐,其中包含数据资产台帐登记管理、数据资产台帐变更管理和数据资产台帐停用管理。通过对数据资产完成率、数据资产价值、数据资产可信度等维度对数据质量评估方法进行分析,建立基于数据资产的数据质量评估模型。
4.2.1 数据资产化完成率评估
数据资产化完成率是用于衡量数据资产台账属性和溯源图的完备程度,通过数据资产台账属性和溯源节点的完成率加权综合计算获到。数据资产台账属性的完成率是对各属性通过分类、加权之后获得;溯源完成率的计算通过对输入节点、处理节点、传输节点和存储节点四类节点完成率经过节点完成率评估模型加权之后获得。以下是各项指标计算方式如表1。
4.2.2 确定应用评估系数
数据资产应用评估系数是采用AHP法构建应用指标评价体系。层次分析模型是把复杂的问题分成若干个组成因素,并按支配关系分组形成层次结构。分析各因素的关系,建立递阶层次结构。计算合成权重,即全局权重。根据对数据资产价值应用及评估因素的分析,采用AHP方法,得到如表2所示的指标体系。
1)绘制层次结构模型
2)计算判断矩阵
3)计算结果显示
计算出各项应用评估指标权重之后,可以确定应用评估系数的计算模型,如下:
应用评估系数=∑(每一个应用评估指标权重*该指标评估因素的评分值)
4.2.3 数据资产可信度评估
分析影响数据资产可信度的因素,通过数学模型确定各影响因素所占比重,再综合各因素评估所得定量数据,得到数据资产可信度的最终度量数据。
首先利用层次分析模型,可信度量化模型的重点是确定各层次、各影响要素在模型中所占的比重,可以通过层次分析法来完成。建立可信度量化模型,可信度量化以层次分析模型中确定的各评估项目所占比重以及各评估项目实际得分为基础,通过加权计算得到最终的可信度得分。
1)汇总对数据资产生可信度的所有初始数据录入/采集点,每一个输入点根据输入方式不同,归类到三个大类中。各输入点的来源可信度根据所属类别运用层次分析法得出。形成该数据资产的所有输入点的来源可信度计算得出的平均值,即为该数据资产的来源可信度。
2)数据资产质量受到技术、业务、管理三方面的影响,这三方面的影响因素全部纳入到评估项目中。假设影响数据资产质量的因素共有m条,评估项目以i(i=0…m)编号,各评估项目所得分为,通过层次分析模型得到的各评估项目应占比重为,则该数据资产在完成率部分的可信度得分为的总和。
5 研究成果
根据数据资产的数据质量监测研究,结合当前较流行的数据与信息质量管理理论,提出面向企业的数据质量评估模型。定义企业级数据质量溯源图,完成数据质量溯源节点的信息定义,基于公司信息系统数据质量现状,提出适用的企业级数据质量评估分析方法,包含定义遵从、完整、准确、有效、精度、无重复、冗余、可访问、及时、明确、可用、适用等多种尺度。
6 总结
基于数据资产的数据质量研究所形成基于数据资产的数据质量评估分析方法、基于数据资产的数据质量监测方法、基于数据资产的数据质量监测工具,实现集约、有序的数据共享,规范数据从产生到共享应用的各个环节,提升企业数据质量,保障数据安全,支撑大数据应用建设。
摘要：针对信息化产业的迅猛崛起,提高国网数据剩余价值最大化。根据数据质量的特性提出数据资产理念,使用数据资产的数据质量监测技术和数据资产评估技术,进行量化数据质量指标。分析量化指标,构建模型。实现集约、有序的数据共享,提升企业数据共享能力,优化企业数据质量,保障数据安全。
关键词：数据质量,数据资产,数据质量监测,量化指标,数据安全
参考文献
[1]Pipino L,Lee Y,Wang R.Data quality assessment[J].Communications of the ACM,2002,45(4):211-2182.
[2]李谦,白晓明.供电企业数据资产管理与数据化运营[J].华东电力,2014(3):487-490.
[3]卢二坡,黄炳艺.基于稳健MM估计的统计数据质量评估方法[J].统计研究,2010,27(12):16-22.
[4]黄心宇.数据质量评价模型的建立与实现[J].商场现代化,2008(8):396-397.
[5]袁满,张雪.一中基于规则的数据质量评价模型[J].计算机技术与发展,2013,23(3):81-89.
[6]MCAFEE A,BRYNJOLFSSON E.Big data:the management revo-lution[J].Harvard Business Review,2012,90(10):60-68.
[7]刘军,吕俊峰.大数据时代及数据挖掘的应用[N].国家电网报2012-05-15(10).