您的位置:首页 > 分析研究
浅析大数据对统计调查工作的影响
西宁市统计局:http://xntjj.xining.gov.cn    来源:中国信息报    创建时间:2017/12/29 10:14:22    
  大数据泛指伴随社会化数据出现的大量在线文本、图片、流媒体数据,由于其数据量巨大、类型繁多、时效性高等特点,使其被快速运用于社会各个领域,带来的巨大变革改变了人们诸多的行为和思维方式。大数据时代的到来对统计调查工作带来了全方位的冲击和挑战,调查思维、调查过程、调查技术和调查制度等面临巨大变革。目前,通常用“4V”(即Volume、Variety、Value、Velocity)或“5V+1O”(即4V、Veracity以及Online)来概括大数据的主要特征。结合近年来的统计发展改革,笔者认为大数据时代对统计调查工作主要带来以下影响。
  数据总量更巨大(Volume)。IBM(国际商业机器公司)2014年的研究称:过去两年产生的数据占人类历史数据总量的90%。大数据时代,统计调查对象更为广泛,数据资料也更为庞大,不再仅仅是传统意义上单一、少量的数据概念。因此,单一的统计调查方法已经不能完全适用大数据的巨大工作量,促进多种调查方法的高效整合衔接是解决这一问题的有效方法。例如,三经普作为一项重大的国情国力调查,在确定全面普查方法总基调的同时,整合了一套表调查单位的联网直报报表调查方法和个体户的抽样调查方法,确保了三经普科学、高效开展。
  数据类型更繁多(Variety)。大数据时代,数据信息从结构化向非结构化数据转变,统计调查资料也多为杂乱的、不规整的、良莠不齐的数据信息,统计调查的思维方式也逐渐向多元化转变。如针对以新产业、新业态、新商业模式(简称“三新”)为代表的新经济加速发展,必须进行新的统计调查定义和标准划分。顺应大数据的发展趋势,“三新”统计应运而生,这也体现了统计调查工作的自我完善和自我提升。
  数据归整更复杂(Value)。大数据时代,统计调查需要处理的数据多为互联网信息技术产生的杂乱无章的数据碎片,数据关系较为模糊或毫无逻辑,这决定了统计调查在技术层面必须不断创新,善于利用大型计算、云计算等来完成数据价值的“提纯”。如PDA移动终端的投入使用、R语言及SPSS等数据分析和挖掘工具普及等,都是统计调查与信息技术融合的结果。
  数据时效性更高(Velocity)。大数据信息海洋无时无刻不在更新变换,这要求统计调查工作要能够跟上数据的瞬息万变、确保数据的时效性,疏通统计调查数据传输通道是确保数据时效性的有效手段。传统统计调查大多是采用统计机构逐级查询、核实、验收的单向运行模式,这种单一的采集流程和滞后的数据传输通道已经严重影响了大数据时代统计调查的工作效率。新时代统计调查工作不断致力于更新数据收集、处理平台,使统计数据能够第一时间直接从源头传输到需求者,减少中间环节的人为干扰因素,这既能保证数据的及时性,也能提高数据的准确性和完整性。
  数据针对性更强(Veracity)。大数据时代数据信息具有专业性和针对性,单靠统计部门一家之力收集数据费时费力,而打造高水平的部门数据共享平台是提高统计调查效率的有效途径。例如,得益于“五证合一,一照一码”登记制度改革,基本单位名录库维护更新可以更加灵活便利地利用工商、税务等部门行政资料。当然,目前部门间数据共享还处在较低水平,部门“数据孤岛”现象还比较严重,有待进一步改善。
  数据是在线的(Online)。在互联网和信息技术的推动下,在线数据可以随时更新、调用和计算,这也是大数据区别于传统数据的最大特征。近年来统计“四大工程”建设中的基本单位名录库建设和企业联网直报平台建设就是统计调查数据在线化的产物。以基本单位名录库系统为例,经过多年的协同努力,我国目前已经基本建成了由国家、省、市、县、镇五级间相互衔接、相互补充且能实时动态更新的基本单位名录库系统,基本实现了“一库在线、分级维护、实时更新、共建共享”。