大数据时代的档案馆基于SWOT的分析文档格式.docx
《大数据时代的档案馆基于SWOT的分析文档格式.docx》由会员分享，可在线阅读，更多相关《大数据时代的档案馆基于SWOT的分析文档格式.docx（10页珍藏版）》请在冰豆网上搜索。
下一个创新、竞争和生产率前沿》[1]中首次提出“大数据”的概念，之后《纽约时报》[2]、《华尔街日报》[3]等都对大数据进行了专栏介绍。
随着2012年奥巴马政府宣布投资两亿美元启动“大数据研究与发展计划”[4]，大数据正式上升为与历史上的互联网、超级计算同等重要的国家战略。
“这是一次革命”，哈佛量化社会科学研究所主任GaryKing说：
“我们的确正在起航，在庞大的新数据来源的支持下，量化的前进步伐将会踏遍学术、商业和政府领域，没有一个领域可以不被触及。
”[5]档案馆也不例外，从上古的结绳记事到如今源源不断的信息流，大数据时代的到来，也给档案馆带来了极大的冲击。
档案馆必须利用一切有效手段来分析现状与未来，做出正确的选择。
1何为大数据
截至目前，大数据并没有形成一个统一的定义，然而，通过分析
不同概念发现，尽管描述不一，但却存在着一个共识：
大数据不是对数据量大小的定量描述，而是一种在种类繁多、数量庞大的多样数据中进行的快速信息获取。
[6]
1.1大数据的特征
数据其实一直都在，那么又何以成为大数据呢？
这主要是由大数据的4V特征决定的：
1.1.1大量（Volume）大数据中的数据不再以几个GB或几个TB来衡量，而是以PB（1千个T）、EB（1百万个T）或ZB（10亿个T）为计量单位。
IDC2011年6月报告显示，全球数据量在2011年已达到1.8ZB，“如果把所有这些数据都刻录存入普通DVD光盘里，光盘的高度将等同于从地球到月球一个半来回，也就是720000英里。
相当于每位美国人每分钟写3条Twitter，而且还要不停地写2.6976万年”，此外，IDC还预测“全球数据量大约每两年翻一番，2015年全球数据量将达到近8ZB，到2020年，全球将达到35ZB”。
[7]
1.1.2速度（Velocity）首先，大数据往往以高速实时数据流的形式动态产生，具有很强的时效性。
2010年，据英国研究咨询公司Coda预测，移动网络数据流量在未来五年有望增长40倍，用户上传的内容将爆发式增长。
其次，对大数据的处理速度要非常快。
传统数据仓库系统、BI应用都是批处理方式，但对于大数据应用，必须进行实时数据流处理。
比如对于灾难的预测，需要很快地对发生的程度、影响的区域范围等进行量化。
1.1.3多样（Variety）一是数据来源多，随着科技的发展，大数据数据来源和承载方式多种多样，如微博、社交网站、传感器等，数据处于分散状态。
二是数据类型多，包括结构化数据（如企业、行业内数据）、半结构化数据（物联网数据）、非结构化数据（互联网数据），并且据Gartner预计，2012年“半结构和非结构化的数据，诸如文档、表格、网页、音频、图像和视频等将占全球网络数据量的85%左右”[8]。
1.1.4价值（Value）由于大量有用与可能没用的数据并存，因此大数据可谓是“遍地都是金子，又遍地都是沙子”。
一方面，大数据的价值密度较低，以视频监控为例，在连续不断的监控流中，可能仅有一两秒的影像是有用的数据。
另一方面，虽然单条数据并无多大价值，但庞大的数据量则是一座“富矿”，将已有的结构化与非结构化数据进行融合、分析后，将会从中挖掘出极高的价值。
1.2大数据的认识拓展
作为一个新兴理念与技术，大数据吸引了业界的大量眼球，让我们惊呼大数据时代的到来。
然而，大数据远非如其名称般简单，目前仍有很多人对其认识与理解存在偏差。
基于此种现状，笔者觉得有必要对相关模糊问题进行阐释。
1.2.1大数据一定很大？
在大数据的认识上，很多人存在这么一个误区：
只有几百TB乃至PB的数据才能称之为大数据。
事实上，“大数据并非总是说有数百个TB才算得上，根据实际使用情况，有时候数百个GB的数据也可称为大数据，这主要看它的第三个维度，也就是速度或时间维度”[9]。
因而可以说，大数据不是对数据量大小的定量描述，而是在信息爆炸时代如何快速地对数据价值进行深层挖掘。
1.2.2大数据越多越好？
既然是对数据进行深入挖掘，那么是不是数据量越多越好？
事实上，解决一个问题的数据规模有一个阈值。
“数据少于这个阈值，问题解决不了；
达到这个阈值，就可以解决以前解决不了的大问题；
而数据规模超过这个阈值，对解决问题也没有更多的帮助”。
[10]因此，当我们在做数据分析时，我们的任务不是去获取越来越多的数据，而是对数据去冗分类、去粗取精，把大数据做成小数据，只有这样，我们才能在数据之间游刃有余。
1.2.3大数据主要是一种技术变革？
本质而言，大数据是信息爆炸时代对数据核心价值的再挖掘，其中综合运用到去冗降噪技术、语义引擎、可视化分析等，因此被很多专业人士认为是继云计算、物联网之后IT行业的又一次颠覆性变革。
事实上，大数据“不仅仅是技术变革，更实质上的是计算机服务时代的来临，对数据的抽丝剥茧、总结结论更体现了计算机行业正从技术供应型转为服务供应”[11]。
2档案馆应用大数据的SWOT分析
SWOT分析法即态势分析法，其思路是在分析与研究对象密切相关的内部优势（Strengths）、劣势（Weaknesses）及外部机会（Opportunities）、威胁（Threats）的基础上，构建SWOT分析矩阵，得出相应的结论，并制定发展战略及对策。
运用SWOT分析法对档案馆在大数据时代的发展进行分析，有利于档案馆认清内外部形势，明确发展方向，从而制定科学的发展规划。
2.1优势（Strength）分析
2.1.1资源优势对档案馆而言，其最大的优势在于档案馆所拥有的资源。
首先，档案馆的信息资源总量庞大且增长迅速。
2008年，全国各级国家档案馆共保存档案1.93亿卷，较上年增加1769万卷，增幅达10%[12]，而到2011年，各级国家档案馆馆藏已达3.3亿卷，到2020年，各级国家档案馆馆藏将达到6亿多卷[13]。
其次，档案馆的数据资源种类繁多。
在档案馆的数据资源中，既有数字化的纸质档案、接收进馆的电子文件、音视频数据库等，也有用户利用信息、服务数据等数据资源，这些数据的格式、特征等形式多样，而各馆之间更是差异明显，从而形成了大量的异构数据。
再次，档案馆的数据资源价值很高。
作为国家和社会精心保存的历史记录，毫无疑问，档案这种数据资源具有很高的价值。
与图书、网络资源等数据资源相比，“档案是一种最真实、最可靠、最具权威性与凭证性的原生信息资源”[14]，这就使得数据洪流时代档案的价值与作用更加凸显，也必将使之在大数据时代占据重要地位。
因此，随着档案馆资源体系建设步伐的加快及用户服务要求的提高，档案馆在大数据时代已经具有了一定的大数据特征。
2.1.2行业领先首先，各级国家档案馆是集中统一保管党和国家档案的科学文化事业机构，是永久保管档案的基地，是社会各界利用档案史料的中心。
因此，作为一种机构性存在与制度性安排，国家档案馆的公益性、服务性、公平性、永久性等特征，使得档案馆成为人们心目中最系统、最可信赖的数据资源库。
大数据时代，档案馆维护和传承记忆的功能将更加重要，构建一个“基于互联网的，以档案数字资源为主体，以文本、图片、音频、视频等为形式，为中华民族集体记忆的建构和传承提供文献支撑的‘中国记忆’数字资源库”[15]将成为我们新的目标与使命。
其次，档案馆在数据处理上具有丰富的经验。
大数据浪潮汹涌来袭，绝大部分行业与部门仍处于起步阶段，而档案馆有可能在大数据时代引领潮流。
考察数据生命周期，涉及到数据生成、数据采集、数据传输、数据处理、数据分析、数据应用等阶段，而这也恰恰是档案馆熟悉的业务范畴，因此档案馆可以通过模拟或借鉴传统档案处理的整套业务规范或流程来指导大数据的处理，档案馆“对知识规范性控制的思想和技术方法恰巧在大数据领域有了用武之地”[16]。
2.2劣势（Weaknesses）分析
2.2.1认识问题作为一个档案大国，几千年档案工作的历史积淀在我国形成了丰富多彩的档案文化，也形成了一套独特的档案思维模式。
大数据时代的到来，则强烈地冲击着人们对档案及档案馆工作根深蒂固的认识。
以档案收集为例，长期以来，我国档案馆的收集工作都是以接收为主，征集为辅。
近年来，随着国家提出建立覆盖人民群众的档案资源体系，档案馆开始收集一部分体制外档案资源来丰富馆藏，然而总的而言，我国的档案收集工作仍处于一种被动状态。
大数据时代的到来，则要求人们突破以往收集工作认识的桎梏，主动收集各种反映国家、社会及公民个人记忆的信息，而无论其内容、来源、形式如何。
对于档案馆工作人员而言，则有可能出现两种认识问题：
一是没有大数据意识，即无视大数据时代的来临，依然循守以前档案收集工作的老路；
二是泛大数据化，即不加鉴别，从而使档案馆陷入数据沼泽，显然这也是档案馆无法承受的。
因此，大数据背景下，科学认识大数据的内涵，合理地选择切入点，将是档案馆在大数据时代立足的首要问题。
2.2.2数据异构大数据时代，数据的价值从何而来？
涂子沛认为，海量是基础，整合是关键。
传统环境下，我国档案馆也面临着数据异构的问题，然而，大数据背景下，档案馆的数据异构呈现出新的特点，即在数据类型上由结构化数据为主转向结构化、半结构化及非结构化数据的三者融合，数据产生与利用方式上由服务器个人电脑等固定终端转向手机、平板电脑、传感器等移动终端，数据存储方式上由存储在关系型数据库转为分布式存储（如HDFS）。
这些变化有可能导致数据膨胀、结构紊乱，从而使档案馆在未来的数据管理中“失控”。
因此如何将这些数据库打通，实现资源与技术共享，将是大数据价值能否最大化的前提，也是档案馆能否适应“数据化生存”的关键。
2.2.3人才瓶颈在我国档案事业发展日新月异的今天，档案人才队伍的建设却不尽如人意。
一是专业人才的不足。
以2006年为例，全国省、自治区、直辖市各级档案馆中具备博士学位且毕业于档案学专业的工作人员为零，具备硕士学位且毕业于档案学专业的工作人员只有26人，具备学士学位且毕业于档案学专业的工作人员只有1598人[17]。
二是信息技术人才的匮乏。
“大数据泡沫如果现在存在的话，恐怕并非数据的作用被过分夸大，而主要是由于真正具备资质的数据科学家数量不足导致的。
”[18]据统计，到2018年，美国将面临1500000个掌握大数据应用分析方法的技术经理和分析师的缺口，另外欠缺14万至19万具有“深度分析”经验的工作者[19]。
从目前来看，大数据成功的案例无不是特定的项目，例如“啤酒与尿布”，因此当前阶段档案馆人员最需要的是懂得用户的需求，因为数据越大，用户的个性需求就多样，服务切口就越小，毫无疑问，这需要档案人员拥有极强的洞察能力。
2.3机会（Opportunity）分析
2.3.1需求旺盛随着信息环境的变化和公众档案意识的觉醒，人们对于档案信息需求层面不断加深，需求领域也不断拓展。
首先，精品化的信息需求与专业化的知识服务要求。
随着社会档案意识的增强，“用户关注的已不再是简单的获取文献，而是如何从繁杂的信息环境中捕获和析取解决所面临问题的信息内容，并将这些信息融化或重组为相应的知识或解决方案”[20],因此，用户希望档案馆能够提供系统化、精品化的信息，提供能够直接解决用户实际问题的知识服务。
其次，个性化的信息需求与互动式的信息服务要求。
随着用户信息素养的不断提高，档案用户已从信息服务的“被动接受者”转换为“主动选择者”，他们更希望获得一种为自己量身定做的个性化信息服务。
同时，用户在获取信息的过程中，希望能与馆员进行人际交流与相互沟通，从而获取文化的熏陶、思想的碰撞及心灵的浸润。
[21]事实上，大数据之所以能够引发共识，成为当前热点，就在于包括档案在内的各行业及用户具有了对大数据分析和利用的巨大现实需求和具体应用需求。
2.3.2政策导向随着经济的发展，政府逐渐向服务型转变，2011年3月，《中华人民共和国国民经济和社会发展第十二个五年规划纲要》提出“推动经济社会各领域信息化，强化信息资源的整合、规范采集和发布，加强社会化综合开发利用”、“增强公共文化产品和服务供给，建立健全公共文化服务体系”[22]。
2010年6月，国家档案局《数字档案馆建设指南》颁布，提出运用多种技术手段“采集具有重要保存价值的各类数字信息，进行资源整合”、“对数字档案信息进行深度挖掘，开展增值服务”、“开展档案利用访问量统计、分布分析、舆情分析等工作”[23]。
2012年国家档案局局长杨冬权在全国档案局馆长会议上提出，努力建立以服务为主导的档案信息化体系，在新的起点上进一步推进档案信息化，即从过去以技术为主导向以服务为主导转变，从注重应用信息技术向注重档案内容信息化转变，树立“内容为王”的观念，建设以服务为主导的档案信息化体系。
[24]这些政策性文件及讲话，将为大数据在档案馆中的应用带来更多的政策支持，也为大数据时代档案馆的发展带来更多机遇。
2.4威胁（Threat）分析
2.4.1信息安全大数据时代，数据量之大、数据种类之多、对数据处理速度与时间之快，都对传统的档案馆安全体系造成极大冲击。
从基础技术角度而言，当前档案馆广泛应用的关系型数据库（SQL）技术，经过长期实践与完善，在维护数据安全方面已经设置了严格的访问控制和隐私管理工具，而大数据依托的基础技术是非关系型数据库（NoSQL），在成熟度和可访问性方面都不如传统数据库技术。
从核心价值角度而言，大数据的关键在于信息爆炸时代对数据价值的再挖掘，然而数据分析技术的发展，对国家安全及用户隐私产生了极大威胁。
事实上，美国对大数据投入巨资，其目的也是为了应对军事和国家安全中的大数据挑战，提升维护国家安全和信息网络安全的能力。
对于用户而言，数据持有人可以从历史数据中推测判断出行为人的下一步动作——个人行动轨迹、行为轨迹，甚至思维轨迹。
对此，纽约时报曾载文指出，他们（大数据持有方）想知道每一毫秒我们在做什么，找出我们的行为模式，比我们自己更了解我们，从我们已经忘记的随意点击中榨取我们每一分钱。
[25]或许这些提法有些危言耸听，但绝非不可能。
2.4.2用户流失大数据时代，档案馆面临着网络、图书馆及信息服务公司等的竞争，用户流失是不争的事实。
以网络为例，网络信息资源的丰富使用户足不出户就可以获取所需的信息，用户对档案馆的稳定性与忠诚度下降，据统计，超过90%的用户在查找信息时，会首选搜索引擎，搜索已经成为公众获取信息的代名词，[26]以至于有人把大数据产业定义为“建立在对互联网物联网等渠道广泛大量数据资源收集基础上的数据存储、价值提炼、智能处理和分发的信息服务业”[27]，合理与否姑且不论，但大数据时代，网络对档案馆的冲击却是毋庸置疑。
因此，数字化时代，档案馆如何实现“数据化生存”，将是不得不慎重考虑的难题。
3大数据时代档案馆发展的战略选择
根据上述SWOT矩阵中对大数据时代档案馆内外部环境的分析，将各个要素按照重要程度进行排列组合，结合SWOT分析法提供的四种战略规划方式，形成大数据时代档案馆的四种发展战略。
3.1SO战略——抓住机遇，发挥优势
3.1.1强化资源优势大数据时代，档案馆的核心竞争力仍在于其拥有的档案资源，因此要实现从传统档案资源观向“大档案观”转变，尽可能地收集全面数据、完整数据和综合数据，更多地关注一些底层化、碎片化、复杂化的信息，从而构建一幅反映国家和社会变迁的实时全景图。
例如，美国国会图书馆就认为Twitter推文是一种重要的新型馆藏资料，对信件、日记、期刊以及其他馆藏资源形成了补充，有时甚至可以替代后者，因此对2006年Twitter上线以来发布的所有内容进行归档，目前已完成对现有1700亿条推文的收录。
[28]因此，在进一步推进馆藏纸质档案数字化、加快电子文件接收进馆的基础上，档案馆要有意识地收集一些诸如电子邮件、网页、社交媒体等价值重大、形式多样的数据资源，从而实现档案资源的全媒体保存，真正建立覆盖人民群众的、满足长远需要的档案资源体系。
2.1.2加快档案开放大数据时代，公民对于“数据权”的要求与档案馆面临的激烈的数据竞争将加快档案资源开放的进程，档案资源的开放和流动成为必然。
数据开放的意义，不仅在于保障公民的知情权、推动政府透明与工作效率的提高，更在于让大数据时代最重要的档案数据可以自由流动起来，由封闭的内部资源向公开的社会信息转变，以催生创新，从而建立一个前所未有的开放社会与智慧城市。
例如，为了积极地公开政府信息让市民参与政府各种决策过程，NARA出台了《开放政府计划》，通过公民档案员项目、数字化战略、社交媒体战略、在线公共利用检索系统（OPA）等举措，扩大档案开放力度和公众参与水平[29]。
2.1.3创新服务内容“数据本身没有价值，通过数据提供服务才具有真正的价值，换言之，数据即服务”[30]，档案馆数据资源亦是如此。
如何将死档案变成活资源，从传统的资源保障获取到数据支持创造，这就需要档案馆不断创新服务内容。
可以预见的是，大数据时代，阅览、咨询、展览等传统服务将得到调整，而为社会机构如政府、企业等做一定的数据分析服务、数据挖掘服务将成为大数据时代档案馆的常态服务内容。
3.2ST战略——发挥优势，化解威胁
3.2.1加大宣传力度大数据时代，如何避免档案信息被海量繁杂信息所湮没，如何让更多的人享受档案馆的服务成果，这都需要档案部门采取各种措施来加大档案宣传力度。
具体而言，在宣传内容上，要积极宣传档案馆的资源体系，重点宣传档案馆的特色馆藏；
在宣传手段上，要注重发挥新兴媒体特别是网络媒体的宣传作用，实现全媒体宣传；
在宣传对象上，要实现大众传播向分众传播的转变，提升档案宣传效果。
3.2.2个性化服务“大数据的产生，使得一切领域都将进入一个可量化的时代，重中之重，就是人的行为”[31]，随之而来的，则是档案馆的个性化服务。
与以往点对点的个性化服务不同，大数据背景下的个性化服务不仅提供用户所需要的信息，还通过对用户需求进行分析，提供基于海量分布式资源的精细化知识组织输出，即实现信息+解决方案的一站式服务。
3.3WO战略——利用机会，改变劣势
3.3.1促进资源整合档案馆启动大数据的一个重要挑战，就是档案资源的碎片化。
目前，许多档案馆的资源都散落在互不连通的数据库中，如何将这些数据库打通，实现资源共享，将是大数据价值最大化的关键。
从目前来看，利用云计算技术，将全国档案资源整合，形成一朵“中国档案云”，或许将有效解决这一问题。
3.3.2加强多方合作大数据时代，数据的多样性是一种客观真实的存在，没有机构能够在大数据时代置身之外，也没有机构能够实现对所有数据的兼容并包，因此，不同数据拥有者之间的合作将非常必要。
从范围上讲，这种合作不仅包括档案系统内部的合作，还包括档案部门与图书馆、博物馆及互联网运营商之间的合作；
从内容上讲，既包括资源上的共建共享，也包括技术、人才等方面的合作。
3.4WT战略——克服劣势，避免威胁
3.4.1提升馆员素质从上古的结绳记事到今天的数字化管理，技术的发展对档案馆人员提出了越来越高的要求。
大数据时代，档案馆人员要实现从“一把锁”到“数据科学家”的转变。
对此，缪其浩认为，未来的数据科学家应具备三大核心技能，“一是具备数学知识为数据集构模，二是具备工程技能建成数据模型分析系统，三是发现见解，从数据中讲出故事来”[32]。
3.4.2保障信息安全大数据是一把双刃剑，社会因大数据而获益匪浅，但个人隐私也将无处遁形，因此，大数据环境下，档案馆除了要从技术上实现反黑客、反病毒、防盗窃等方式来抵御外来入侵者的威胁外，更需要重点加强在信息安全保障体系、信息资源共享制度、机密信息保护、信息审计等方面的制度建设，从管理上杜绝信息安全风险、切实加强个人隐私保护。
[33]
通过以上分析，我们可以获得大数据时代我们档案馆发展的SWOT矩阵，如表1。
表1：
大数据时代档案馆发展的SWOT矩阵
内部要素
战略组合
外部环境
内部优势（Strengths）
资源优势
行业领先
内部劣势（Weaknesses）
认识问题
数据异构
人才瓶颈
外部机会（Opportunities）
有利的政策支持
旺盛的用户需求
SO战略
强化资源优势
加快档案开放
创新服务内容
WO战略
促进资源整合
加强多方合作
外部威胁（Threats）
信息安全
用户流失
ST战略
加大宣传力度
个性化服务
WT战略
提升馆员素质
保障信息安全
如果说十年前，我们对“除了上帝，任何人都必须用数据来说话”这句美国谚语尚且半信半疑，那么十年后的今天，当全球数据量出现爆炸式增长时，我们将下意识地惊呼：
大数据时代已经来临。
“大数据正构成我们明天的新大陆，从2012年开始，我们将从大陆时代，移民进入大数据时代”[34]。
国际档案理事会主席马丁.博伦斯在其就职演说中指出，“一个档案工作者应是首先想到未来的人”。
[35]大数据时代的到来，强烈地冲击着档案馆的生存模式与发展空间，如何避免在数字化时代被边缘化，将是档案馆不得不正视的一个问题。
历史不会重演，却自有其韵律，如果洞悉其中的规律，那么档案馆的未来，或许就掌握在大数据的手中。
参考文献
[1][19]Bigdata:
Thenextfrontierforinnovation,competition,andproductivity[R/OL].[2013-01-11].
[2]TheNewYorkTimes.TheAgeofBigData[EB/OL].[2013-01-18].
http:
//www.nyti
升级会员 