分析大数据应用的技术体系及潜在问题.docx

1、分析大数据应用的技术体系及潜在问题分析大数据应用的技术体系及潜在问题摘要科学技术的发展到现阶段，信息技术相较于以前已经相当发达。现在随着计算机和网络的普及，其已经逐渐成为人们日常生活中的一部分，计算机技术的发展会对人类的工作方式以及生活方式产生直接的影响，因此人们一直对其极为重视。尤其现在智能手机以及无线网络的推广，国内的网民数量也在不断提高，这就使得大数据的重要性被逐渐凸显出来。现在大数据的应用技术在不断发展和完善，标志着我国现在正在向大数据的时代迈进，因此对于大数据技术的深入研究是很有必要的。【关键词】增长率基础软件发展规模大数据现在国内的电子设备以及智能化设备等发展势头迅猛，据不完全统计

2、，现在国内每五个人中就有三个拥有智能手机，且用户增长率仍有持续升高的趋势。而且随着计算机的广泛应用，与之相关的技术像传感器与射频识别等的研发也有了极大的进步，这就为大数据的形成提供了良好的基础条件。大数据时代的到来，不仅带来了机遇同时也伴随着一定的问题，怎样去应对这些问题已经成为现在相关专家重点研究的课题。1 大数据1.1 大数据的概念大数据是信息数据含量极为宏大，且数据的相关资料的数量也极为巨大，基础软件已经无法在短时间内对其进行有效的获取及管理。一般企业对于大数据的进行科学研究的目的就是为了提升企业收集各种有用信息数据的高效性和快速性，从而帮助企业更好地进行决策和经营。大数据技术水平一直在

3、不断的发展中，到现在这一阶段我们将其叫做3V，它能够代表现阶段大数据的所有性质以及特点。现在大数据主要呈现了出规模性和多样性以及高速性的特点。所谓规模性就是指现在信息数据的发展规模已经达到了工具不能测量的大规模阶段；而多样性则是指对信息处理方式的多元化，有结构化、半结构化以及非结构化等多种形式，但是这种多元化的处理方式无形之中也增加了数据处理的繁杂性；高速性就是现在的大数据能够将所需信息迅速进行处理，并保证处理时间不延迟。1.2 大数据的信息处理程序上文已经介绍了因为大数据信息处理的特点，导致其在处理信息时整体程序都较为繁杂，目前主要分为三个层次：1.2.1 数据信息的收集这一层次就是对大数据

4、信息的接收和记录。在接收方面，其接收的方式极为丰富，像传感器和网络链接以及服务器等都能进行信息数据的收集。而进行信息记录的主要目的就是为了对元数据进行选择，从而获取自己想要得到讯息并将其组织起来。1.2.2 将信息数据进行集成这一层次就是指将得到的信息进行整理、保存和截取。将信息进行整理其目的就是要将所有的信息进行过滤，删除价值较低的信息进行，并利用过滤器剔除无用信息和错误信息，将信息分析错误的机率降到最低；而保存信息就是把已经整理好的信息整合起来，建立信息数据库，以便用户随时进行使用，避免了二次收集的麻烦；因为不能保证所有收集的信息都是有价值的，所以除了对其进行过滤之外，对其进行截取也是什么

5、有必要的。截取之后的信息会变得更加简洁明了且易处理，进而实现信息处理时间的最短化。1.2.3 对收集信息进行分析和解析这一层次主要就是为了将信息进行技术分析以统计分析，并对收集的数据进行整理和加工，促进大数据技术系统的不断优化。可以从概率的本质入手，对认识率进行决策。要确保对信息分析的精准性，要对其进行全方位的分析，既要保证数据解析的准确性同时还要对大数据的使用空间进行拓展。2 对大数据应用技术体系的解析2.1 大数据获取技术目前收集信息数据的技术种类有很多，为了能够更好地对大数据的应用技术体系进行解析，笔者先简单介绍几种应用技术：2.1.1 云计算从二十一世纪开始，云计算这一技术就开始被人们

6、所熟知，并对其给予了极大的关注度。其缘由是云计算的计算平台十分灵活，不仅能够将各种数据以动态的形式体现出来，同时还能保证服务质量的高品质，具有极高的使用价值。可以将云计算看作是一个分布式编程模型，其规模较大，且较为抽象、虚拟，可以将电脑中的数据进行存储并将其通过网络的形式输送给需要的客户。一般如果所需要处理大规模的信息量和数据时，云计算都会成为首选，而且使用云计算时并不是无偿的，而是要根据使用资源的规模来进行收费，这就意味着会产生成本，相关人员就可以利用这一方式来形成一种盈利方式。而且相较而言云计算的需求限制较小，它许可异构网络进行横向发展，这就为大数据的收集和分析做好了铺垫。使用云计算既可以

7、为大数据信息进行分析，还可以为其提供较强的存储空间，极其方便、快捷。因其在大数据处理中具备的做种优势，使其被广泛的运用到大数据的信息处理之中，效果极为显著。2.1.2 传感器技术现在无论是日常生活、医疗以及办公等方面都需要使用网络来进行，这就使得传感器技术的普及率越来越高。当人们使用网络时，传感器就会开始收集各种有价值的信息，像交通指挥在收集车辆和路况的信息时使用的就是这种技术。从生物学、商业、环境、医疗、工业以及军事等领域探讨无线传感器的重要用途。2.1.3 条形码技术分为两种，一种是数据条形码技术，这种技术主要应用在零售行业之中，尤其在超市较为常见，这种技术的应用极大的拓展了零售行业的发展

8、空间；另一种就是条形码技术，使用这种技术能够让用户准确、快速的掌握产品的所有信息，像产地、价格以及使用功能等，而且还能用于定位和通信之中，为人们的使用提供了极大的便捷。2.2 信息分析技术对大数据进行分析的技术种类极多，像统计学以及计算机科学等，笔者还是简单列举几种典型的技术来进行说明。这些技术不仅可以对大数据进行解析，对于小数据也同样适用，只是在对大数据的使用中效果更为突出。2.2.1 聚类解析这种解析的方法就是指使原本抽象或者物理集合分组的信息进行整合，将类似的信息组合在一起并对其进行分类的解析程序。这种技术的特点就是探索性较强，在对信息进行处理时，并不需要预先做出分类，一般在商业和生物学

9、以及因特网中使用较多。除此之外，这种技术还能将信息的后续处理程序进行简化，能够通过分析的通过找出层次较深的规律，使大数据的作用发挥到最大化。2.2.2 自然语言分析信息技术领域和人工智能领域最重要的方向就是自然语言的分析方式，这种技术将人和电脑之间的高效通信成为可能。以往人和计算机在通信方面使用存在一定的出入，计算机并不能完全按照人类的想法去对信息数据进行处理，为了能够有效解决这一问题，人们开始研究剔除存在歧义的操作指令，而是通过自然语言的使用使计算机能够正确接受指令信息并开始工作。现在这一技术已经初见成效，相关的专家仍然在对其进行不断的改进和创新。2.2.3 神经网络的分析这种网络是仿照动物

10、神经行为特点而研发的，是一种算法数学模型，采用的是分布并行的信息数据处理方式。是以系统复杂程度为依据，对大数据内部的大量节点链接点进行调整，从而实现对信息的处理。作为新型的交叉学科，神经网络已经成为了神经科学和认知科学以及脑科学等学科重点研究的课题。使用其对大数据进行信息处理并将会成为一种可行性较高的形式。不仅只有这几种，对大数据进行分析分技术还有模式识别和空间分析以及遗传算法等方式，而且随着现在科研技术的不断发展，这些技术的功能也在不断提高，而且在对信息数据进行分析时，不仅可以使用单种技术，同时还能多种技术共同使用，实践证明，这样分析的效果极为显著。3 目前大数据应用技术体系的现状3.1 信

11、息数据的私密性和安全性存在隐患一方面，现在为了能够更好地对城市以及企业内部进行管理，在城市和企业中到处都有传感器以及摄像头等，这样虽然能够达到预期的管理效果，但是也暴露了人们的生活的行踪和信息，不法之徒只需利用对大数据的分析就能完全掌握人们的各种信息，为其生命以及财产安全带来了一定的隐患；另一方面，在使用云计算进行大数据处理时，人们并不能对其进行自主计算，只能按照信息存储巨头的以往信誉度来判断自己的个人信息以及商业信息是否能做到保密，基本处于较为被动的状态。针对存在的安全隐患，相关的学者一直在寻找有效的解决办法，现在已经有了一些较为成功的应对方案。对位置服务存在安全隐患这一现状，专家提出了匿名

12、的解决方法。这种方法就是将用户按照区域进行划分，并可以手动对每一范围内的所有用户的位置进行模糊设置。这样在一定范围内进行信息收集时，需要对信息进行收集时必须要对其进行身份的认证，当服务请求得到许可之后才能得到用户位置信息，这样就能实现对用户位置进行有效隐藏。隐私保护系统是指对信息量进行集中控制与差分隐私保护，并将其加入云计算从而生成数据以及对数据进行计算。这一保护系统能够在计算的过程中只允许授权用户使用数据，这样就能对隐私数据进行有效的保护，同时该系统还能自动对计算结果进行除密。除此之外，一些专家还研发出了在客户端的基础之上对数据进行隐私管理的功能，这种功能是建立在用户信任的基础之上的，可以帮

13、助客户有效管理自己在云端的个人隐私信息。苹果公司研究出一项最新的技术“电子分析污染技术”，这种技术能够帮助苹果的用户在使用产品时对自己的操作轨迹进行污染以及混淆处理，准保用户数据的安全性与隐秘性。这种信息保护的基本思路为：如果多重加密的方式也不能防止个人信息泄露的情况时，可以将大量垃圾和错误的信息混入到真实的信息里，这样就会极大的增加不法分子的数据分析成本。3.2 IT相关行业中生态环境与产业链会随之发生改变生态环境方面，以往网络公司都是使用自己的服务器管理本公司的产品与服务的，基本都是利用网络连线的方式传输到客户的终端之上，因此在这过程中产生的所有信息数据都是属于本公司的。但是这种经营的模式

14、在大数据的环境之下并不适用，很难达到维持公司的运营水平，致使多数服务公司会通过租赁第三方的平台来处理本公司的业务，这样的平台往往过于开放，不仅会存在信息泄露的风险，同时本公司的数据也会改为由第三方进行存储。产业链方面，大数据会对数据资源和应用软件以及基础设施三方面产生一定的影响。数据资源：现在很多信息中心与通信运营商都是积极寻找大数据的有效使用技术，开始大量引进专业的数据人才并在不断提高数据资源获取与开发的产业。应用软件：现在云平台的性能越来越高，各种相应的软件也被随之研发出来。所以客户不需要在花费精力去安装与配置较为繁琐的软件，为客户的使用提供了极大的便利；基础设施：大数据的运行必须是建立在

15、硬件的基础之上的，所以对其的依赖性较强，因此为了适应大数据的发展节奏，高性能的硬盘与低能耗的服务器等相关技术也得到了极大的提高。总之，整体都是向着积极的方向进行改变的。4 结束语通过本文的论述使我们了解到，大数据在不断进步的同时也带来了新的机遇和挑战，我们必须要对其进行详细的研究和规划。大数据不能可以有效提高企业有效信息的获取时间，同时还能为其发展带来多种助益。与此同时，还能为人们的生活带来极大的便利，为其提供了更加优质和便捷的环境。相关人员要对其进行不断地研发，保证大数据的信息获取和分析更加高效。参考文献1窦万春，江澄.大数据应用的技术体系及潜在问题J.中兴通讯技术，2013：8-16. 2

16、靳琦.大数据应用的技术体系及潜在问题探讨J.电子技术与软件工程，2015：199. 3张莉.大数据应用技术体系与潜在问题与挑战略述J.信息与电脑（理论版），2015：66-67. 4冯登国，张敏，李昊.大数据安全与隐私保护J.计算机学报，2014：246-258. 5胡坤，刘镝，刘明辉.大数据的安全理解及应对策略研究J.电信科学，2014：112-117+122. 6王妍，柴剑平. 大数据及相关技术解读J.广播电视信息，2014：18-21+24. 7张引，陈敏，廖小飞.大数据应用的现状与展望J.计算机研究与发展，2013：216-233. 作者简介胡辉（1979-），女，江苏省盐城市人，硕士学位。现为惠州学院讲师。研究方向为计算机软件。作者单位惠州学院广东省惠州市 516001