情报检索(公共管理学院).ppt

1、情报检索课堂展示情报检索课堂展示 公共管理学院公共管理学院计算机科学与技术前沿问题：大数据选题原因为什么选择大数据？IBM对大数据四方面特征：数据量、时效性、多样性、可疑性。麦肯锡报告，大数据：创新、竞争和生产力的下一个前沿领域我们进行了热点筛选，然后整合关键词进行了投票排序一、CNKI数字图书馆 中国学术文献网络出版总库 中国知网统计计算机软件及计算机应用类期刊中，符合影响因子及综合影响因子均最高的软件学报2015最新期目录。热点筛选：二、CNKI数字图书馆 中国学术文献网络出版总库 计算机软件及计算机应用学科2015年国家级、省部级课题清华大学（国内计算机专业排名第一的大学）三、CNKI数

2、字图书馆 中国学术文献网络出版总库 计算机软件及计算机应用学科学术热点四、CNKI数字图书馆 中国学术文献网络出版总库 全国全国“计算机软件及计算机应用计算机软件及计算机应用”学科一年内产出的期刊文学科一年内产出的期刊文献献一轮投票二轮投票第一部分第一部分 大数据的发展进程大数据的发展进程1890年，（美）赫尔曼霍尔瑞斯.发明并使用电动卡片识别机器来处理人口普查数据；1943年，英国为快速解开纳粹设置的密码，组织工程师发明机器进行大规模数据处理，并采用了第一台可编程的电子计算机实施计算工作；1960年代，(英)蒂姆伯纳斯李设计超文本系统，命名为万维网；1961年美国国家安全局(NSA)首先应用

3、计算机收集信号自动处理情报，数字化处理模拟磁盘信息；1964年，哈里J格雷和亨利拉斯顿在美国电气与电子工程师协会（IEEE）的电子计算机学报上发表文章，提出信息爆炸概念；1965年，英特尔创始人戈登摩尔（GordonMoore)通过研究计算机硬件得出摩尔定律。1988年美国科学家马克韦泽（MarkWeiser)指出各种各样微型计算设备能随时随地获取并处理数据，被称为普适计算；2008年末，“大数据”得到部分美国知名计算机科学研究人员的认可，业界组织“计算社区联盟”(ComputingCommunityConsortium)发表了一份有影响力的白皮书大数据计算：在商务、科学和社会领域创建革命性突

4、破；2011年5月，麦肯锡全球研究院的詹姆斯马尼卡、迈克尔崔等发布了大数据：下一个具有创新力、竞争力与生产力的前沿领域。来源：张兰廷,大数据的社会价值与战略选择,俞立平,大数据与大数据经济学第二章第二章 大数据的应用领域大数据的应用领域一、商业智能领域，包括：企业内部大数据应用和物联网；二、公共服务领域，体现在：改善安全和执法、群智感知和社交网络-公共预警等领域；三、市场营销领域；四、实体生产领域，包括：提高医疗和研发水平、优化机器和设备性能和智能电网。第二章第二章 大数据的应用领域大数据的应用领域一、商业智能领域大多数传统BI工具的局限：首先，它们都是“预设-抓取”工具，由分析师预先确定收集

5、什么数据用于分析。其次，它们都专注于报告“知道问题是什么，然后去找答案。而大数据会给出一些未知的未知，也就是你没有想到的一些问题的结果。1.企业内部大数据应用市场方面销售规划方面运营方面供应链方面来源：百度文库-大数据的应用现状与展望1.企业内部大数据应用企业内部大数据应用案例：淘宝数据魔方是淘宝平台上的大数据应用方案，通过这一服务，商家可以了解淘宝平台上的行业宏观情况、自己品牌的市场状况、消费者行为情况等，并可以据此进行生产、库存决策，而与此同时，更多的消费者也能以更优惠的价格买到更心仪的宝贝。而阿里信用贷款（蚂蚁花呗）则是阿里巴巴通过掌握的企业交易数据，借助大数据技术自动分析判定是否给予企

6、业贷款，全程不会出现人工干预。来源：百度文库-大数据的应用现状与展望2.大数据与物联网1.物联网的含义：利用局部网络或互联网等通信技术把传感器、控制器、机器、人员和物等通过新的方式联在一起，形成人与物、物与物相联，实现信息化、远程管理控制和智能化的网络。物联网是互联网的延伸，它包括互联网及互联网上所有的资源，兼容互联网所有的应用，但物联网中所有的元素（所有的设备、资源及通信等）都是个性化和私有化。来源：百度百科-物联网2.二者关系如下：（1）物联网产生大数据.案例（2）大数据助力物联网.案例 物联网与大数据物联网与大数据案例：2012年IDC公司指出在2005年由机器产生的数据占到数据总量的1

7、1%，2020增加到42%。比如说医疗，现在到医院看病都要CT，清晰度很高300多兆，一个病人CT影响往往多大两千幅，数据量已经到了几十个GB，如今中国大城市的医院每天门诊上完人，全国每年住院已经达到了两亿人次，按照医疗行业的相关规定，一个患者的数据通常需要保留50年以上。大数据助力物联网大数据助力物联网案例：UPS快递为了使总部能在车辆出现晚点的时候跟踪到车辆的位置和预防引擎故障，它的货车上装有传感器、无线适配器GPS。同时，这些设备也方便了公司监督管理员工并优化行车线路。UPS为货车定制的最佳行车路径是根据过去的行车经验总结而来的。2011年，UPS的驾驶员少跑了近4828万公里的路程。（

8、来源：新华新闻-物联网产生大数据大数据助力物联网）二、公共领域二、公共领域公共服务领域：一方面，公共机构可以利用大数据技术把积累的大量历史数据进行挖掘利用，从而提供更为优质的公共服务。另一方面，公共机构也可以通过对某些领域的大数据实时分析提高危机的预警能力，为实现更好、更科学的危机响应提供技术基础。政府决策领域：通过对数据的挖掘，从而有效提高政府决策的科学性和时效性。政府决策领域：政府决策领域：案例：日本大地震发生后仅仅9分钟，美国国家海洋和大气管理局(NOAA)就发布了详细的海啸预警，并且随即NOAA通过对海洋传感器获得的实时数据进行了计算机模拟，制定出详细的应急方案，并将制作的海啸影响模型

9、实时发布在了YouTube等网站上。1.改善安全和执法改善安全和执法大数据被广泛应用于提高安全和执法过程。美国国家安全局(NSA)在使用大数据分析来对抗恐怖主义活动，甚至用来监控我们的生活。其他企业则使用大数据技术来检测和阻止网络攻击。警察还可以使用大数据工具来捉住罪犯，甚至预测犯罪活动，信用卡公司使用大数据来检测欺诈性交易。（来源：上方网-大数据分析应用最多的9个关键领域）1.改善安全和执法改善安全和执法案例：公安部门以“大情报”应用为牵引，提出面向海量信息资源、空间信息、图像资源以及广泛采集的数据进行深度整合和应用的手段。围绕专项业务领域，构建有层次全方位的视频信息化应用平台，实现公安内部

10、跨警种的匹配信息、检索信息、预测信息共享及协同应用。初步实现基于公安大数据的事前防范、事后处理为一体的综合应用体系，结合智能视频分析处理功能提高公安机关的业务智能，包括：特征提取、人车分离、特征比对、内容检索等功能，提高业务人员的工作效率；为案件流程管理、物证分析等提供有效手段，从日常事件管理到立案、侦查取证、分析案件、确定侦查方向、制定侦查方案、认定犯罪嫌疑人、破案，对这一系列业务流程及业务中所产生的相关物证、信息进行管理。在军事领域的应用：美国国防部目标是利用大数据将分析人员从任意语言文字资料中提取信息的能力提高100倍。美国中情局要求利用大数据将分析搜集数据的时间由63天缩短为27分钟。

11、2.群智感知群智感知随着技术的发展，智能手机和平板电脑等移动设备集成了越来越多的传感器，计算和感知能力也愈发强大在移动设备被广泛使用的背景下，群智感知开始成为移动计算领域的应用热点大量用户使用移动智能设备作为基本节点，通过蓝牙、无线网络和移动互联网等方式进行协作，分发感知任务分发，收集、利用感知数据，最终完成大规模的、复杂的社会感知任务群智感知对参与者的要求很低，用户并不需要相关的专业知识或技能，只需拥有一台移动的智能设备。2.群智感知群智感知案例：通过对智能交通系统中产生的海量视频数据、图像数据进行分析处理，监控分析重点车辆轨迹和现场态势，当出现异常活动时，能够及时做出异常行为判断，做到对重

12、要厂所的重点监控。此外通过对视频、图像等大数据的深度挖掘分析，能够给智能交通诱导及智能交通控制提供更为精确的数据分析支持，从而有效减少路面拥堵，使人们的出行更加便利快捷。（来源：李存华,孙志辉.GridOF：面向大规模数据集的高效离群点检测算法J.计算机研究与展,2013,09(11)）3.社交网络社交网络-公共预警公共预警在线社交网络大数据应用可以从以下方面帮助我们了解人的行为，以及掌握社会和经济活动的变化规律：（1）前期警告：通过检测用户使用电子设备及服务中出现的异常，在出现危机时可以更快速地应对。（2）实时监控：通过对用户当前行为、情感和意愿等方面的监控，可以为政策和方案的制定提供准确的

13、信息。（3）实时反馈：在实时监控的基础上，可以针对某些社会活动获得群体的反馈信息。三、市场营销领域三、市场营销领域大数据已经与在线营销交织在一起，其应用可以分为两大类：1.从线上到线下。配备了NFC近场通讯技术的智能手机和基于位置的签到正在成为营销人员的最新利器。他们将能跟踪商场人流，把在线零售的分析优化应用于线下。2.数据分析工具将更加容易使用（面向中小企业应用的大数据创业非常火爆），中小企业也许没有BI平台，但他们都有平板电脑和智能手机，移动版客户智能分析将会改变企业使用营销工具的方式。三、市场营销领域三、市场营销领域案例：某食品公司即将推出一种新蛋糕，需要做大量市场调查，传统模式是市场营

14、销部门组建“用户测试组”，让大家品尝这种新蛋糕，然后评价口感，但这种模式的主观性太强，测试组中的用户可能会因为某种原因而不讲实情；而通过社交数据信息收集的对某种产品的评价则相对客观，因为这些信息是用户在与自己社交网络上的好友交流时自然流露出来的。来源：百度文库-大数据的应用现状与展望四、实体生产领域四、实体生产领域1.提高医疗和研发2.优化机器和设备性能3.智能电网1.提高医疗和研发提高医疗和研发大数据分析的计算能力使我们能够在几分钟内解码整个DNA，并让我们可以找到新的治疗方法，同时更好地理解和预测疾病模式。就像所有人能够受益于智能手表和可穿戴设备产生的数据一样，大数据同样可以帮助病人更好地

15、治病。未来的临床实验将不会仅限于小样本，而是将服务于每个人。大数据技术已经被用来监视早产婴儿以及患病婴儿。通过记录和分析每次心跳以及呼吸模式，医生现在可以在任何身体不适症状出现之前预测24小时的情况。这样，医生就可以更早地救助患病婴儿。（来源：上方网-大数据分析应用最多的9个关键领域）2.优化机器和设备性能优化机器和设备性能大数据分析还可以让机器和设备变得更加智能和自主化。例如，大数据工具被用来运行谷歌的自驾车。丰田的普锐斯配有相机、GPS以及强大的计算机和传感器，来在道路上安全驾驶，而不需要人类的干预。大数据工具还可以用来优化智能电网。我们甚至可以使用大数据工具来优化计算机和数据仓库的性能。

16、（来源：上方网-大数据分析应用最多的9个关键领域）3.智能电网智能电网智能电网，是指将现代信息技术融入传统能源网络构成新的电网，通过用户的用电习惯等信息，优化电能的生产、供给和消耗，是大数据在电力系统上的应用智能电网可以解决电网规划、发电与用电的互动、间歇式可再生性能源接入问题。第三章第三章 大数据技术核心大数据技术核心目前广为接受的一种处理模型是Fayyad等人设计的多处理阶段模型，如图1.第三章第三章 大数据技术核心之大数据的关键技术大数据技术核心之大数据的关键技术一、大数据处理的三大关键技术：（1）GFS（2）MapReduce（3）Bigtable 迪莉娅.我国大数据产业发展研究J.科技进步与对策,2014,04:56-60一、大数据的关键技术一、大数据的关键技术（1）GFS(GoogleFileSystem)是Google公司开发的一个可扩展的分布式文件系统。一个GFS集群由一个主服务器(master)和大量的块服务器(chunkserver)构成，并允许多客户端(Client)访问。客户端在访问GFS时，首先访问Master节点，获取将要与之进行交互的ChunkServer