上海水产大学.docx
《上海水产大学.docx》由会员分享，可在线阅读，更多相关《上海水产大学.docx（12页珍藏版）》请在冰豆网上搜索。
上海水产大学
上海海洋大学
硕士研究生毕业论文工作计划
（开题报告）
课题名称：
海洋环境地理大数据管理与挖掘分析
姓名：
郭雪
学号：
M150305549
专业：
海洋科学
研究方向：
海洋GIS与大数据分析
所在学院：
海洋科学学院
导师姓名：
姜晓轶
起止日期：
填写日期：
研究生院制表
说明
1、本计划用钢笔填写（或打印），字迹要工整清晰；
2、本计划上交两份，研究生院、学院各一份。
3、本计划须在第三学期内完成。
一、关于制订毕业论文工作计划的简要说明
1．立论依据
1.1课题的研究目的和意义
海洋是关系国家领土、海洋权益和军事对抗的战略空间和主题，其具有重要的政治、经济和军事意义。
海洋数据蕴含着巨大的价值，为人类更深入地感知、认识和控制物理世界提供了前所未有的丰富信息有效地组织管理海洋数据信息，实现观测数据共享，对海洋环境科学研究和应用具有重要的意义和价值。
当今科技，信息技术尤其是云计算、物联网、信息获取技术、社交网络等新兴服务的快速发展，促使了各行业数据量的急剧增长，行业大数据已经成为目前研究的热点。
而海洋环境观测数据与大数据的许多主要特征相一致。
在海洋环境观测数据共享应用中引入大数据的理念不止是为了更好地组织管理庞大的数据信息，其主要意义还在于更大地挖掘其潜在的应用价值。
1.2国内外研究现状及分析：
（1）国内研究现状
在大数据研究领域，大数据技术在我国受到高度重视，国务院于2015年8月31日印发了《促进大数据发展行动纲要》，将大数据技术发展提升为国家战略。
在海洋监测领域，我国的海洋环境监测体系已基本形成，出现了一些海洋集成应用系统，比如“863船载海洋生态环境现场监测集成示范系统（2001AA635010）”、“航空遥感多传感器集成与应用技术系统（2001AA633080）”等。
这些系统主要是完成了监测手段的系统集成,而对于综合的海洋环境监测系统和数据的集成考虑较少，特别是针对海量监测数据的集成的技术方法并未考虑。
在元数据交互管理及知识管理方面，熊晶等作了本体技术在海洋生态知识管理方面的应用和研究。
在数据质量控制方面，宗威等从流程、管理、技术等角度探讨了大数据的质量管理，陈括等人提出“基于块嵌套循环的海洋大数据质量检验方案选择算法”。
目前我国质量控制规范：
数据处理与分析质量控制（GB17378.2-2007）与《海洋监测质量保证手册》。
在海洋数据挖掘方面，山东大学对海洋监测数据进行实时采集及聚类分析的研究（李秀桥等，2007）；中国海洋大学利用数据挖掘技术对遥感影像海岸带地物进行了分类方法研究（王常颖，2009）；中国海洋大学基于黄河三角洲海洋地理信息数据仓库进行了数据挖掘与可视化技术研究（赵丹，2005）；山东大学对数据挖掘技术在海洋环境在线监测及赤潮灾害智能预警系统中的应用进行了研究（宁勇，2008）。
（2）国外研究现状
在大数据研究领域，面对海量数据的挑战，美国气象公司开始利用大数据分析方法向用户提供气象预报，美国海洋和大气管理局也开始利用大数据技术对海洋信息进行深度挖掘，并计划在2023年实现基于大数据的海洋灾害业务化预报。
在海洋监测领域，欧洲海洋信息系统（EuropeanMarineInformationSystem，EUMIS）实现了海洋和卫星观测、现场观测、模拟数据的搜索、下载，并集成了这些数据；美国国家海洋和大气管理局（NationalOceanicandAtmosphericAdministration，NOAA）综合海洋观测系统（TheU.S.IntegratedOceanObservingSystem，IOOS）也实现了数据整合框架（DataintegrationFramework，DIF），但此框架只是一个试点项目，集成的数据和适用的用户均有限，2014年2月24日，NOAA宣布了利用RFI（RequestforInformation）系统实施大数据领域放权，此系统得到信息技术产业理事会同意，这标志着NOAA也走向了大数据管理的道路。
在元数据交互管理及知识管理方面，欧洲海洋信息系统（EUMIS）使用基于ontology注册和存储的元数据交互项目MMIORR来识别和访问诸如近实时、预测和历史海洋观测等分布式数据，此外MMI还采用了观测数据模型（ODM2），在数据质量控制方面，BenjaminT.Hazen,ChristopherA.Boone等人提出了在数据科学、数据分析和大数据的供应链管理（SCM）中监测和控制数据质量的方法，提出了基于统计的过程控制（SPC）的多维度数据质量控制方法，此外还从交叉学科的角度探讨了大数据环境下，数据质量的控制的焦点。
在海洋数据挖掘方面，美国密西西比州立大学计算机科学系BruceWooley等以海洋数据作为数据源，进行数据挖掘技术的研究，采用分类和聚类技术，进行有关海洋数据的图像处理（B.Wooleyetal.,2000）。
美国马萨诸塞技术学院海洋工程系DaGuo等研究了针对海洋数据的特征抽取和可视化技术，用以检测海洋中的流动、旋涡等（D.Guoetal.,2004）。
美国北达科他州立大学计算机科学系QinDing等提出一种在遥感图像中挖掘关联规则的方法，提出了一种相关的数据结构P-Tree及基于该结构的关联规则挖掘算法P-ARM（Q.Dingetal.,2002）。
日本东京国家情报学院提出应用数据挖掘技术进行台风预测预报的方法，应用主元素分析、基于案例的学习、基于相似性的图像检索、可视化等数据挖掘技术进行台风图像分析（Kitamoto,2001）；该学者还提出了采用时空聚类技术进行台风图像序列转换的建模方法，从而获取台风云模式的序列结构（Kitamoto,2002）；该学者还提出采用基于KNN的分类技术分析台风云模式的方法（Kitamoto,2002）。
美国明尼苏达大学计算机科学与工程系研究应用数据挖掘技术去发现海洋气候规律，采用聚类分析方法分析海洋中某处的温度与压力随时间变化的规律（M.Steinbachetal.,2002）；在此基础上，该系的ShyamBoriah等提出了应用上述技术，通过海洋数据预测陆地温度的方法（S.Boriah,2004）。
美国加利福尼亚大学Scripps海洋学院Karen等提出两种应用于海洋信息环境的支持异构数据和学科间协作的策略，结合海洋学、信息科学和社会学知识，建立一种迅速响应的、自适应的、灵活的、应用于海洋科学的信息系统结构，全面管理海洋数据（K.Bakeretal.,2005）。
1.3主要的参考文献
[1]李晓婷，郑沛楠，王建丰，滕军.常用海洋数据资料简介[J].海洋预报,2010,27（5）:
81-89.
[2]宋坤.大数据理念在海洋环境观测数据共享中的应用研究[J].海洋开发与管理,2015（6）:
43-45.
[3]PBarclay.MakingsenseofBigData[J].ProceedingsoftheNationalAcademyofSciencesoftheUnitedStatesofAmerica,2013,1（45）:
1-2.
[4]张引，陈敏，廖小飞.大数据应用的现状与展望[J].计算机研究与发展,2013（50）:
216-233.
[5]GantzJ,ReinselD.Extractingvaluefromchaos[J].IDCiView,2011
（1）:
1-12.
[6]AprilReeve.ManagingDatainMotionDataIntegrationBestPracticeTechniquesandTechnologies[M].1.SanFrancisco:
MorganKaufmannPublishers,2013:
142-156.
[7]徐述.基于大数据的数据挖掘研究[J].科技世界,2014（32）:
86.
[8]陶雪娇，胡晓峰，刘洋.大数据研究综述[J].系统仿真学报,2013,25（8）:
142-146.
[9]王芳，朱跃华.海洋地理信息系统研究进展[J].科技导报,2007,25（23）:
69-73.
[10]魏红宇，张峰，李四海.海洋数据挖掘技术应用研究[J].海洋通报,2008,27（6）:
82-87.
[11]黄冬梅，赵丹枫，魏立斐，杜艳玲，王振华.大数据背景下海洋数据管理的挑战与对策[J].计算机科学,2016,43（6）:
17-23.
[12]孙朝随，刘青，胡桐，郭忠文.海洋大数据处理软件体系结构设计[J].中国海洋大学学报,2015,44
（2）:
134-137.
[13]葛微等.HiBase:
一种基于分层式索引的高效HBase查询技术与系统[J].计算机学报,2016,39
（1）:
140-153.
[14]冯汉超，周凯东.分布式系统下大数据存储结构优化研究[J].河北工程大学学报,2014,31（4）:
69-73.
[15]孟婷婷，何利力.浅谈分析大数据的工具——MapReduce[J].工业控制计算机,2015,28（4）:
97-97.
[16]HartJ,KamberM.DataMiningConceptandTechniques[M].1.MorganKaufmarmPublishers,2001.
[17]WooleyB,BridgesS,HodgesJeta.ScalingtheDataMiningStepinKnowledgeDiscoveryUsingOceanographicData[M].1.IEA/AIE,2000:
85-92.
[18]GuoD,EvangelinosC,PatrikalakisN.FlowFeatureExtractioninOceanographicVisualization[M].1.ComputerGraphicsInternational,2004:
162-173.
[19]DingQ,PerrizoW.AssociationRuleMiningonRemotelySensedImagesUsingP-tree[M].1.PAKDD,2002:
66-79.
[20]夏登文，石绥祥，于戈，鲍玉斌，王大玲.海洋数据仓库及海洋数据挖掘技术方法研究[J].海洋通报,2005,24（3）:
60-65.
[21]董贵山，王正，刘振钧.基于大数据的数字海洋系统及安全需求分析[J].通信技术,2015,48（5）:
573-578.
[22]邢妍妍，周悦，岳林蓓.数据挖掘及其在海洋工程中的研究与应用[J].科技广场,2014,48
（2）:
42-44.
[23]侯文峰.中国“数字海洋”发展的基本构想[J].海洋通报,1999:
247.248.
[24]李德仁,龚健雅,邵振峰，等.从数字地球到智慧地球[J].武汉大学学报（信息科学版2010:
35
（2）.
[25]Core．A．TheDigitalEarth：
understandingourplaceinthe21stcentury[J].TheAustralianSurveyor,1998,43
（2）：
89-91．
[26]张新,刘健,等.中国“数字海洋”原型系统构建和运行的基础研究[J].海洋学报,2010:
P751.
[27]林绍花.我国海洋信息技术与服务工作发展构想[J].海洋信息,2002
（1）:
8-10.
[28]石绥祥,夏登文,刘振民,等.海洋信息共享关键技术研究[J].资源科学,2001
（1）:
64-68.
[29]DingQPerrizoW.AssociationRuleMiningonRemotelySensedImagesUsingP-tree[M].PAKDD2002：
66-79．
[30]苏奋振,杜云燕,裴相斌,等.中国数字海洋构建基准和关键技术[J].地球信息科学,2006,8
（1）：
12-15.
[31]夏登文,石绥祥,于戈等.海洋数据仓库及数据挖掘技术方法研究[J].海洋通报,2005:
TP392.
[32]KitamotoA．DataMiningforTyphoonImageCollection[M].MDM／KDD2001：
68—77．
[33]KitamotoA．EvolutionMap：
ModelingStateTransitionofTyphoonImageSequencesbySpatio-TemporalClustering[M].DiscoveryScience.2002:
283—290．
[34]KitamotoA.TyphoonAnalysisandDataMiningwithKernelMethods[M].SVM2002：
237．248.
[35]赵丽宁,李一凡,赵德鹏．数字海洋空间数据库的构建[J].大连海事大学报,2002.28
（1）：
34—37.
[36]白福义,罗晓玲.浅谈数字海洋技术支撑体系[J].气象水文海洋仪器,2008.3
（1）:
7-11.
[37]何广顺,李四海.构建“数字海洋”空间信息数据库[J].海洋信息,2003
（1）:
1-4.
[38]魏红宇,张峰,李四海.海洋数据挖掘技术应用研究[J].海洋通报,2009,27（6）:
82-87.
[39]DingQ,PerrizoW.AssociationRuleMiningonRemotelySensedImagesUsingP-tree[J].PAKDD2002:
66-79.
[40]GuoD,EvangelionsC,PatriKalakisN,2004,FlowFeatureExtractioninOceanographicVisualization[J].ComputerGraphicsInternation2004:
162-173.
[41]CartonJamesA,etal.2000.ASimpleOceanDataAssimilationAnalysisoftheGlobalUpperOcean1950-95.PartI:
Methodology.JournalofPhysicalOceanography,30:
294-309
[42]CartonJamesA,etal.2000.ASimpleOceanDataAssimilationAnalysisoftheGlobalUpperOcean1950-95.PartII:
Results.JournalofPhysicalOceanography,30:
311-326
2．课题来源、研究内容和拟解决的关键问题
2.1课题来源
本项研究内容来源于国家重点研发计划“海洋环境安全保障”重点专项“海洋大数据分析预报技术研发”项目，课题编号为“2016YFC1401902”，和“海上危化品监测预警与防控技术集成与示范”项目，课题编号为“2016YFC1402407”，主要解决海洋环境地理大数据的可视化分析技术的研究工作以及基于大数据的海洋环境地理数据的挖掘与分析等问题的研究工作。
2.2研究内容
根据大数据的特点及其研究方法对目前的海洋环境地理数据进行收集、整理并对其进行存储、发布和共享，结合适应海洋数据的各种算法对海洋环境地理大数据进行分析挖掘，实时掌握海洋环境的动态变化，并为信息共享服务平台及vme系统提供数据基础。
（1）对现有的海洋环境地理数据资源进行梳理，同时对球体平台后台数据进行组织，海洋环境地理数据除了栅格矢量数据以外，更多的是以数值和文字的形式存在且都与地理位置（坐标形式）有关，因此在某种程度上这些数据都属于空间数据的范畴，所以可以通过一定的处理编辑转换成空间数据，满足数据及时更新及应用服务的需要。
（2）运用各种适合海洋数据研究的算法，对各种海洋环境地理数据如不同分辨率的遥感影像数据、地形数据、业务化监测数据以及各种专题数据等数据进行挖掘分析。
例如统计全球站位数据，包括GTSPP、WOD以及IMMA等数据，分析全球站位数据的分布情况以及时间变化，对比国内外站位的分布范围以及密度大小，分析国内外站位分布的规律以及差异，对国外发达海洋国家的站位分布情况进行研究分析，寻找我国站位分布的不足之处，并提出解决办法。
（3）处理全球不同精度、不同范围的卫星遥感影像数据以及地形数据，根据经验值设置不同影像、地形数据的分辨率，支持多格式发布，从而进行影像地形一体化研究，进行数据挖掘分析，并做到对多源影像进行对比分析。
（4）根据不同类型的海洋地理环境数据的特点建立相应的数据库，将遥感影像数据、地形数据、地理基础数据、海图数据等多种形式的数据进行入库处理，为信息共享服务平台建设以及vme提供数据基础，实现数据的发布与共享。
（5）在系统开发的过程中，为了提高影像的实时调度和显示速度，需要对原始的影像进行分层重采样生成金字塔，根据不同显示尺度的要求调用不同分辨率的影像，从而达到快速显示漫游的目的。
2.3拟解决的关键问题
（1）针对不同来源的海洋地理环境数据的质量控制问题。
（2）遥感影像数据的影像金字塔模型构建问题。
3．研究基础
3.1与本项目有关的研究工作积累和已取得的工作成绩
随着国家对海洋科学研究重视程度的提高，国家公益性专项、“863”计划等的支持创建了许多海洋工程项目，对海洋生物、化学、物理等各领域进行了探究，同时也产生了许多的数据资料。
我国海洋环境监测工作的深入开展，监测工作从最初的单一特征性参数调查，发展至今形成了从监测任务、监测区域、监测站位、监测参数等方面业务化和延续性的监测调查，涵盖海洋环境状况、海洋环境风险、海洋环境监管和公益服务等监测类型，形成包括海洋生物多样性、海水、沉积物、赤潮、海洋溢油、陆源入海、海水浴场等20余项监测任务，以及海水水质、水文气象、沉积物质量、生物质量、浮游植物、浮游动物等40余种监测要素的业务化监测体系。
1999年，我国就首次提出“数字海洋”的思想。
2003年，正式开展了我国近海“数字海洋”信息基础框架工程项目并已在近年成功验收。
同时针对“数字海洋”我国各个涉海单位及相关科研人员都进行了相关的研究工作，本项目正是基于“数字海洋”基础框架下，对海洋空间信息构建新的共享系统。
3.2已具备的实验条件、尚缺少的实验条件和拟解决的途径
已具备的实验条件：
软件方面，本项目是基于Skyline系列软件平台、SQLServer以及ESRI公司的系列软件，随着传统的GIS向三维可视化的不断发展，目前Skyline系列的软件从数据生产、编辑从数据生产、编辑、互联网发布提供了成熟的解决方案，提供用户一站式服务，极大有利于海洋地理环境数据的处理，并开放了所有的API，使用户可以根据自己的需求定制功能，建立个性化三维地理信息系统。
硬件方面，拥有大量高配置的服务器，满足系统构建的基本要求。
数据方面，前期“数字海洋”基础框架构建项目建立了完善的数据仓库，整合了各个涉海部门相关海洋数据。
尚缺少的实验条件：
暂无
拟解决的途径：
暂无
4．实施方案
（拟采取的研究方法或技术路线）
（1）查阅相关课题的文献资料，总结国内外相关研究的经验，探索相关研究的前沿，确定本课题的具体研究方向。
（2）搜集相关的海洋环境地理数据，包括不同分辨率的遥感影像数据和地形数据、海洋台站数据、近海海洋观测数据、业务化监测数据、海洋基础地理数据以及各种专题数据等不同类型的数据。
通过深度学习、关联分析、多元回归等智能分析预测算法，对海量海洋环境地理数据进行提取转换、聚类分类和关联分析，从更深层次认识各物理量间的关联性，发现数据间有价值的规则和知识。
（3）运用SQLServer对海洋基础地理数据、遥感影像数据和地形数据建立地理信息应用时空数据库，数据库建设包含矢量数据库建设、遥感影像数据库建设、地形数据库建设、海图数据库建设地图图集数据库建设和海洋场景三维模型数据库建设等。
矢量数据库建设采用空间数据库GeoDatabase和shape文件相结合的方式建立。
遥感影像数据库和地形数据库采用“清单+数据文件+元数据文件”的方式进行管理。
海图数据库、地图图集数据库和海洋场景三维模型数据库采用“清单+数据文件”的方式进行管理。
（4）数据入库，将搜集的海洋空间数据，导入数据库中。
（5）运用ESRI系例如软件及skyline软件对收集到的遥感影像数据及地形数据进行处理，去除异常数据，建立影像金字塔模型，对遥感影像进行逻辑上的剪裁，如果同一范围区域的同分影像文件太多，则先进行拼接再进行剪裁，对于不同的影像进行拼接处理，然后设置影像分辨率，发布到三维球体上。
对于非遥感影像数据、地形数据，根据需求编写处理工具，对数据进行处理，以达到预期的数据。
（6）对处理后的数据，对比多源遥感影像数据，并且根据数据的不同范围，不同年份，进行挖掘分析，得到科学的结论。
5．可行性分析和预期
5.1可行性分析
（1）查阅了国内外有关海洋环境地理数据的挖掘与分析、遥感影像金字塔构建模型技术以及大数据在各个领域应用的大量文献，掌握了国内外相关内容研究的动态和经验。
（2）数据挖掘技术出现以来，经过不断的发展和成熟，目前不仅理论研究取得了可观的学术成果，而且已经被应用到各个领域并且取得了相当的效益，虽然将其应用于海洋数据管理和海洋信息处理更是近年来才开展的工作，但是目前已有国内外多家相关研究机构和大专院校开展了与海洋数据管理和海洋信息处理相关的理论和技术研究，取得了一定的理论研究成果，并开发了一些实用系统。
5.2预期目标
根据现有的海洋环境地理数据，最大限度的挖掘其中的有用信息，并加以正确的分析利用，为海洋环境事业的发展提供正确的科学依据。
同时建立相应的影像金字塔模型，达到用户在浏览三维球体的时候能够快速显示漫游的目的。
（续前表）
二、进度安排
序号
阶段名称及内容
起止日期
1
收集文献资料，初步了解研究概况并明确研究方法及步骤
2016年9月~2016年12月
2
收集海洋地理环境数据并对相关数据进行预处理
2017年1月~2017年2月
3
研究适合于海洋数据的算法，对处理后的数据进行挖掘分析
2017年3月~2017年4月
4
数据入库
2017年5月~2017年9月
5
影像金字塔模型建立
2017年10月~2017年11月
6
系统测试并发布
2017年11月~2017年12月
7
论文撰写
2017年12月~2018年2月
论文预计完成时间：
2018年2月20日
三、
来源与开支预算
经费来源：
国家重点研发计划“海洋环境安全保障”重点专项“海洋大数据分析预报技术研发”项目，课题编号为“2016YFC1401902”，和“海上危化品监测预警与防控技术集成与示范”项目，课题编号为“2016YFC1402407”。
开支预算
开支项目
金额（元）
资料购置费
升级会员 