面向深度学习的遥感影像样例库建设.pptx

1、面向深度学习的遥感影像样例库建设,01,背景,解决方案-目标与任务,样例数据-设计、生产与管理,算法验证,02,03,04,结论与展望,05,提纲OUTLIN E,50年代,6080年代,902000年代,2006,20112016,人工智能兴起,提出图灵测试,进入萌芽时代,人工智能持续发展,浅层学习模型兴起,机 器 学 习 技 术 快 速 发 展多伦多大学教授Hinton开启,深度学习在学术和工业界应用,人工智能出现 新的浪潮,AlphaGo,今天,AlphaGo ZERO,“无师自通？”,1.1 自 然 影 像 机 器 识 别 技 术 进 展,深度学习模型层数多、参数多，需要更高的计算能

2、力,1.1 自 然 影 像 机 器 识 别 技 术 进 展,互联网数据的呈量级增长，满足了机器学习对数据样本的需求。,计 算 能 力 提 升 支 撑 了 机 器 学 习 的 发 互展联 网 数 据 的 增 长 使 大 样 本 成 为,猫,深层 卷积神经网络,人 工 智 能 对 影 像 的 解 译-分 类,在自然影像领域，深度学习在计算机视觉方向的研究工作，根据任可以分为分类、目标检测和要素分割三类；务 根据对象数量 可以分为单目标和多目标两种。,分 类 分 割,准确识别图片中的人脸信息，提供人脸属性识别、关键点定 位、人脸1：1比对、人脸1：N 识别、活体检测等能力,远程身份认证安防监控身份辨

3、识人脸支付人脸签到高铁、机场，你已经被识别过,分 类、分 割 识 别人脸识别得到实际应用基于深度学习的人脸识别方案，,面向自然影像的进展-I m a g e N e t 为代表的数据集极大地促进了机器视觉技术发展ImageNet数据集从互联网搜集1400多万幅图片，涵盖2万多个类别；其中有超过百万的图片有明确的类别标注和图像中物体位置标注。,两 大 支 撑 影 像 样 本/算 法 模 型,两 大 支 撑 影 像 样 本/算 法 模 型准确分类与分割需要优秀的算法模型（AlexNet，VGG，GoogleNet，ResNet FCN）同一模型的参数优化对结果有明显影响,Fully Convolu

4、tional Networks for semantic,引自：Long,J Segmentation,2010年开启基于ImageNet数据集的深度学习年度挑战赛，短短七年时间，识别对象物体的最高准确率从71.8%提升至97.3%，超过了人类的识别水平。成功训练一个深度网络需要大量已标注的训练样本准确分类、分割、识别研究对象需要优秀的算法模型,由于观测高度、角度、相机等方面的差异，自然目视影像的样例数据不能用在地表遥感影像解译领域,平视,俯视,1.2 面向地表遥感影像的可喜尝试-几个科学数据集1/,3,UC Merced_LandUse数据集（Yang and Newsam,2010）UC、

5、美国地质勘探局从美国波士顿等19个不同城市地区大量卫星影像中通过人工收集和提取,影像的分辨率为0.3米，大小为300M左右。包含21个不同的土地利用类型，分别 为农业，飞机，棒球场地，海滩，建筑物，丛林，密集住宅，森林，高速公路，高尔夫场，港口，交叉口，中密度住宅，立交桥，停车场，河流，跑道，稀疏住 宅，储罐和网球场等每个类由100个具有256256像素尺寸的图像组成,SAT-4和SAT-6数据集（Basu et al.,2015）Louisiana State University，NASA从NAIP（National Agriculture Imagery Program）收集加利福尼亚州

6、的两个区域农业遥感影像,SAT-4由裸露地、草地、林地、其他类4个类别，500,000张影像；SAT-6由裸露地、草地、林地、道路、建筑物、水体6个类别，405,000张影像；影像尺寸的大小均为2828,1.2 面向地表遥感影像的可喜尝试-几个科学数据集2/,3,1.2 面向地表遥感影像的可喜尝试-几个科学数据集3/,RSI-CB数据集3（Haifeng Li et al.,2017）(remote sensing image classification benchmark)中南大学和武汉大学团队基于众包数据（OpenStreetMap）以及 bing 地图和 google 地图的影像采集而

7、成其影像分辨率在0.22米至3 米之间，数据集采用两种不同的影像尺寸，分别为256 256 和128128，并由此命名为RSI-CB256 和RSI-CB128。RSI-CB256 35个子类别，超过24,000张图像RSI-CB128 45个子类别，超过36,000张图像在中国土地利用分类标准的基础上采用分级分类体系，有6大类：农业用地、建设用地及 设施、交通及设施、水体及水资源保护设施、林地、其他土地利用,1.3 小 结,SAT-44500,000,2828 人工收集和提取,NAIP 加利福尼亚州两个区域农业,当前，SAT采-6 用深6 度学40习5,0模00 型和遥大感样影像例库开展自然

8、影像的对象识别获得具体 应用RS；I-CB对128于地45表遥12感8影128像的3识6,0别00 也有基一于众些包可数喜据（的Op尝enS试tree。tM但ap）很多应用受限,手工选取或标注于样RS例I-CB分256类和35样例25库6规256模等2因4,0素00，制以约及着bing深地图度和学go习ogle在地图遥的感影影像 像解译领域 广泛应用应用。场景：主要面向分类和目标识别应用需求，尚不能支撑遥感影像实例分割需求,2.1 我 们 的 方 案,2.1 我 们 的 方 案面向深度学习算法和模型，采用基础测绘、地理国情普查 和监测数据成果，开展地表影像大数据样例生产。构建样例库，成为时空大

9、数据与云平台的重要科学数据集。在此样例库基础上，采用深度学习算法建立模型，开展对 象识别与分割工作。,航空摄影获取影像,基 础 测 绘、普 查 成 果 是 可 靠 的 样 例 数人工据目视解译影像采集要素地类的标识由现场调绘完成,外业核查,质检,建库,2.1 我 们 的 方 案,数据的生产具有完整的质量控制体系海量的数据积累,江苏省测绘地理信息局生产更新4期1:1万省级基础测绘数据2015年地理国情普查数据2016/17地理国情监测数据。,2.2 目 标 与 任 务,目标在充分分析深度学习算法模型对遥感影像样例数据需求基础上，结合目前已有的基础测绘和地理国情普查、监测数据成果，研究面向深度学习

10、的遥感影像样例数据生产方法和工具，构建包含时空信息的、多数据源、多尺度的江苏省遥感影像样例数据并建立样例库，在此基础上，开展地表对象识别与分割，为深度学习在测绘地理信息行业深度应用打下 坚实基础。,2.2 目 标 与 任 务,基于以上目标将项目分解为以下几个主要任务：调研目前已有深度学习算法在影像解译领域的应用方向和算法对样例的需求，制定样例数据规范或标准；分析已有的基础测绘数据、地理国情普查与监测数据采集标准、采集方式，制定样 例数据分类体系和样例数据生产方法；基于样例数据标准和生产方法，开发样例数据生产工具；利用工具生产样例数据，形成样例数据库；开发自动解译居民地（房屋面）的深度学习影像解

11、译算法，基于样例库和解译算法，自动解译2017年遥感卫星影像。,3.1 样 例 设 计样例大小样例规模样例类别样例类简平衡,3.1 样 例 设 计,样例大小不同的算法实现会对图片大小有要求，因为每个模型 的实现方式并不固定，而且考虑到深度学习从影像中 提取特征是从低层到高层，分别对应边缘特征、局部 特征、整体特征，以及在输入模型之前可以对图片进 行任意预处理等因素，我们认为：样例需要能够体现 地物的全部特征，大小可以不固定。,3.1 样 例 设 计,样例规模吴恩达曾经说过：做AI研究就像造宇宙飞船，除了充足的燃料之外，强劲的 引擎也是必不可少的。假如燃料不足，则飞船就无法进入预定轨道。而引擎

12、不够强劲，飞船甚至不能升空。类比于AI，深度学习模型就好像引擎，海量 的训练数据就好像燃料，这两者对于AI而言同样缺一不可。所以，样例数据越多越好，规模越大越好。,样例类别样例类别和算法最终要解决的问题相关，样例类别选取应以需求为导向，综合考虑已有数据、生产难度和算法实现可能性三个因素。样例类间数量瑞典皇家理工学院的Paulina Hensman研究过样例类别间数量不平衡 会对卷积神经网络的分类结果产生明显影响，所以数据类的样本数量应尽 量平衡，不能差距太大。,3.1 样 例 设 计,3.2 样 例 生 产 数 据 分 析基础测绘数据与国情数据对比分析,3.2 样 例 生 产 数 据 分 析,

13、基础测绘数据与国情数据对比分析,地表,基础测绘中存在大量具有人文属性的要,管线,素分类，从影像上分辨不出的要素，例,8,9,基础测绘数据和地理国情数据分类上存 在交叉，需要做出选取。,1、基4 础测交绘通 和铁地路与理道国路 情数据，是良好的样例生产数据源。52、不67,是所境有界与的政基区 础测境界绘与和政区地（理扩展国）情矢如医量院数。据还有，点都、线适要于素生怎样产生样产例样例数据。,地貌地形等问题，需要根据分析选择。植被与土质 需要选择性使用、制定不同策略种植土地、林草覆盖,3.3 小 结,样例大小样例规模样例类别,样例类间平衡,样例体现地物的全部特征，大小不固 定样例数据越多越好，规

14、模越大越好。1200万,样例类别选择要综合考虑已有数据、生产难度和算法实现可行 性8个大类，66个二级类，123类（三级）,尽量平衡,3.4 样 例 管 理-样 例 库 功 能 模 块,样例数据管理系统面向样例使用 人员提供样例查询、下载功能，,样例生产人员提供新样例生产、清洗功能，管理人员提供统计、分析功能。,面向深度学习的遥感影像样例库,映样射本文查件询管理,新 增 新 时 期 样 本,新 增 旧 时 期 样 本,关于模型构建上载使用管理,3.4 样 例 管 理-样 例 库 功 能 模 块,我 们 提 供 的 样 例 数 据 支 撑 了2017年BDCI大 赛,建筑物识别与分割,本项目中使

15、用到的语义分割算法的主 干网络是U-Net网络。它是一种编码器-解码器结构,编码器逐渐 减少池化层的空间维度，解码器逐步修复 物体的细节和空间维度。编码器和解码器 之间通常存在快捷连接，因此能帮助解码 器更好地修复目标的细节。因为结构上的 对称性所以形如大写的英文字母U，故称 为U-Net网络。,引自：Olaf.R U-Net:Convolutional Networks for Biomedical Image Segmentation,分 类 与 分 割 结 果城 市 地 区 2 7 平 方 公 里时 间 1 1 秒,分 类 与 分 割 结 果集 镇 地 区 2 7 平 方 公 里时 间

16、1 3 秒,变化检测,2012-2017年同一地区居民地影像分析结果对比该区域总面积28.4平方公里2012年居民地占比17.9%2014年居民地占比20.9%2016年居民地占比17.6%2017年居民地占比17.3%,2014年0.3米航片解译,VS十二五（2013年）基 础测绘,两者面积相差2.9%,意义在哪里？,快速变化率获取,在一个影像周期内，快速获得同一对象的变化率，如建筑物的变化率以及变在哪里？江苏省第一次地理国情普查公报：建筑物占比：9.6%直接在第一线参与第一次地理国情普查人员约300人，历时1年半时间。今天是多少？4000幅*1分钟/幅 3天 N数据产品,自然资源变化率发 现,山水林田湖草海,未来测绘 工作的 新 机遇 与新 挑 战？,获得矢量,快速更新地理信息对象几何化-数据,总结与展望,摸索出一套基于测绘已有数据生产面向深度学习的遥感影像样例数据的方法，构 建了包含8 个大类、66 个二级类、1 2 3 个三级类的遥感影像样例分类体系。尝试以建筑物为研究对象，开展建筑物识别模型构建，初步成果令人鼓舞。遥感影像样例数据将作为智慧江苏时空大数据云平台的一个特色数据集