农业大数据平台建设项目建议方案.docx

1、农业大数据平台建设项目建议方案农业大数据平台建设项目建议方案*2019年10月1概述相关政策*农业厅认真贯彻落实国务院“互联网+”行动、促进大数据发展行动纲要精神，按照“关于加快转变农业发展方式的意见”要求，依照*大数据与云计算产业示范工程实施方案的规划，以农业信息互联互通为目标，以“陕西农业网”为平台，以数据库建设为重点，遵循现行统计基本方法，建立监测科学、分析准确、体系完整的农业监测分析系统，实现农业统计分析的规范化、制度化。拟定基于“农业信息监测分析”、“农业电子商务”、“农业科技推广”、“农业执法管理”、“农产品质量安全”、“农村土地确权”、“农业信息服务”为主要内容的*农业大数据建设

2、方案。为了不断推进农业经济的优化，实现可持续的产业发展和区域产业结构优化，进一步推动智慧农业的建设进程，需要全面及时掌握农业的发展动态，这需要依托农业大数据及相关大数据分析处理技术，建设农业监测分析大数据平台来支撑。在技术上，该平台应充分运用先进数据管理技术和数据仓库技术，建设具有高效性，先进性，开放性的商务智能项目。结构上，该平台应具有良好的可配置性，满足资源、业务流程的变化。同时随着业务的发展，业务量的增加，系统也应该具有良好的应用及性能的扩展。农业大数据大数据是以容量大、类型多、存取速度快、应用价值高为主要特征的数据集合，正快速发展为对数量巨大、来源分散、格式多样的数据进行采集、存储和关

3、联分析，从中发现新知识、创造新价值、提升新能力的新一代信息技术和服务业态。信息技术与经济社会的交汇融合引发了数据迅猛增长，数据已成为国家基础性战略资源，大数据正日益对全球生产、流通、分配、消费活动以及经济运行机制、社会生活方式和国家治理能力产生重要影响。农业大数据是融合了农业地域性、季节性、多样性、周期性等自身特征后产生的来源广泛、类型多样、结构复杂、具有潜在价值，并难以应用通常方法处理和分析的数据集合。它保留了大数据自身具有的规模巨大（volume）、类型多样（variety）、价值密度低（value）、处理速度快（velocity）、精确度高（veracity）和复杂度高（complexi

4、ty）等基本特征，并使农业内部的信息流得到了延展和深化。农业大数据是大数据理念、技术和方法在农业的实践。农业大数据涉及到耕地、播种、施肥、杀虫、收割、存储、育种等各环节，是跨行业、跨专业、跨业务的数据分析与挖掘，以及数据可视化。农业大数据由结构化数据和非结构化构成，随着农业的发展建设和物联网的应用，非结构化数据呈现出快速增长的势头，其数量将大大超过结构化数据。农业大数据是生产到流通的农业信息集合,能为政府及涉农部门提供数据共享和产业指导,帮助农户进行生产管理及政农信息互通,为消费端提供原产地信息及认证溯源。（1） 从领域来看，以农业领域为核心（涵盖种植业、林业、畜牧业等子行业），逐步拓展到相关

5、上下游产业（饲料生产，化肥生产，农机生产，屠宰业，肉类加工业等），并整合宏观经济背景的数据，包括统计数据、进出口数据、价格数据、生产数据、乃至气象数据等。（2）从专业性来看，应分步实施，首先是构建农业领域的专业数据资源，其次应逐步有序规划专业的子领域数据资源，例如针对畜品种的生猪、肉鸡、蛋鸡、肉牛、奶牛、肉羊等专业监测数据。（3）从地域来看，以国内区域数据为核心，借鉴国际农业数据作为有效参考；不仅包括全国层面数据，还应涵盖省市数据，甚至地市级数据，为精准区域研究提供基础。（4）从粒度来看，不仅应包括统计数据，还包括涉农经济主体的基本信息、投资信息、股东信息、专利信息、进出口信息、招聘信息、媒体

6、信息、GIS坐标信息等。商业化农业生产十分复杂，涉及生物学、气象和人类活动。近年，种植者迅速采用新的精准农业技术。利用北斗/GPS和其他技术，生产者可以精确地追踪不同田地的产出，操纵和控制设备，监测田地状况，管理投入品，大幅提高生产率和利润。同时，数据迅速累积，变得数量庞大且错综复杂，只能使用计算机软件进行分析。数据本身无法创造见解，需要通过分析和咨询服务来帮助农民洞悉数据。以机器学习为核心的软件应用在与数据、设备和人类互动时变得越来越智能化和定制化。通过学习，它们能提供以前没有开发过的机遇，帮助我们在农事方面做出更明智的决策。农业大数据平台农业大数据平台是将遥感、地理信息系统、全球定位系统、

7、计算机、自动化、通信和网络等技术与地理学、农业、生态学、植物生理学、土壤学等基础学科紧密地结合起来，形成一个包括对农作物、土地、土壤从宏观与微观的监测，农作物生长发育状况及其环境要素的现状进行定期的信息获取以及动态分析和诊断预测，耕作措施和管理方案在内的信息系统。将传统的农业生产管理提高到一个以快速调查和监测、适时诊断和分析、高效决策和管理为标志的全新的与信息时代相适应的现代化农业的新阶段。农业大数据平台是以粮、畜、果、菜、茶五大产业为重点，对生产、加工、储运、销售全程产业链进行监测，并开发农业信息监测分析与预警模型，形成大数据统计分析与专家会商相结合的农业监测预警长效机制，为行政决策、精准指

8、导等提供实时决策信息。农业大数据平台是结合省级、地市级和县级农业管理单位在农业管理、农村管理等方面的需求，设计的集信息采集、发布、处理、存储、开发应用为一体的综合应用系统，为农业决策部门、管理部门、行业协会、普通农户和有关机构提供农业资源管理与决策支持手段，为社会提供全方位的农业信息服务，从整体上提高农业工作的科学化、规范化水平。遥感技术可以客观、准确、及时地提供作物生态环境和作物生长的各种信息，它是精确农业获得田间数据的重要来源。在不同资源条件对发展农业生产的适宜性之间常常出现互不一致的矛盾,采用遥感技术可把各项资源条件的不尽一致的适宜性进行空间分析,便于集中反映出各因素适宜性的空间组台,从

9、而因地制宜地为指导农业生产提供科学依据,提高资源可持续利用的效率。农业结构调整中,农业区划必须根据客观规律,特别是地域分异规律的要求,阐明自然条件(地貌、土壤、气候、植被、动物、水文、地质等)发生、发展和分布的规律;阐明社会经济条件(人口、劳动力、技术、收入分配、地理位置等)发展、变化和分布规律,查明和评价这些农业生产条件中的资源数量、质量和空间分布对农业生产的影响,研究根据地域生产综合体内的相似性及其潜力如何开发、利用、保护,提出发展方向、合理结构、决策性指标和战略性措施,从而为农业规划提供科学依据和论证。分区划片和形成合理的农业生产结构和布局更需要强大的空间分析技术和稳定的空间数据信息来支

10、持。2建设的可行性及需要解决的关键技术34建设的可行性1.2.1（1）基础设施已具备随着我国信息化建设的推进， 互联网基础设施的建设取得了明显成果，许多领域都已处于世界先进水平，甚至超越了发达经济体。 互联网基础设施直接决定着经济活动的效率和经济效益，同时也影响着每个经济体的投资环境。 互联网基础设施的改善会带来经济与社会发展的良性循环，帮助摆脱贫困，加快工业化进 程，吸收利用外国资本，融入区域产业链和供应链体系，获得宝贵的发展机遇，进而通过发展解决矛盾和问题。（2）基础数据库已逐渐完善目前，国土部门已完成并形成的相关数据库有：土地利用现状、土地利用更 新调查、基本农田划定、农用地分等、耕地质

11、量评价、耕地后备资源调查、土地 整治规划。农业部门已完成并形成的相关数据库有：测土配方、土壤质量评价（耕 地质量评价）、土地承包经营权确权，种、养殖、水产相关资料。气象部门：气象观测数据库。水利部门： 水文、干旱、灌溉，水利工程资料，水利普查数据库。（3）数据处理技术已逐渐形成 大数据技术是指从各种各样类型的巨量数据中，快速获得有价值信息的技术。解决大数据问题的核心是大数据技术。主要可分为：数据采集，数据存取，基础架构，数据处理，统计分析，数据挖掘，模型预测，结果呈现等 8 种技术。大数据技术主要形成了批处理、流处理和交互分析三种计算模式：离线批处理（ Batch Processing）技术以

12、MapReduce和Hadoop系统为代表。实时流处理（ Stream Processing）技术以Yahoo的S4系统和Twitter的Storm 系统为代表。交互式分析（ Interactive Analysis）技术以谷歌的Dremel系统为代表。需解决的关键技术问题数据存储大数据发展面临的问题是来自不同地方、不同标准、数据量大、多种结构形 式、实时性等多样化要求的数据信息。这些问题无疑增加了数据采集和整合的困 难，故此应修改基于块和文件的存储系统的架构设计，以克服存在的问题。数据分析数据分析是大数据处理流程的核心，因为大数据的价值就产生于分析的过程，10 但是它同样带来了很大的挑战。首

13、先，数据量大带来更大价值的同时也带来了更 多的数据噪音，在进行数据清洗等预处理工作时必须更加谨慎，若清洗的粒度过 细，很容易将有用的信息过滤掉，而清洗的粒度过粗，又无法达到理想的清洗效 果，因此在质与量之间需要进行仔细的考量和权衡，同时也对机器硬件和算法都 是严峻的考验。其次，传统的数据仓库系统对处理时间的要求并不高，而在很多数据显示与数据分析相比，很多用户往往更关心数据结果的显示。传统的以文本形式 输出结果或者直接在电脑终端上显示结果的方法在面对小数据量或许是很好的 选择，但是对于形式复杂的海量数据是不可行的。这就需要引入可视化技术来可 视化最终甚至是中间的计算结果，此外，还需要人机交互技术

14、或者数据起源技术，使得用户在得到结果的同时更好的理解结果的由来。数据安全数据的持续增长带来了数据的安全问题。首先，大数据因为目标大而在网络 上更容易被发现；其次，大数据存在更敏感更有价值的数据，对潜在攻击者的吸 引力更大。近两年来，有些互联网公司用户信息泄露的数据量非常庞大，在2012年6月，据挪威IT网站Dagens IT 报道，约有 650 万职业社交网站 LinkedIn 用户的账户的明文和加密密码被泄露；在2012年7月，据美国有线电视新闻网 （CNN）报道，雅虎网络遭遇黑客攻击，45万个用户账号信息遭到泄露雅虎遭到网络攻击。此外，个人信息的曝露，也会造成个人安全的问题。大数据落地面临

15、的问题应该说，全球来看，对大数据认识、研究和应用还都处于初期阶段。特别是 对我国来说，大数据真正落地，还需要迈过三道坎。 第一，数据是否足够丰富和开放？丰富的数据源是大数据产业发展的前提。 而我国数字化的数据资源总量远远低于美欧，每年新增数据量仅为美国的 7%， 欧洲的12%，其中政府和制造业的数据资源积累远远落后于国外。就已有有限的 数据资源来说，还存在标准化、准确性、完整性低，利用价值不高的情况，这大 大降低了数据的价值。同时，我国政府、企业和行业信息化系统建设往往缺少统一规划和科学论证，系统之间缺乏统一的标准，形成了众多“信息孤岛”，而且受行政垄断和商业利 益所限，数据开放程度较低，以邻

16、为壑、共享难，这给数据利用造成极大障碍。 制约我国数据资源开放和共享的一个重要因素是政策法规不完善，大数据挖掘缺 乏相应的立法，无法既保证共享又防止滥用，一方面欠缺推动政府和公共数据的 政策，另一方面数据保护和隐私保护方面的制度不完善抑制了开放的积极性。因此，建立一个良性发展的数据共享生态系统，是我国大数据发展需要迈过去的第 一道砍。 第二，是否掌握强大的数据分析工具？要以低成本和可扩展的方式处理大数 据，这就需要对整个 IT 架构进行重构，开发先进的软件平台和算法。这方面， 国外又一次走在我们前面。特别是近年来以开源模式发展起来的 Hadoop 等大数 据处理软件平台，及其相关产业已经在美国

17、初步形成。 而我国数据处理技术基础薄弱，总体上以跟随为主，难以满足大数据大规模 应用的需求。如果把大数据比作石油，那数据分析工具就是勘探、钻井、提炼、 加工的技术。我国必须掌握大数据关键技术，才能将资源转化为价值。应该说， 要迈过这道坎，开源技术为我们提供了很好的基础。 第三，管理理念和运作方式能否适配数据化决策？大数据开发的根本目的是 以数据分析为基础，帮助人们做出更明智的决策，优化企业和社会运转。哈佛商业评论说，大数据本质上是“一场管理革命”。大数据时代的决策不能仅凭经验， 而真正要“拿数据说话”。因此，大数据能够真正发挥作用，深层次看，还要改善我们的管理模式，需要管理方式和架构的与大数据

18、技术工具相适配。这或许是我们最难迈过的一道坎了。5系统设计整体架构农业大数据平台整体架构为5个层次，即用户层、应用层、传输层、感知层和对象层。其各层的功能、构成和逻辑关系如下图所示。1.用户层。农业大数据平台用户不仅包括农业生产者，也包括系统管理员、远程专家、物流运输者、农产品加工者、经销零售商、终端消费者等各个环节使用者，各环节用户使用的技术类别和实现的技术功能有所差异。2.应用层。应用层主要包括三个部分：一是终端设备；二是由各模块集成的管理信息系统；三是云端中心。其中，终端设备主要指农业各级用户使用的各类网络计算机、智能手机、其他手持终端以及其他身份识别标签读取设备。集成管理信息系统主要包

19、括环境感知、无损感知、过程感知、灾害感知、专家咨询、安全溯源、视频监控及专家系统等功能模块。云端中心主要指提供云计算、云存储、云服务和云应用的云端中心。3.传输层。传输层主要指网络传输层，具有两种主要网络传输类型：一是无线网络传输。包括无线传感网络（如 Zigbee、WiFi、6LoWPAN、Bluetooth、3G、GPRS等无线网络传输技术）和卫星通信网络（如遥感技术、北斗短报文技术）；二是有线网络传输：包括有线广域网(WAN)、局域网(LAN)和个域网(PAN)等网络传输技术。具体传输过程主要是由传感器件、遥感设备和身份识别技术标签等获取感知监测对象的各种数据信息，传入无线传输网络，并通

20、过网关传入有线网络，由有线网络传入云端中心进行加工和存储等。4.感知层。感知层是利用卫星遥感技术、射频识别、二维码、传感器件、北斗等技术实现对农业生产监测对象实施感知和监控的环节。遥感技术可以用来对土地资源的营养状况、墒情、作物长势等信息进行实时感知监测。北斗技术可以对地面各类农作物进行地面位置调查。射频识别和二维码技术可以将标识物的信息通过读卡器传入无线传输网络。传感器件(如温、湿、光、PH 值、光谱等传感监测仪器)通过对农业生产监测对象所处环境或其自身进行实时信息监测，以便于进行预警或施加影响，以适应其生长需要。5.对象层。对象层是指农业大数据平台的作用对象，不同农业产业其具体作用对象不同

21、。一般根据农业产业大类可以将作用对象分为4种：设施农业、水产养殖、畜禽养殖和大田作物。其中:在设施农业领域农业相关技术应用最为广泛；在水产养殖和畜禽养殖领域的应用近年发展较快；在大田农业领域，除了智能灌溉技术外，卫星遥感、北斗定位技术逐渐受到广泛重视。综上所述，应用射频识别、二维码、电子耳标等身份识别技术，以及卫星遥感技术、传感器件技术和北斗等感知和监测技术对农业生产对象进行实时感知和监测，并将感知和监测信息通过传输层传到云端中心进行加工和存储。用户借由各种终端设备使用集成管理信息系统各个模块，访问云端中心，获取其所要感知和监测的数据，以达到实时感知和监测目标对象及其环境的目的，同时通过积累的

22、大量数据可进行大数据的分析；并根据需要对环境或对象本身施加影响，从而使农业生产、流通和交换等各环节更加远程化、智能化、数字化和可溯源化。数据来源图 总体设计农业大数据工程主要包含四方面内容：农业信息监测基础数据库、农业行业信息监测子数据库、农业信息监测分析系统、农业信息监测网络体系。其中信息监测基础数据库包含了农业经济类、农业基础类、农业生产类、农业发展类、农业投入类、主要农产品类相关数据。农业行业信息监测子数据库包含了种植业数据库、果业数据库、畜牧数据库、产业化数据库、农业市场数据库、农业经管数据库、农业科技数据库、农业发展数据库、质量监测数据库、农业机械数据库。农业大数据平台需要大量的数据

23、做支撑，其中包含大量的实时监控（测）数据、基础农业资源数据、地理信息数据和遥感影像数据等。根据数据不同来源及应用方式，将综合数据库从逻辑上划分为空间数据库、基础业务数据库、农业管理业务数据库、决策业务数据库、模型库、预案库、专家知识库。空间数据库内容分为：基础电子地图、农业专题电子地图。基础电子地图主要包括：行政区划图、重点经济和政治目标分布图、居民分布图、道路交通图、社会经济状况分布图、常规组织机构分布图、地形图、DEM数字高程模型、土地利用图、下垫面特征图等；专题电子地图则可划分为：农作物产量分布图、农作物分布图、土壤养分分布图、土壤水分分布图、农田规划图、气候（降雨、气温）分布图、植株养

24、分含量（N、P、K等）分布图等。基础业务数据库由气象数据库、土壤数据库、农作物数据库、农村数据库、水旱灾害数据库、病虫害数据库、土地利用数据库、农业科技数据库等组成。气象数据库包括：天气预报、灾害天气（高温、台风、暴雨、冰雹等）警示、卫星云图、降雨量等。土壤数据库包括：土壤含水率、SOM含量、土壤耕作层深度、土壤结构、土壤阳离子交换能力（CEC）等。农作物数据库包括：农作物种植面积、长势、产量、农业产值等。农村数据库主要有农村人口情况、劳动力情况等。水旱灾害数据库主要有历次水旱灾害受灾情况、经济损失情况、人员伤亡情况、保险赔偿情况等。病虫害数据库主要有病虫害分布、病虫种类、名称、应对方法等。土

25、地利用数据库主要是土地利用规划等信息。农业科技数据库主要有农业新技术、新品种、新方法、新政策等。农业管理业务数据库主要存储农业管理单位日常办公涉及相关的业务数据，包括：各类公报文档、规划成果、行政法规、行业知识、农业事务管理等文字、图片、图表、影像数据。决策业务数据库内容包括：农业资源评估数据库、农业生产评估数据库、病虫害预测数据库等。模型库主要有土地评估模型、农作物估产、长势预测模型、病虫害预测模型施肥决策模型、灌溉决策模型等。知识库包括概念性知识、事实性知识、规则性知识和规律性知识4类。6建设内容农业大数据标准体系农业大数据标准体系定义了一系列的体系规范，来规约数据的采集、存储、分析、管理

26、和数据的表达、发布、交换的各种格式、方法和规范。这些体系根据涉及的方面不同，可以分成四大类，分别是：（1）框架体系：框架体系主要定义了一系列规范，说明其中各个规范的应用范围、作用及相互关系。（2）数据管理：数据管理包括了数据加工流程、数据分类、数据采集、数据组织、质量控制、数据维护等方面的相应规范，比如数据的采集、数据质量控制等。（3）数据制作：包括元数据、数据标引、数据著录、数据表示等涉及数据加工流程的操作规范。（4）数据服务：包括了农业科学数据发布、交换和共享方面的相关规范。主要包括农业科学数据的转换格式和方法，互操作的方法和规则，以及用户认证、数据库性能监督和改进等各方面的规范。农业监测

27、数据库通过遥感手段采集农业生产中的各项数据，建立农业生产监测数据库，包括各类农作物长势、面积、病虫害、受灾情况、农作物产量等信息。通过交换数据的方式，获取相关农业资源信息，包括土地资源、水资源、气候资料、生物资源数据、灾害数据等。通过政府公开数据，建立农业行业信息监测子数据库，包括种植业、果业、畜牧、产业化、农业市场、农业科技、农业发展、农业机械、质量监测等资料。农业大数据平台平台功能（1）实现数据库的交互；（2）根据农业大数据研究的个性化需求，形成一系列相关公开发布数据的 采集机制，将数据采集的相关程序设计并编写完善，部署此套机制在平台上周期 运转； （3）数据的浏览，对数据进行查询、展现和

28、基础统计分析等初步应用； （4）实现农业大数据分析人员的交流平台。平台目标（1）通过平台的建设，汇集各方资源，构建农业领域的大数据研究中心； （2）通过数据整合，采集和加工处理，建设专业的农业数据资源中心； （3）依托农业大数据相关技术，包括数据采集技术、存储技术、处理技术、 分析挖掘技术、展现技术等构建农业大数据应用平台； （4）通过分析应用平台，进行成果发布，形成农业领域专业研究的权威成果发布平台，服务于高校和政府，涉农企业，社会公众等。建设的基本原则大数据中心系统是能够对各种信息数据进行存储、管理、更新、维护、查询、 分析等操作的一个集合，是建设智慧农业的重要组成部分。为确保数据中心建成

29、 后能够稳定的运行和发挥作用，必须针对数据中心建设的技术要求和需求情况提 出一些基本原则。 (1)实用性原则 大数据中心建设要充分考虑各部门应用的实际情况，尽可能地满足当前的基 本应用需求，使大数据中心建成后能够很快的发挥作用，辅助政府、单位等解决 城市中存在的一些实际问题。数据库管理系统建设还应该做到功能完善、界面美 观、操作方便，能够充分实现信息资源共享，方便人们获得自己所需要的信息。 (2)先进性原则 大数据中心建设要在吸取国内外大数据中心建设的经验和教训的基础上，研究和分析相关技术及其发展趋势，尽可能采用先进的技术和手段，统一规范大数 据中心的内容，合理组织数据库的结构，实现多源空间数

30、据的集成化管理，确保 大数据中心的科学性和前瞻性，方便进行更新维护，使数据中心能够适应未来技 术发展的变化，保证大数据中心能够持续稳定的发展。 (3)开放性原则 大数据中心建设必须严格按照国家和行业的相关标准和规范，结合应用的实 际需要，这样才能保证大数据中心建设的质量，方便数据及时更新和维护，有效 整合现有的数据资源，方便用户随时随地直接应用数据库中的数据，也方便将数 据转换到所需的系统中，确保数据能够广泛地得到应用。(4)可扩展性原则 大数据中心的更新维护是一个长期而重要的过程。随着系统业务的变更、内 容的调整和技术的不断进步，对大数据中心的要求也越来越高，一方面需要能够方便系统进行管理、

31、维护和升级，另一方面需要能够对相关数据进行及时更新。 因此，在大数据中心建设之初，要充分考虑大数据中心的可扩展性，以便在未来 的使用过程中能够方便对数据进行更新和扩展。 (5)安全性原则 大数据中心储存着大理的基础信息数据，随着计算机网络技术的不断发展， 数据共享越来越紧密，数据的安全性就显得越来越重要，一旦出现数据泄密情况， 将对国家的安全构成威胁。因此，在建设大数据中心时应设计一套行之有效的安全机制，保证数据在网络中的安全。7技术解决方案遥感技术将遥感技术与野外样方采集相结合，在*境内以GF-2遥感影像为主，综合利用多源中高分辨率遥感数据和地面调查资料，通过精确识别与混合像元处理，实现像元

32、尺度与农作物种植面积等进行对比。在此基础上，通过统计病虫害监测信息、长势信息与丰度水平，并扣除图斑内的非采集因素成份，建立面积估算模型，最终得到单元面积估算结果。农业遥感是指利用遥感技术进行农业资源调查，土地利用现状分析，农业病虫害监测，农作物估产等农业应用的综合技术。它是将遥感技术与农学各学科及其技术结合起来，为农业发展服务的一门综合性很强的技术。主要包括利用遥感技术进行土地资源的调查，土地利用现状的调查与分析，农作物长势的监测与分析，病虫害的预测，以及农作物的估产等。是当前遥感应用的最大用户之一。植物的光谱特征农业遥感是以土壤和作物的光谱理论为基础，主要是用于地被土壤等作物目标的发射信息。因为绿色植物的叶绿素对可见光红光的吸收更强。所以植物叶片的信息在红光波段就更加丰富。并且植被对近红外波段有较高的反射率、高的透射率和极低的吸收率，近红外对植被差异及植物长势十分敏感，因此近红外波段包含了植物冠层叶片的大量信息。这一反射光谱特性就是用卫星影像进行农业遥感的