农业生产经营主体基础信息数据资源库建设方案.docx
《农业生产经营主体基础信息数据资源库建设方案.docx》由会员分享，可在线阅读，更多相关《农业生产经营主体基础信息数据资源库建设方案.docx（15页珍藏版）》请在冰豆网上搜索。
农业生产经营主体基础信息数据资源库建设方案
农业生产经营主体基础信息数据资源库建设方案
一、整体服务方案
1、建设目标
面向农业基础数据的应用开发，利用智能监测、物联网、大数据、移动互联、云计算等现代信息技术，建设农业资源环境本底数据资源库、数据采集系统。
以推进数字技术与农业发展深度融合为主攻方向，升级建设农业农村数据资源中心，搭建覆盖农业生产经营主体、耕地、农产品市场交易、农业投入品、现代农业产业园等数据资源体系，种植环境数据采集管理分析体系，推动重要领域和关键环节数据资源建设，促进提升农业生产经营和管理服务数字化水平，增强智慧畜禽养殖数字农业技术示范推广应用能力，引领农业产业数字化和数字产业化。
2、建设原则
本项目坚持“以应用为导向，注重安全的同时，注重实效，阶段实施，统一标准，统一规划，信息共享”的原则，严格遵循安全性原则，紧抓标准规范，注意梳理业务流程，做好数据规划工作，设计可集成、易扩展的技术架构。
a、安全性
网络和安全保障体系的建设必须满足国家信息安全等级保护相关规定的要求。
b、先进性
采用当前先进而成熟的信息化技术，充分利用现有的建设成果，实现软硬设备系统的数字化、智慧化。
c、可扩展性
充分考虑硬件设备和软件系统的可扩展性，预留接口，规范数据交互原则，制定统一的接入标准。
满足未来的可扩展性需求。
d、可维护性
硬件设备和软件系统必须遵循可维护性原则，以充分展现系统的灵活性、智能性，提高运营与维护效率。
e、经济性
项目建设时，充分考虑系统自身的特点，使每一项建设内容紧密结合建设目标，发挥最大效能。
f、实用性
项目建设时，充分考虑操作简单、易于使用和实用性原则。
满足所有日常管理活动，优化的系统结构和完善的数据库系统，灵活的查询与统计功能，友好的用户界面。
g、规范性
按照相关法律法规、业务规范和信息化标准规范，整合、规范安全信息资源，技术架构设计、数据库规划、系统接口、产品选型都要以标准规范先行。
h、稳定性
项目建设时，充分考虑系统的健壮稳定性，在系统发生意外时，不会影响系统数据的完整性，并有日志文件进行记录，方便查询和分析。
3、建设背景
数字农业作为现代农业发展的高级阶段，是我国农业农村经济社会发展转型的必由之路，也是增加农民收入的重要方式。
伴随着物联网、大数据、云计算等新技术的快速发展，数字农业必将改变现有农业生产方式，驱动农业变革。
2019年，农业农村部和中央网络安全和信息化委员会办公室发布《数字农业农村发展规划（2019-2025年）》，《规划》要求以产业数字化、数字产业化为发展主线，着力建设基础数据资源体系，加强数字生产能力建设，加快农业农村生产经营、管理服务数字化改造，强化关键技术装备创新和重大工程设施建设，全面提升农业农村生产智能化、经营网络化、管理高效化、服务便捷化水平，以数字化引领驱动农业农村现代化，为实现乡村全面振兴提供有力支撑。
我国人口多，人均资源少，尤其是人均耕地和人均水资源远远低于世界平均水平。
随着人民物质文化生活水平的不断提高，对食物需求逐步多样化、高质化，对粮食安全、农产品质量安全及生态环境安全提出了更高的要求。
发展农产品的多元化、标准化，保障食物安全的关键在于依靠科技进步和创新。
持续增加农民收入的任务艰巨而严峻，需要通过科技创新发展现代农业，延伸农业产业链，拓展农民就业增收新空间。
党的十九大精神指出，要坚定实施创新驱动发展战略、乡村振兴战略，以农业供给侧结构性改革为主线，切实落实新发展理念，同时指出，要实施农业关键核心技术攻关行动，培育一批农业战略科技创新力量，推动智慧农业领域自主创新，用科技助力智慧农业发展，用高新技术产品推动农业发展变革。
可以说，农业发展正迎来新的历史机遇。
农业信息化是农业现代化的重要标志。
推进农业信息化是加快转变农业发展思维方式、生产发展方式、农产品营销方式和农业服务指导方式的迫切需要，也是大势所趋。
近年来，区域在农业信息化建设方面取得了显著的成效，在农业大数据成和物联网应用创新方面都走在了国家的前列，但是仍然存在着设备管理分散、数据不统一、发展建设不平衡等问题，不能充分发挥数据在数字农业产业中的作用，因此，建设统一的农业信息资源库、数据采集系统就显得尤为重要。
整合农业信息数据资源、数据采集信息资源，统一存储、统一管理，利用大数据、云计算等技术对数据进行分析管理，充分发挥数据优势，为区域数字农业产业发展提供保障和支撑。
二、建设内容
1、建设必要性
（1）大数据建设是提升农业管理服务水平的重要手段
《国务院关于印发促进大数据发展行动纲要的通知》中明确指出“数据已成为国家基础性战略资源，大数据正日益对全球生产、流通、分配、消费活动以及经济运行机制、社会生活方式和国家治理能力产生重要影响”。
《农业部关于推进农业农村大数据发展的实施意见》提出“农业农村大数据已成为现代农业新型资源要素”“发展农业农村大数据是破解农业发展难题的迫切需要”。
数据是农业管理服务的重要依据。
传统农业管理由于缺乏大数据和技术支撑，大多依靠经验判断和主观认识，影响管理决策的有效性和科学性。
迫切需要运用大数据突破资源和环境两道“紧箍咒”制约，破解成本“地板”和价格“天花板”双重挤压的制约，增强农业农村经济运行信息及时性和准确性。
建设区域数字农业本底数据资源库建设项目，建立农业资源台账、生产管理、经济运行等大数据，构建“用数据说话、用数据决策、用数据管理、用数据创新”的管理机制，能够破解农业转型升级中迫切需要解决的问题，帮助政府部门更加全面、精准和及时地了解农民群众的生产变化和社会公众的消费偏好变化，及时有效对政策效果做出评价，并不断优化政策设计与实施，提高管理决策和调控引导的科学性、前瞻性、有效性，有效提升管理服务的科学化和高效化水平，为实现政府治理能力现代化提供保障。
（2）推进生产数字化是农业提质增效的需要
农林牧渔生产作为保障市民“菜篮子”供给的重要产业，是我国现代农业的重要组成部分。
目前我国农业生产居于世界前列，在推动农村经济繁荣和农民增收增效方面作出了巨大贡献。
虽然我国农业生产在规模和产量方面具有很强的竞争力，但与发达国家相比，整体核心竞争力还有待提高，设施设备现代化、自动化水平低，信息化基础设施不完善，信息技术的应用有一定局限性，迫切需要利用互联网，深度融合产业链，提升产业效率和效益，实现养殖提质增效。
建设区域数字农业试点建设项目，将率先在农业本底资源产业领域利用互联网，深度融合产业链，打通生产流程，实现数据互联互通，使企业、产业、行业的数据“活”起来，持续优化整个产业种、养殖技术和生产流程；同时建立线上综合服务平台，实现生产过程数据化、生产管理智慧化、产品交易便捷化，降低生产成本、提升产业链整体效率和效益。
（3）推进生产数字化是农业产业可持续发展的必由之路
近年来，我国种、养殖业迅速从个体经济向集约化、规模化、商品化发展，特别是在区域周围，农场越来越多，规模越来越大，集约化、规模化种、养殖业的经济效益十分明显。
但是，伴随而来的种、养殖业废弃物的环境污染问题日益严重。
污染问题日趋严重。
具体表现在水质污染、空气污染、传播病菌、危害农作物生长等方面。
所以，必须刻不容缓地采取措施，解决粪污的排放和环境污染问题，这已成为关系到人类的生存和发展以及中国生态农业发展的重大问题。
建设区域数字农业试点建设项目，推广应用种、养殖过程的无害化、减量化和资源化的技术体系和生产模式，通过无害化粪污处理系统的应用实现粪污无害化和资源化处理，形成健康养殖的新理念和新方式，保证产业的循环可持续发展。
（4）推进农产品标识化是追溯平台与电商平台的基础
加强农产品追溯信息平台、农业农村电子商务能够创新农产品流通方式，打造新业态、培育新业态，重构农业农村经济产业链、供应链、价值链，促进农村一二三产业融合发展。
同时我国农产品的标准化、身份化程度较低，制约了农产品质量安全追溯与网上营销。
建设区域数字农业试点建设项目，将加强区域农业大数据标准体系的顶层设计，逐步完善标准体系，发挥标准化对产业发展的重要支撑作用。
结合农业农村大数据发展需求，构建涵盖涉农产品、产品交易等内容在内的数据指标、样本标准、采集方法、分析模型、发布制度等标准体系。
开展农业部门数据开放、指标口径、分类目录、交换接口、访问接口、数据质量、数据交易、技术产品、安全保密等关键共性标准的制定和实施。
为农产品质量安全追溯和电商平台等新型业态发展奠定基础。
综上所述，本底数据资源库的建设既符合国家和地区农林牧渔业发展政策，适应产业发展趋势要求，又将现代科学与信息技术运用到实际的种、殖业生产实践中，能够加快现代农业建设和种养殖也业信息化、智能化、机械化进程，促进农业供给侧结构性改革，建设必要性明显。
2、农业生产经营主体基础信息数据资源库
利用大数据存储技术、计算机技术，收集整理当地的土地资源、气象数据、水文环境等的基本资源数据，建立本底数据资源库。
主要用来存储本地土地资源、气象数据、水文环境等的基本资源数据。
包括邯郸经开区农业气象数据、水文数据、自然资源数据、国土数据、农业遥感影像数据等信息。
对产业经营主体进行信息梳理，构建农业生产经营主体基础信息数据资源库。
主要包括生产经营主体身份、生产经营、补贴发放、投入品使用、培训营销等为一体的农业生产经营主体基础信息数据资源。
数据采集处理，统一信息资源标准规范，建立多维度数据库，拓宽数据来源，通过不同的方式汇聚数据，增强分析力度，提高监测预警的准确性和时效性。
预留接口，支持其它系统各种数据的上传导入处理。
将现存有关经济运行业务系统中的历史数据和时效数据，通过上传数据文件至服务器、分析提取有效数据导入服务器数据库等方式采集起来，在本平台上复用。
支持外接数据的上传导入处理。
可以将企业单位或定点监测机构的数据通过同样的方式采集起来，在本平台上复用。
支持非结构化数据，即搜索引擎数据、社交媒体数据、地理空间数据和音视频数据等等。
大数据之大并不是难点所在，其真正难以对付的挑战来自于数据类型多样、要求及时响应和数据的不确定性，而我们所面临的也正是如此。
采用批量数据处理系统，借助于深度学习、知识计算和可视化等大数据分析技术，通过对数据的批量处理挖掘其中的价值来支持决策和发现新的洞察。
在对社会发展相关业务子系统充分调研基础上，结合项目需求，可对其进行整合或嵌入处理。
整合处理。
将原有数据通过上传或导入方式进行采集，原有功能模块整合到本平台中，合二为一，完美的将数据汇聚起来。
缺点是耗时较长。
嵌入处理。
以单点登录的方式将原有系统链接嵌入到本平台中，作为子系统单独存在。
缺点在于数据共享难以实现。
3、系统架构：
结合该项目以大数据平台为核心，多业务子系统并存的业务需求，以及存在不同种类操作系统、应用软件、系统软件的现状，我们采用面向服务的体系结构，即SOA架构。
SOA是一个组件模型，它将应用程序的不同功能单元（称为服务）通过这些服务之间定义良好的接口和契约联系起来。
接口是采用中立的方式进行定义的，它独立于实现服务的硬件平台、操作系统和编程语言。
这使得构建在这样系统中的服务可以以一种统一和通用的方式进行交互。
它的本质是实现服务和技术的完全分离，从而最大程度上实现服务的集成和重组。
SOA实施是以业务服务为导向的，业务服务独立于技术之上，技术处于从属地位，采用SOA架构的主要优势有：
SOA与平台无关，减少了业务应用及业务子系统整合的限制。
SOA具有低耦合的特点，各个业务子系统对整个业务系统的影响较低，在各个系统不断变化情况下，节省的费用会越来越多。
SOA具有可按模块分阶段进行实施的优势。
可以成功一步再做下一步，将实施造成的冲击减少到最小。
SOA服务交互示意图如下：
4、平台性能
先进性、开放性。
基于B/S结构的Java应用技术和SOA开放式的体系框架，结构化设计，灵活可拆分，具有灵活的可扩充接口，易于修改调整、二次开发和扩充，最大限度降低因上游技术升级带来的系统实施风险，保证投资的有效性和延续性。
可扩展性。
由于采用了平台化构建思想，整个系统可做到与底层多种硬件环境、操作系统、数据库的自由适配，保证系统在软件、硬件环境方面的灵活配置以及未来的拓展应用。
采用基于SOA思想的模块化设计，可根据需要进行灵活动态的模块扩充，并保证原系统环境不受影响。
系统提供开放的标准接口，可实现与外围业务系统的无缝集成应用，灵活扩展系统的业务应用范围。
稳定性、可靠性。
系统采用B/S结构应用模式，集中安装部署，客户端零安装，所以系统的运行不受任何客户端单点故障的影响。
技术框架的支撑，可以实现数据库的持久、稳定连接，确保事务处理的连续和完整，保证业务数据准确完全。
数据存储：
云存储是由一个网络设备、存储设备、服务器、应用软件、公用访问接口、接入网和客户端程序等组成的复杂系统。
以存储设备为核心，通过应用软件来对外提供数据存储和业务访问服务。
云存储的架构如图：
存储层：
存储设备数量庞大且分布在不同地域，彼此通过广域网、互联网或光纤通道网络连接在一起。
在存储设备之上是一个统一存储设备管理系统，实现存储设备的逻辑虚拟化管理、多链路冗余管理，以及硬件设备的状态监控和故障维护。
基础管理层：
通过集群、分布式文件系统和网格计算等技术，实现云存储设备之间的协同工作，使多个的存储设备可以对外提供同一种服务，并提供更大更强更好的数据访问性能。
数据加密技术保证云存储中的数据不会被未授权的用户访问，数据备份和容灾技术可以保证云存储中的数据不会丢失，保证云存储自身的安全和稳定。
应用接口层：
不同的云存储运营商根据业务类型，开发不同的服务接口，提供不同的服务。
例如视频监控、视频点播应用平台、网络硬盘，远程数据备份应用等。
访问层：
授权用户可以通过标准的公用应用接口来登录云存储系统，享受云存储服务。
自动精简配置
传统配置技术为了避免重新配置可能造成的业务中断，常常会过度配置容量。
在这种情况下，一旦存储分配给某个应用，就不可能重新分配给另一个应用，由此造成了已分配的容量没有得到充分利用，造成资源极大浪费。
自动精简配置技术利用虚拟化方法减少物理存储空间的分配，最大限度提升存储空间利用率，其核心原理是“欺骗”操作系统，让操作系统认为存储设备中有很大的存储空间，而实际的物理存储空间则没有那么大。
自动精简配置技术的应用会减少已分配但未使用的存储容量的浪费，在分配存储空间时，需要多少存储空间系统则按需分配。
随着数据存储的信息量越来越多，实际存储空间也可以及时扩展，无需用户手动处理。
自动存储分层
自动存储分层（AST）技术是存储上减少数据的另外一种机制，主要用来帮助数据中心最大程度地降低成本和复杂性。
在过去，进行数据移动主要依靠手工操作，由管理员来判断这个卷的数据访问压力或大或小，迁移的时候也只能一个整卷一起迁移。
自动存储分层技术的特点则是其分层的自动化和智能化。
利用自动存储分层技术一个磁盘阵列能够把活动数据保留在快速、昂贵的存储上，把不活跃的数据迁移到廉价的低速层上，使用户数据保留在合适的存储层级，减少了存储需求的总量，降低了成本，提升了性能。
随着固态存储在当前磁盘阵列中的采用以及云存储的来临，自动存储分层已经成为大数据时代补充内部部署的存储的主要方式。
重复数据删除
物理存储设备在使用一段时间后必然会出现大量重复的数据。
“重复删除”技术（De-duplication）作为一种数据缩减技术可对存储容量进行优化。
它通过删除数据集中重复的数据，只保留其中一份，从而消除冗余数据。
使用De-dupe技术可以将数据缩减到原来的1/20-1/50。
由于大幅度减少了对物理存储空间的信息量，从而达到减少传输过程中的网络带宽、节约设备成本、降低能耗的目的。
重复数据删除技术原理De-dupe按照消重的粒度可以分为文件级和数据块级。
可以同时使用２种以上的hash算法计算数据指纹，以获得非常小的数据碰撞发生概率。
具有相同指纹的数据块即可认为是相同的数据块，存储系统中仅需要保留一份。
这样，一个物理文件在存储系统中就只对应一个逻辑表示。
数据压缩
数据压缩技术是提高数据存储效率最古老最有效的方法之一，可以显著降低待处理和存储的数据量，一般情况下可实现2:
1～3:
1的压缩，对于随机数据效果更好，像数据库。
其原理就是将收到的数据通过存储算法存储到更小的空间中去。
在线压缩（RACE）是最新研发的数据压缩技术，与传统压缩技术不同。
对RACE技术来说，不仅能在数据首次写入时进行压缩，以帮助系统控制大量数据在主存中杂乱无章地存储的情形。
还可以在数据写入到存储系统前压缩数据，进一步提高存储系统中的磁盘和缓存的性能和效率。
数据压缩中使用的LZS算法基于LZ77实现，主要由２部分构成，滑窗（SlidingWindow）和自适应编码（AdaptiveCoding）。
压缩处理时，在滑窗中查找与待处理数据相同的块，并用该块在滑窗中的偏移值及块长度替代待处理数据，从而实现压缩编码。
如果滑窗中没有与待处理数据块相同的字段，或偏移值及长度数据超过被替代数据块的长度，则不进行替代处理。
LZS算法的实现非常简洁，处理比较简单，能够适应各种高速应用。
大数据底层技术HADOOP
Hadoop是Apach软件基金会所开发的并行计算框架与分布式文件系统。
最核心的模块包括HadoopCommon、HDFS与MapReduce。
系统采用Hadoop对采集到的数据进行处理。
HDFS
HDFS是Hadoop分布式文件系统（HadoopDistributedFileSystem）的缩写，为分布式计算存储提供了底层支持。
采用Java语言开发，可以部署在多种服务器上，以集群处理数量积达到大型主机处理性能。
HDFS架构原理
HDFS采用master/slave架构。
一个HDFS集群包含一个单独的NameNode和多个DataNode。
NameNode作为master服务，它负责管理文件系统的命名空间和客户端对文件的访问。
NameNode会保存文件系统的具体信息，包括文件信息、文件被分割成具体block块的信息、以及每一个block块归属的DataNode的信息。
对于整个集群来说，HDFS通过NameNode对用户提供了一个单一的命名空间。
DataNode作为slave服务，在集群中可以存在多个。
通常每一个DataNode都对应于一个物理节点。
DataNode负责管理节点上它们拥有的存储，它将存储划分为多个block块，管理block块信息，同时周期性的将其所有的block块信息发送给NameNode。
5、数据库列表
企业信息
T_PfCompanyInfo
NO
字段名（中）
字段名（英）
1
id
id
2
企业编号
companyCode
3
企业名称
companyName
4
所属地区
areaCode
8
qq号
qqNum
9
qq对应二维码图片
qqImage
10
微信号
weixNum
11
微信号对应二维码图片
wxImage
12
企业类型
companyType
13
企业网站
companyWebsite
14
企业图片
companyImage
15
经度
longitude
16
纬度
latitude
17
单位地址
address
18
联系人
contactPerson
19
联系电话
contactNumber
20
法人代表
lawPerson
21
注册资本（资金）
RegisteredCapital
22
统一社会信用代码/注册号
CreditCode
23
营业执照有效期
LicenseValidity
24
发证（登记）机关
LicensingOrgans
25
成立日期
EstablishmentDate
26
经营范围
BusinessScope
27
企业简介
CompanyProfile
28
企业历程
DevelopmentHistory
29
资质证书
QualificationCertificate
30
状态
status
生产经营表
T_Proop
NO
字段名（中）
字段名（英）
1
id
id
2
生产经营主体编号
ProopsubjectCode
3
年总收入
ProopsubjectType
4
固定资产总额（元/年）
Fixedassetsinvestment
5
上年固定资产投资（元/年）
Investmentinfixedassets
6
上年总收入（元/年）
Totalincomelastyear
7
上年总支出（元/年）
Totalexpenditurelastyear
8
上年净利润（元/年）
Netprofitlastyear
9
是否接受过中央财政支持
financialsupport
10
财政用途
Financialuse
11
经营行业
Businesssector
雇工信息
T_Employeeinfo
NO
字段名（中）
字段名（英）
1
id
id
2
生产经营主体编号
ProopsubjectCode
3
常年雇工人数（人）
permanentemployeesNum
4
常年雇工人均年支出（元/年）
Annualpercapitaexp
5
临时雇工人数（人*天）
temporaryemployeesNum
6
临时雇工人均年支出（元/人天）
temporarypercapitaexp
7
雇佣大学生数（个）
hiredcollegestuNum
8
一年雇工总支出（元）
Totalemployeeexp
投入品使用表
t_EnteringAdm
NO
字段名（中）
字段名（英）
1
id
id
2
投入品编号
EnteringCode
3
使用者
Inputusers
4
使用量
useamount
5
使用地点
useplace
6
用途
purpose
7
使用日期
usedate
8
描述
description
生产经营信息列表-种植业
T_Producopeplantinginfo
NO
字段名（中）
字段名（英）
1
id
id
2
生产经营主体编号
ProopsubjectCode
3
经营品种
Businessvarieties
4
种植面积
plantingarea
5
其中粮食面积（亩）
Grainarea
6
亩产量
permuyield
7
生产农资投入（元）
agrprmaterials
8
生产服务投入（元）
Proserviceinput
9
销售单价（元）
Salesunitprice
10
销售数量
salesvolumes
11
销售总收入（元）
Totalsalesrevenue
。
。
。
（三）整体性能需求
（1）系统总体性能要求
系统能充分满足用户的需求，稳定、可靠、实用。
人机界面友好，输入、输出方便，图表生成美观，检索、查询简单快捷，并具有灵活的可扩充性和高度的可配置管理性。
（2）系统响应时间
进入系统时间小于2秒，选择功能后到该窗口完全显示时间小于2秒。
（3）系统数据性能
支持对大数据量（支持10万条数据以上）的分析，并且分析时间如果较长，可以在不影响现有操作的情况下，异步完成。
（4）系统可用性
系统7×24小时持续可用，可在每日特定时间段内对系统进行
升级会员 