农业大数据平台设计报告.docx
《农业大数据平台设计报告.docx》由会员分享，可在线阅读，更多相关《农业大数据平台设计报告.docx（59页珍藏版）》请在冰豆网上搜索。
农业大数据平台设计报告
农业大数据平台
设计说明书
***************
2018年6月
修订记录
序号
修订说明
修订人
修订日期
版本号
1）
2）
3）
1.系统概述
1.1系统名称
农业大数据
1.2编写目的
从系统的软件功能结构、数据采集、数据应用、软件接口、数据结构等方面对系统进行概要性设计。
目的是使项目各相关方能够通过阅读本文档，对该平台为满足业务需求进行的系统总体设计和规划有清晰了解，并为该平台的详细设计和代码开发提供依据。
1.3项目背景
党的十九大报告提出“必须始终把解决好‘三农’问题作为全党工作重中之重”，大力推进乡村振兴，将其提升到战略高度，并写入党章。
中央2018年一号文件就实施乡村振兴战略进行了全面部署。
新春伊始，山东省全面展开新旧动能转换重大工程，农业领域的新旧动能转换是其中一项重要内容，也是当前“三农”工作面临的又一个全新课题。
2月26日，“全省推进农业‘新六产’发展现场会暨‘两区’划定工作会议”召开，揭开了我省农业“新六产”大力发展的序幕。
推进农业大数据建设发展应用正是建设农业农村现代化、指导推动“新六产”发展、加快实施乡村振兴战略的有力抓手。
农业大县，农产品品种丰富，农业品牌众多，数据资源丰富，农业信息化基础好，为建设农业大数据创造了条件。
为此，如能在实施乡村振兴战略中紧跟大数据时代步伐，第一时间启动农业大数据建设，以此牵引农业农村信息化发展，将能在农业发展激烈竞争中取得抢跑优势，推动农业发展再上新台阶，抢占全省乃至全国农业大数据中心高地。
●本项目提出者：
政府
●本项目开发者：
公司
●本项目用户：
政府，涉农政府单位，农业龙头企业，农业种养殖户等
1.4建设目标
建设的终极目标是为农业服务。
具体目标概括为：
一是智慧化农业，拉动农业产业链。
通过农业生产资料数据、种养殖数据、生产设施和农业市场数据的采集、汇聚和分析，优化种养殖结构，实现土地网格化管理，支撑农业智能化生产，完善农业生产进度智能监测体系，提高农业生产管理、指挥调度等数据支撑能力。
二是供应链追踪，实现农产品可追溯。
通过监管农产品每一个环节，为农产品生产和流通提供高效优质的信息服务，以提高农业资源利用率和流通效率，从源头上保障食品安全；三是精准生产，预测市场需求。
通过大数据数据采集进行市场分析，发现市场需求，提前规划生产，降低生产风险，实现“供需平衡”；四是实行产销一体化，将农业生产资料供应，农产品生产、加工、储运、销售等环节链接成一个有机整体，并对其中人、财、物、信息、技术等要素的流动进行组织、协调和控制，以期获得农产品价值增值，实现优质优价；五是促进农业管理高效透明。
推动农业部门政府数据开放共享，加强农业部门政务数据资源与涉农部门数据、社会数据、互联网数据等的关联分析和融合利用，建立“用数据说话、用数据管理、用数据决策、用数据创新”的机制，提高农业宏观调控的科学性、预见性和有效性，推动政府治理精准化。
1.5建设内容
●农业资源基础资料大数据
让农产品“种得好”。
采集农业资源基础数据，包括种养植基地、种养殖内容及农资信息。
在全面掌控全市种养殖基地、农作物种植、畜禽养殖和农资管理情况基础上，利用大数据分析，合理优化种养殖结构，并依据数据进行指导、优化、整合现有农业数据资源，大力发展特色优势产业，全面提升农业现代化水平，为企业和农民提供更高效的服务。
●种养殖过程安全监管大数据
让农产品“质量好”。
采集农业生产数据，包括种植业生产数据和养殖业生产数据。
种植业生产数据包括良种信息、地块耕种历史信息、育苗信息、播种信息、农药信息、化肥信息、农膜信息、灌溉信息、农机信息和农情信息；养殖业生产数据主要包括个体系谱信息、个体特征信息、饲料结构信息、圈舍环境信息、疫情情况等。
规范经营，建立从种养殖到准出整个农业产业链的“电子化”动态监管和质量安全追溯体系，实现种养殖全过程监管；建立健全农资经营者“户口”档案，实行信用分类监管，管控农药化肥等农资流向和使用，实现农资监管精准化，杜绝假种子、假药事件，保障农产品安全。
●生产加工仓储物流大数据
让农产品“有保障”。
采集生产、加工、仓储企业的信息。
掌握全市各类农产品的生产、加工、存储情况，监管全市生产加工企业，制定加工生产标准化流程，保障农民手中的产品能够及时收购、有地方存储，更好地保障农民收益。
●品牌品质服务体系大数据
让农产品“卖得好”。
农产品普遍存在好东西卖不了好价钱的困境，分析其原因主要是：
生产盲目性，没有形成标准，产品缺乏“可比性”，品质缺乏“可量化性”，品牌打造缺乏优质平台等。
农业大数据平台利用二维码技术打造品牌农产品，给产品赋予“身份证”，用数据将农产品分出“三六九”等，不同品质的农产品在销售方面对应不同的销售平台，优质产品走高端卖高价，普通产品进大众市场，不合格产品将会被市场淘汰。
●农业市场营销服务大数据
让农产品“不愁卖”。
数据包括农业市场数据分析，市场供求信息、价格行情、生产资料市场信息、流通市场和国际市场信息等。
解决农户“种出来卖出去”的问题，扩大销售渠道。
大数据平台将与国内知名生鲜电商、商超、批发市场等进行对接，提供发布农情信息服务，扩大民众知晓度和农产品销售渠道。
●政府决策分析调控大数据
让农产品全链条“可调控”。
通过对原始数据的实时采集，使各项数据得到串联分析，精准预测市场需求；从产品及农资价格走势分析，实现政府对产品价格调控，风险评估预警及时发布相关调控政策，通过建立农产品基金、物流基金等手段全面保障农产品生产与流通。
1.6术语定义
RFID:
射频识别，RFID（RadioFrequencyIdentification）技术，又称无线射频识别，是一种通信技术，可通过无线电讯号识别特定目标并读写相关数据，而无需识别系统与特定目标之间建立机械或光学接触。
pda：
PDA（PersonalDigitalAssistant），又称为掌上电脑，可以帮助我们完成在移动中工作，学习，娱乐等。
按使用来分类，分为工业级PDA和消费品PDA。
工业级PDA主要应用在工业领域，常见的有条码扫描器、RFID读写器、POS机等都可以称作PDA；消费品PDA包括的比较多，智能手机、平板电脑、手持的游戏机等。
GIS:
地理信息系统（GeographicInformationSystem或Geo－Informationsystem，GIS）有时又称为“地学信息系统”。
它是一种特定的十分重要的空间信息系统。
它是在计算机硬、软件系统支持下，对整个或部分地球表层（包括大气层）空间中的有关地理分布数据进行采集、储存、管理、运算、分析、显示和描述的技术系统。
物联网：
英文名称是：
“Internetofthings（IoT）”。
顾名思义，物联网就是物物相连的互联网。
有两层意思：
其一，物联网的核心和基础仍然是互联网，是在互联网基础上的延伸和扩展的网络；其二，其用户端延伸和扩展到了任何物品与物品之间，进行信息交换和通信，也就是物物相息。
物联网通过智能感知、识别技术与普适计算等通信感知技术，广泛应用于网络的融合中，也因此被称为继计算机、互联网之后世界信息产业发展的第三次浪潮。
物联网是互联网的应用拓展，与其说物联网是网络，不如说物联网是业务和应用。
区块链：
区块链是一种按照时间顺序将数据区块以顺序相连的方式组合成的一种链式数据结构，并以密码学方式保证的不可篡改和不可伪造的分布式账本。
区块链技术是利用块链式数据结构来验证与存储数据、利用分布式节点共识算法来生成和更新数据、利用密码学的方式保证数据传输和访问的安全、利用由自动化脚本代码组成的智能合约来编程和操作数据的一种全新的分布式基础架构与计算方式。
1.7参考资料
1 技术规范可参考：
●GB/T8567-2006计算机软件文档编制规范
●GB/T9385-2008计算机软件需求规格说明规范
●GB/T16260.1-2006软件工程产品质量第1部分:
质量模型
●GB/T16260.2-2006软件工程产品质量第2部分:
外部度量
●GB/T16260.3-2006软件工程产品质量第3部分:
内部度量
●GB/T16260.4-2006软件工程产品质量第4部分:
使用质量的度量
●GBT14394-2008计算机软件可靠性和可维护性管理
●GBT15532-2008计算机软件测试规范
2 信息编码规范可参考：
●[XH_SD_REGU_001]《软件开发编码规范》javascript编码规范，，2011-04-29
●[XH_SD_REGU_004]徐琦，《数据库编程规范》，2011-04-29
●[XH_SD_REGU_001]《软件开发编码规范》Java编码规范，《界面细节规范》
3 建设方案可参考：
●《农业部关于推进农业农村大数据发展的实施意见》
●《市农产品质量安全监管追溯平台建设方案》
●《市农产品产地准出及追溯平台建设方案》
2.总体设计
2.1业务架构图
系统架构
2.2技术架构
技术体系描述和技术架构图
1）系统采用目前流行的SpringMVC+MyBatis框架技术，SpringMVC负责请求的转发和视图管理,MyBatis作为数据对象持久化引擎，很多应用程序的问题在于处理业务数据和显示业务数据的视图的对象之间存在紧密耦合。
通常，更新业务对象的命令都是从视图本身发起的，使视图对任何业务对象更改都有高度敏感性。
而且，当多个视图依赖于同一个业务对象时是没有灵活性的。
SpringMVC是一种基于Java的实现了WebMVC设计模式的请求驱动类型的轻量级Web框架，即使用了MVC架构模式的思想，将web层进行职责解耦，基于请求驱动指的就是使用请求-响应模型，框架的目的就是帮助我们简化开发，SpringWebMVC也是要简化我们日常Web开发的。
通过实现Model-View-Controller模式来很好地将数据、业务与展现进行分离。
2）SpringMVC框架结构：
3）SpringMVC流程分析图：
4.技术架构层次：
2.3系统关键技术设计
核心框架：
SpringFramework4.1
安全框架：
ApacheShiro1.2
视图框架：
SpringMVC4.1
服务端验证：
HibernateValidator5.2
布局框架：
SiteMesh2.4
工作流引擎：
Activiti5.21
任务调度：
SpringTask4.1
持久层框架：
MyBatis3.2
数据库连接池：
AlibabaDruid1.0
缓存框架：
Ehcache2.6、Redis
JS框架：
jQuery1.9。
CSS框架：
TwitterBootstrap2.3.1
动态页签：
Jerichotab
2.4数据库总体设计
●数据库选型
Oracle数据库
●命名规则
数据库：
按照整个项目名称使用英文命名。
数据表：
按照实体业务划分，每个表明以业务的英文名称命名。
字段名：
按照业务中所涉及到的参数命名英文名称。
●数据分区
主要做两种分区：
水平分区和垂直分区。
水平分区：
这种形式分区是对表的行进行分区，通过这样的方式不同分组里面的物理列分割的数据集得以组合，从而进行个体分割（单分区）或集体分割（1个或多个分区）。
所有在表中定义的列在每个数据集中都能找到，所以表的特性依然得以保持。
垂直分区：
这种分区方式一般来说是通过对表的垂直划分来减少目标表的宽度，使某些特定的列被划分到特定的分区，每个分区都包含了其中的列所对应的行。
●优化策略
主要针对以下方面进行优化：
1.数据库优化自由结构OFA
数据库的逻辑配置对数据库性能有很大的影响,为此,ORACLE公司对表空间设计提出了一种优化结构OFA。
使用这种结构进行设计会大大简化物理设计中的数据管理。
优化自由结构OFA,简单地讲就是在数据库中可以高效自由地分布逻辑数据对象,因此首先要对数据库中的逻辑对象根据他们的使用方式和物理结构对数据库的影响来进行分类,这种分类包括将系统数据和用户数据分开、一般数据和索引数据分开、低活动表和高活动表分开等等。
数据库逻辑设计的结果应当符合下面的准则：
（1）把以同样方式使用的段类型存储在一起；
（2）按照标准使用来设计系统；
（3）存在用于例外的分离区域；
（4）最小化表空间冲突；
（5）将数据字典分离。
2.充分利用系统全局区域SGA；
SGA是oracle数据库的心脏。
用户的进程对这个内存区发送事务，并且以这里作为高速缓存读取命中的数据，以实现加速的目的。
正确的SGA大小对数据库的性能至关重要。
SGA包括以下几个部分：
（1）数据块缓冲区（datablockbuffercache）是SGA中的一块高速缓存，占整个数据库大小的1%-2%，用来存储从数据库重读取的数据块（表、索引、簇等），因此采用leastrecentlyused（LRU,最近最少使用）的方法进行空间管理。
（2）字典缓冲区。
该缓冲区内的信息包括用户账号数据、数据文件名、段名、盘区位置、表说明和权限，它也采用LRU方式管理。
（3）重做日志缓冲区。
该缓冲区保存为数据库恢复过程中用于前滚操作。
（4）SQL共享池。
保存执行计划和运行数据库的SQL语句的语法分析树。
也采用LRU算法管理。
如果设置过小，语句将被连续不断地再装入到库缓存，影响系统性能。
另外，SGA还包括大池、JAVA池、多缓冲池。
但是主要是由上面4种缓冲区构成。
对这些内存缓冲区的合理设置，可以大大加快数据查询速度，一个足够大的内存区可以把绝大多数数据存储在内存中，只有那些不怎么频繁使用的数据，才从磁盘读取，这样就可以大大提高内存区的命中率。
3.规范与反规范设计数据库；
1）规范化
范式是符合某一级别的关系模式的集合，根据约束条件的不同，一般有1NF、2NF、3NF三种范式。
规范化理论是围绕这些范式而建立的。
规范化的基本思想是逐步消除数据依赖中不合适的部分，使模式中的各关系模式达到某种程度的“分离”，即采用“一事一地”的模式设计原则，因此，所谓规范化实质上就是概念的单一化。
数据库中数据规范化的优点是减少了数据冗余，节约了存储空间，相应逻辑和物理的I/O次数减少，同时加快了增、删、改的速度。
但是一个完全规范化的设计并不总能生成最优的性能，因为对数据库查询通常需要更多的连接操作，从而影响到查询的速度。
故有时为了提高某些查询或应用的性能而有意破坏规范规则，即反规范化。
2）反规范化
⑴反规范的必要性
是否规范化的程度越高越好呢？
答案是否定的，应根据实际需要来决定，因为“分离”越深，产生的关系越多，结构越复杂。
关系越多，连接操作越频繁，而连接操作是最费时间的，在数据库设计中特别对以查询为主的数据库设计来说，频繁的连接会严重影响查询速度。
所以，在数据库的设计过程中有时故意保留非规范化约束，或者规范化以后又反规范，这样做通常是为了改进数据库的查询性能，加快数据库系统的响应速度。
⑵反规范技术
在进行反规范设计之前，要充分考虑数据的存取需求，常用表的大小、特殊的计算、数据的物理存储等。
常用的反规范技术有合理增加冗余列、派生列，或重新组表几种。
反规范化的好处是降低连接操作的需求、降低外码和索引数目，减少表的个数，从而提高查询速度，这对于性能要求相对较高的数据库系统来说，能有效地改善系统的性能，但相应的问题是可能影响数据的完整性，加快查询速度的同时降低修改速度。
3）数据库设计中的优化策略
数据应当按两种类别进行组织：
频繁访问的数据和频繁修改的数据。
对于频繁访问但是不频繁修改的数据，内部设计应当物理不规范化。
对于频繁修改但并不频繁访问的数据，内部设计应当物理规范化。
比较复杂的方法是将规范化的表作为逻辑数据库设计的基础，然后再根据整个应用系统的需要，物理地非规范化数据。
规范与反规范都是建立在实际的操作基础之上的约束，脱离了实际两者都没有意义。
只有把两者合理地结合在一起，才能相互补充，发挥各自的优点。
3.运营体系设计报告
3.1环境因素
●业务描述
环境因素主要包含气象资源、土地资源、水资源和病虫害信息等。
气象资源包括自然资源，如气候资源，也涵盖着与气象相关的所有信息，包括温度、湿度、光照强度、风速、风向、降雨量等数据。
土地资源包含自然属性和经济属性，经济属性包括地块信息、土地面积、坐落、土地确权信息等，自然属性包括土壤水分、土壤PH、土壤水势、土壤紧实度、土壤盐分、土壤温度、有机质、有效钾、速效磷、铵态氮等数据。
水资源包括大气水、地表水和地下水，此次只收集地表水和部分地下水资源数据，如河流信息、水库信息和农村水利灌溉工程信息等。
病虫害信息包括病害信息记录、统计孢子情况、病害照片；虫害信息记录、虫情照片、统计计数等；植物本体数据如果实膨大、茎秆微变化、叶片温度等。
●功能架构
环境信息
●数据采集
气象资源数据由气象局监测数据和局部气象站监测数据组成。
气象资源从中央气象局、省气象局、市气象局的信息接口中获取温度、湿度、光照强度、风速、风向、降雨量等气象资源信息，作为基础气象资源数据。
规模化种植基地或种植示范园区使用气象监测仪器采集光照时长、温度、湿度、光照强度、风速、风向、降雨量等信息，通过GPRS上传大数据平台。
有物联网设备单独上传数据的地块，数据以设备上传的数据为准，没有的地块以中央气象局对接的统一数据为准。
户外气象站
土地资源信息与国土资源局、农业局对接，通过接口对接、数据导入和人工录入的方式获取土地资源信息。
规模化种植基地或种植示范园区可使用土壤检测仪器获取土壤综合性状，如土壤水分、土壤PH、土壤水势、土壤紧实度、土壤盐分、土壤温度、有机质、有效钾、速效磷、铵态氮等信息，通过GPRS上传到农业大数据平台。
土壤检测仪
水资源数据与水利局对接，通过数据导入或人工录入的方式获取水资源信息。
病虫害信息从农业局获得数据，通过物联网设备、数据导入或人工录入的方式上传到农业大数据平台。
3.2种植过程监管系统
●业务描述
种植过程采集子系统
围绕种植过程对农户、合作社、种植基地、地块、投入品（种子、农药、化肥等）、环境数据（温度、光照）以及从播种、灌溉、病虫害防治到收获等农事活动进行数据收集。
对收集的数据进行分析后，对施肥、灌溉、病虫害防治等农事活动提供合理的建议。
种植基地信息：
维护种植基地的基本信息，包括但不限于基地名称，基地简称、基地地址，所属企业、行政区划、创建时间、主推产品、面积、产地认证、基地等级、联系人、联系手机号、责任人员、状态等。
地块信息：
对全市的地块信息进行维护，包括地块编号、地块名、所属基地、地块面积、地块类型、土壤类型、灌溉类型、土壤ph值、日照时间等。
采购管理：
对基地使用的投入品采购信息进行记录，包括但不限于投入品类型、购入农户（基地）、购入日期、数量、购买商家、生产厂家信息等。
种植计划：
记录地块计划情况，为政府调控种植结构、产品预售提供数据支持。
具体信息包括：
计划日期，操作人员，计划类型（种植计划），地块编号，种植日期，种植作物，种植面积，预计产量，预计收获日期，监管人员，状态，创建时间，创建人，备注等。
农事记录：
记录种植过程中所有农事活动的情况，包括播种、灌溉、施肥、农药、除草、收获等。
并对在进行农事生成过程中的用药、用肥、除草等方面进行监控。
包括单据编号、农事日期、农事类别（播种、灌溉、施肥、农药、除草、收获、其他）、农事名称（播种：
品名；施肥：
品名（腐熟农家肥，化肥，生物肥，其他肥类）、方式，用量；农药：
品名，生产厂家，批号，用量，剂量，水浓度；除草：
品名，方式，用量；收获：
产量）、农事方式、生产厂家、批号、用量、剂量、水浓度、责任人员、备注、监管人员、监管日期等。
病虫害防治记录：
对种植过程中对病虫害进行防治的情况进行记录，为病虫害防治应用提供基础数据。
包含病虫害名称、地块、用药情况、损害情况等。
农产品收获记录：
农产品成熟以后，形成收获记录信息。
包含地块、作物、种植面积、产量、收获方式、种植日期、收获日期等。
设施农业监控系统
通过在生产现场部署传感器、控制器、摄像头等多种物联网设备，借助电脑、智能手机，就能实现对农业生产现场气候变化、土壤状况、作物生长、水肥使用、设备运行等实时监测展示，对异常情况的自动报警提醒，生产者可及时采取防控措施，降低生产风险；同时生产者可远程自动控制生产现场的灌溉、通风、降温、增温等设施设备，实现精准作业，减少人工成本的投入。
智能物联网设备
根据农业生产需求，定制建立标准化生产管理流程，流程一经启动，平台将自动进行任务创建、分配与跟踪。
工作人员可在手机上收到平台发布的任务指令,并按任务要求进行农事操作与工作汇报。
同时，管理者亦能在平台中对工作人员进行任务派发与工作效率监督，随时随地了解园区生产情况。
此系统适用于温室大棚。
水肥一体化智能监控系统
系统由云平台、墒情数据采集终端、视频监控、施肥机、过滤系统、阀门控制器、电磁阀、田间管路等组成。
系统可根据监测的土壤水分、作物种类的需肥规律，设置周期性水肥计划实时轮灌。
施肥机等智能硬件会按照用户设定的配方、灌溉过程参数自动控制灌溉量、吸肥量、肥液浓度、酸碱度等水肥过程的重要参数，实现对灌溉、施肥的定时、定量控制，充分提高水肥利用率，实现节水、节肥，改善土壤环境，提高作物产量、品质。
此系统可广泛应用于大田、温室、果园等种植灌溉作业。
水肥一体化
●功能架构
种植过程采集子系统
●数据采集
对自身有运营系统的企业，可提供统一的接口给他们做系统对接，以保证数据的上传。
对于自身没有运营系统的企业，提供种植过程采集系统或设施农业监控系统或水肥一体化智能监控系统，由企业采集数据并上报数据到农业大数据平台。
3.3养殖过程监管系统
●业务描述
电子养殖档案
采集养殖场、养殖户在从事养殖过程中的投入品（兽药、饲料等）、动物疫病、畜舍环境等信息并进行监控。
一是为奶蛋肉等产品提供源头追溯提供基础数据。
二是运用大数据挖掘技术对采集到的信息进行分析，为降低疫病发病、减少死亡数、提供数据支撑。
养殖场信息：
维护养殖场的基本信息，包括养殖场名称、养殖场规模、经营地址、法人代表、联系电话、畜禽标识编号、动物防疫合格证编号、畜禽种类、养殖场平面图、养殖场免疫程序等信息。
生产记录：
维护养殖场生产死亡记录，包括养殖基地编号、圈舍号、时间、出生数、调入数、调出数、死淘数、动物检疫合格证明编号、动物检疫合格证附件、动物检疫合格证附件、调出去向、存栏数、死淘原因、备注等信息。
圈舍号填写畜禽饲养的圈、舍、栏的编号或名称。
不分圈、舍、栏的此栏不填，存栏数为上次存栏数与变动数量之和。
投入品使用记录：
记录养殖过程中投入品的使用情况，包括养殖场编号、开始使用时间、投入品名称、生产厂家、批号、加工日期、用量、停止使用时间、原料组成、详细成分、备注等信息。
消毒记录：
记录养殖场实施消毒的情况，包括养殖基地编号、日期、消毒场所、消毒药名称、用药剂量、消毒方法、操作员签字等信息。
用药剂量，填写消毒药的使用量和使用浓度，消毒方法，填写熏蒸、喷洒、浸泡、焚烧等。
免疫记录：
记录养殖场畜禽免疫信息，包括养殖场编号、时间、圈舍号、存档数量、免疫数量、疫苗名称、疫苗生产厂、批号有效期、免疫方法、免疫剂量、免疫人员、未免疫动物耳标号、备注等信息。
免疫方法填写免疫的具体方法，如喷雾、饮水、滴鼻点眼、注射部位等方法。
诊疗记录：
记录养
升级会员 