制造业MES产线IoT平台架构.docx
《制造业MES产线IoT平台架构.docx》由会员分享，可在线阅读，更多相关《制造业MES产线IoT平台架构.docx（7页珍藏版）》请在冰豆网上搜索。
制造业MES产线IoT平台架构
制造业MES产线IoT平台架构
Oracle全数据和云存储方案
对于大多数的制造企业来说，在快速发展的同时对大量数据进行访问、分析及管理越来越关键。
许多制造企业都在壇强制造质量的同时寻找提升缺陷跟踪及对完善供应链的优化能力,从而改善其整体的运营效率。
全数据解决方案可以帮助提高制造及运营效率，同时提供对公司运作的全方位观察，从而引导更好更及时的决策。
以全数据为基础的架构可以让企业有能力分析各类数据源以获得更好的洞察。
这会开拓企业的分析及预测选项,并会取得更好的成果。
Oracle是企业级解决方案的领导者，在企业纷纷思考大数据如何转换为价值的过程中，Oracle也在结合自己的经验和能力思考，并且总结出了全数据管理解决方案。
即对于结构化数据，Oracle建议采用关系型数据库来处理，其技术非常成熟，生态坏境也比较完善。
而对于非结构化数据，考虑到未来技术的发展和成本等因素，可以考虑基于Hadoop/NoSQL来处理，同时将关系型数据库成熟的经验和技术扩展到新技术平台。
全数据管理平台构建模式应该是关系型数据库和Hadoop/NoSQL相结合,在企业级产品方面Oracle推岀了Exadata+BDA的一整套全数据解决方案。
OracleExadata数据库云平台采用集成设计,旨在为Oracle数据库提供卓越的性能、极好的成本效益和极高的可用性。
Exadata可以运行所有类型的数据库负载,包括联机事务处理（OLTP）、数据仓库（DW）、内存中分析以及各种混合负载。
OracleBDA大数据机是f灵活、高性能安全的平台，用于在Hadoop.Kafka和NoSQL系统上运行不同的负载。
凭借OracleBigDataSQL,BDA将Oracle行业领先的SQL实现扩展至Hadoop/NoSQL和Kafka系统。
BDA将Hadoop生态系统的最新技术和强大的OracleSQL功能整合到一个预先配置的平台上,因而支持快速开发新的大数据应用程序,支持与现有关系型娄紧密集成,这在业界堪称独一无二。
Oracle存储云服务为您提供了一个通过互联网存储、管理和使用大量非结构化数据的易用的解决方氯您的应用程序可以使用OpenStackSwift兼容的RESTAPI或JavaAPI以编程方式访问Oracle存储云服务。
您可以使用基于web的图形控制台监视关键存储量度并管理用户和角色。
下面以一个真实的案例向您介绍如何通过ORACLE全数据平台+Cloud存储混合云架构设计，构建一个制造业MES产线IoT平台。
1.典型案例——某制造业MES产品检测系统大数据需求分析
1.1.数据源分析
・MES产品检测系统测试数据分为两类：
・SUMMARY概要数据
・DETAIL详细数据
OLOGFILE日志文件
oIMAGE»图片文件
・数据按RETENTION分类
・超躺据:
当前生产数据:
1天以内
■热数据：
1天至1月
・温数据：
1月至6月
■冷数据：
6月以上至2年
•具体数据分析如下：
SUMMARY
LOG
定义
测试数据的概
要信息
测试日志文件（测试数据的审田信息）
测试图片文件（测试数据的详细信息）
格式
结构化数据
结构化数据
非结构化数据
数据大小（每条）
10KB
50KB
5MB
产生数量/分钟
1000条
10万条
1000条
数据S/分钟数据天数据量/月数据*/半年数据*/年
10MB
14.4GB
432GB
2.592TB
5.184TB
5GB
7.2TB
216TB
1.296PB
2.592PB
5GB
7.2TB
216TB
1.296PB
2.592PB
数据访问性能要求
<=5秒（超热数据：
1天内）<二10分钟（热数据：
1天至1月）<-4小时（温数据：
1月至半年）<-24小时（半年至2年）
数据保留期限
超热数据:
当前数据1天以内
热数据：
1天至1月
温数据：
6月
冷数据：
2年超出2年则自动删除
存储位置
本地存储
本地存储+公有云
公有云
1.2.数据采集
测试数据最初是分散分布在各个测试端本地电脑上,后汇总采集存储至SQL数据库,
SUMMARY与LOGFILE数据以表的形式存储。
IMAGE则以文件的形式存储。
1.3.
数据分析
1.4.IoT闭环
大数据分析结果反馈至生产端，形成闭坏,最终指导生产，提高生产效率。
例如通过良率分析,发现生产参数,时间，测试指标结果和良率的相关性，通过与MES结合,实时监控生产参数和测试指标,并且做出预测，一旦发现缺陷数量有增加趋势时，可以通知人为介入,避免大量缺陷件的密集严生。
1.5.大数据分析处理流程图
2.Oracle全数据+云存储混合架构方案二>构建企业级IoT平台
2.1.超热数据处理阶段
由EXADATA+ORACLE
不超过一天的超热数据（SUMMARY与LOGFILE中间表麦
12c实现快速处理,尤其是大量的JOIN操作。
•Exadata所特有的SMARTSCAN、大容量智能缓存等功能，以及Oracle12C的IN
MEMORY列式内存计算、分区等功能可以实现非常高效地处理超馳据。
趨热数据（1天以内）
22热/温数
据处理阶段
•Oracle中的SUMMARY/LOGFILE中间表数据实时同步至BDA大数据一体机平台
■文件导入至BDA中的HDFS,表METADATA存储至HIVE
-导入工具为OGG
・BDA存储半年以内的热/温数据
•超出半年以外的LOGFILE数据则归档至公有云存储
23冷
数据处理阶段
•BDA大数据一体机中超出半年以外的LOGFILE数据归档至公有云
•IMAGE数据归档至公有云
24BDA方案整体架构图
基于客户需求理解，ORACLE建议如下：
超热数据的处理由Exadata来处理；Summary和Log文件都可以存放于BDA中，由于
Summary文件较小，且包含Log文件的访问信息，Summary文件一直存放在BDA中；Log文件冷数据归档窗口保持为6个月。
整体方案架构图如下:
说明：
1实时同步通过OracleGoldenGate进行实时同步。
OGG可以按照配置将更新的记录同步到HDFS中的文件，并且可以指定文件分割的大小。
2用户可以直接通过ClouderaHadoop平台进行数据访问，例如Impala、Hive等。
同时考虑到现有人员技能复用,也可以通过任4可一个Oracle12c实例，通过OracleBigDataSQL即可沿用Oracle数据库平台上的DBA管理和访问方法。
3Summary一直保存在BDA中，根据Summary中文件的URI可以定位到公有云中的文件，需要的时候可以将文件从公有云中恢复和下载到本地的BDA中进行查询。
IMAGE文件一直归档至公有
4Oracle云中数据湖解决方案可以提供灵活的Hadoop集群云服务，通过OpenstackSwift协议
映射成Hive表通过SQL
或者基于内存的大数据文件协议（BDFS）直接将Oracle存储云上的麦
进行查询访问和分析，未来冷数据的批量查询分析可以通过该方式实现，分析结果再返回本地使用，提升云中海量数据综合分析能力，减少海量数据在本地?
口云中频繁移动。
3.总结
通过采用全数据平台（Exadata+BDA）与归档云存储的混合架构,再加上GoldenGate实时的集成技术以及BigDataSQL、BigDataConnect.R等一系列大数据技术，可分别快速有效地处理大数据处理的不同阶段、不同类型数据。
该架构具体优势体现如下：
•全数据平台
支持SQL、NOSQL、
Exadata与BDA构成的全数据平台可支持各种结构化及非结构麦
HIVE、HDFS等各类数据平台。
■性能最优
Exadata与BDA均为软硬高度优化的TM七设备。
•统一SQL访问
OracleBigDataSQL提供了跨Hadoop集群/NoSQL数据库/Oracle数据库统一访问数据的
能力。
・极具优惠价格的存储云
以ArchiveStorage为例：
每月每GB容量价格为$0.0026,每月前10TB免费的下载优惠,相
对于AWS、阿里等都极具吸引力。
升级会员 