基于云平台的同步资源访问实现技术毕业论文.docx
《基于云平台的同步资源访问实现技术毕业论文.docx》由会员分享,可在线阅读,更多相关《基于云平台的同步资源访问实现技术毕业论文.docx(38页珍藏版)》请在冰豆网上搜索。
基于云平台的同步资源访问实现技术毕业论文
基于云平台的同步资源
访问实现技术毕业论文
第一章绪论
1.1研究目的及意义
随着当今科技的不断进步,云平台已获得当今大多数互联网公司的青睐,云计算按照出现的时间大致可分为三种:
任务集中交付的大型处理机模式、基于网络的分布式处理模式和最新的云计算模式。
云计算可以有效降低硬件成本,而且提高了云平台的调度灵活性。
当淘宝,京东等出现促销抢购的时候,出现网站崩溃的等现象,或者出现付款拥挤等现象。
因此对技术有了更高的要求。
近年来,计算机并发性问题越来越受到重视。
并发程序可以充分发挥软件和硬件的计算能力同时也提高系统性能。
然而,目前缺乏良好的多线程并发编程工具,所以正确编写并发程序是比较困难的。
共享内存并行程序可能会出现数据的竞争,这通常是由于造成同步出错,数据竞争属于海森堡错误,具有小确定和难重现的特点。
在共享的存储方案中,这样的错误将使程序运行具有小确定性。
在计算机系统中的广泛普及,特别是近年来微处理器技术的发展,计算机并发性问题越来越受到重视。
使用并发程序以充分发挥硬件的计算能力,提高系统性能。
共享存储器的并行程序可能会出现数据的竞争,这通常是由于错误的同步造成的,共享的存储方案中,这样的程序将造成不确定性的错误。
1.2国内发展状况和趋势
目前在国内,静态测试和动态测试技术方法难以准确识别并发程序竞争中的所有数据。
并发控制锁,信号量,线程等传统方法,在具体的实际应用中,以实现高并发性,但没有数据竞争等问题,这是一个并发程序在实际开发中我们实际内容传递网关的加密和解密系统的开发面临的一类特殊问题。
在系统触发时,有时一个任务系统执行了很多次,严重影响了系统的性能。
通过分析我们发现,从竞争的数据的重复性质,每个并行程序线程(线程在本文中也可以是一个过程),由于小确定的发生顺序,它导致了相同的任务重复进行并发程序只要有错误都有可能导致这种同步错误。
自那时以来,使用传统的并发控制,以避免这种重复计算是困难的,需要更复杂的一套转介机制。
为复杂的程序,如一些基于CORB、Web服务的技术和分布式应用系统,实现起来非常容易出错。
并实现一个性质计算的目的是充分地提高系统的运行效率,如果在重复计算并发会严重导致性能下降。
另外,在竞争问题的后果中接收的数据,在研究并发计算可提供参考的数据,以检测并发程序的竞争问题。
在重复并发控制复杂的过程中,它需要的工具和理论来分析。
目前,并发程序常用的分析方法有Petri网,自动机等。
Petri网是一个严格的数学语义形式化图形建模工具,适合在描述中并发,异步和分布式系统。
深入分析并发程序的重复计算,检测容易编写正确的数据和竞争问题,从这个例子本文定义了并行计算重复问题提出了相关的检测方法,以获得通用控制模型的并发程序。
数据源生产者消费者模型是基于Petri网的特定对象的算法,分析证明存在建设重复的问题,设计了一个单独的重复控制条件和控制条件下反复交叉两种算法,它们可以作为并发控制的固定模式来解决并发计算重复问题。
1.3本文主要研究内容京北方技术股份有限公司响应政府号召自助研发了京北方云平台。
本文的主要工作是对基于线程同步资源访问开发的云平台进行详细讲解,分析和研究生产者消费者算法开发的并发控制和并发计算重复控制,并以最大限度提升云平台承载量。
最终,设计出可承载超大访问量的云平台,以满足用户的访问。
本文后续内容安排为:
第二章为基于云平台同步资源访问网站的需求分析。
本人在京北方信息技术股份有限公司工作,并和团队一起开了京北方录入云平台,并主要开发同步资源访问模块。
其中包含四个系统
(1)业务传输系统
(2)模块定制与切换系统(3)任务调度系统
4)版面分类功能(5)日常作业系统。
并对这四个系统进行详细开发
第三章为相关理论和技术。
分为云平台的概概况发展过程,同步资源访问算法设计和开发技术应用,说明了云平台整体的设计思想和架构,以及云平台整体的开发思路。
简要介绍了Java语言的优势,并设计完美的开发框架和开发环境。
以我们团队开发的京北方信息技股份有限公司开发的项目进行讲解,并介绍了简单的加、解密算法的状态和过程。
第四章为基于云平台同步资源访问技术实现设计。
主要讲解云平台设计原则和体系结构设计,说明了同步资源访问部分的整体思想和内外网的设计思想,还有相关的数据库设计,并对前台和后台详细设计进行讲解,主要对生产者消费者算法进行java程序设计。
第五章为基于云平台同步资源访问技术详细设计详解,主要讲述云平台的整体美工制作,最新前端技术的应用和项目开放时的界面截图。
详细对功能进行描述,主要对用户管理,和用户交流进行详解,最后讲解加密算法,对客户的信息进行加密进行描述。
第六章为云平台的系统测试与性能分析。
对云平台整体系统进行了整体测试,比如运营模块的测试、后台管理模块的测试,并提出后台开发对策及安全防范方案。
最终对云平台进行黑白盒测试,并预测可能出现的情况,并得出了相应的结果。
最终,证实了京北方云平台的可实现性。
第二章基于云平台同步资源访问网站需求分析
2.1业务传输系统
2.1.1下载系统
(1)功能描述
主要是将从客户端下载的相关业务数据根据京北方公司的内部约定,规范为统的规则和结构,该功能可以根据客户的不同需求要做定制的开发。
表1-1黑龙江大学本科生毕业论文、毕业设计撰写使用题序层次表
描述
业务流程
功能描述
业务流程定义
功能要求
从配置好的信息中寻址,并下载相关的业务;下载完成后,需要对数据进行
规范性梳理,梳理为京北方通用格式数据。
操作角色
系统本身
输入
客户数据
输出
京北方通用格式数据
对应页面
Rdir/systemManage/net/northking/sysmanage下全部文件
(2)业务流程图
疋
结束
(3)约束说明
京北方通用格式数据、规则。
一般性约束,一般情况下需要特殊字符的约束,根据经验目前需要约束以下字符的录入。
〜、!
、@#、$、%八、&*、(、)、_、+、V、>、?
、{、}、
2.1.2导入系统
(1)功能描述
京北方根据统一的规则和结构把业务数据导入到数据库的相关文件夹下,该系统理论上不用做二次的调整和开发,一次开发完成后仅需调优即可。
表1-2黑龙江大学本科生毕业论文、毕业设计撰写使用题序层次表
描述
业务流程
功能描述
业务流程定义
功能要求
把规范数据导入数据库,并把相关影像文件放置项目规定位置
操作角色
系统本身
输入
规范数据包括影像和图片和相关文件
输出
对应页面
数据存储以及影像和图片存储
Rdir/systemManage/net/northking/inport下全部文件
(2)业务流程图
开始
规范数据
解析XML
存储数据
成功结束
(3)约束说明
数据库表设计约束,包括字段长度、字段类型
2.1.3导出系统
(1)功能描述
京北方将经过录入的数据按照客户的要求进行相应的转换,同时需要生成客户需要的文件或报表,一般情况下是代码转换和报文生成。
因此该功能应该不仅仅局限于客户需要的文件,需要扩大范围,比如自动生成基地需要的相关统计日结文件等。
表1-3黑龙江大学本科生毕业论文、毕业设计撰写使用题序层次表
描述业务流程
功能描述业务流程定义
功能要求
1•根据业务规则生成客户需要的文件;
2•管理员需要的相关日结文件。
操作角色
系统本身
输入
录入员录入的兀素
输出
1•客户需要的文件;
2•日结文件一般情况为Excel;
对应页面
Rdir/systemManage/net/northking/export/下全部文件
(2)业务流程图
成功
结束
(3)约束说明
客户规则约束,常识约束(泛指字段类型,比如日期为8位数字、邮编为6位、身份证
号等)。
2.1.4回传系统
(1)功能描述
京北方把客户需要的文件和报表通过系统传输至客户前置机中。
表1-4黑龙江大学本科生毕业论文、毕业设计撰写使用题序层次表
描述业务流程
功能描述
功能要求
业务流程定义
把客户需要的结果传给客户
操作角色
输入
输出
对应页面
系统本身
风险控制(仲裁、质检、系统规则性校验)后的录入结果
客户需要的结果
Rdir/systemManage/net/northking/return/下全部文件
(2)业务流程图
开始
结束
(3)约束说明
客户规则约束
2.2模块定制与切换系统
京北方对影像OCR切分系统是决定录入质量的最为重要的因素,该过程中需要包
含影像处理功能、OCRS别功能、以及影像根据坐标进行切割功能
影像预处理:
是指在数据采集之前对影像的质量进行检查并对影像的大小分别率
进行调整的过程,目前全部为自动处理,比如格式转换,分辨率调整等,存在一个弊端:
即坐标不准导致切分不准。
(1)OCF识别功能
模板定制功能包括:
影像字段创建、字段坐标创建两部分。
这个大的系统模块需要把目前使用到的字段切块坐标定制系统进行改造和升级。
影像字段创建:
是指根据客户的要求,将客户单证、凭证所涉及的影像按需分类,并统一分配固定的编号或名称,并将每张影像上需要采集的字段信息进行统一统一的标示以及对其属性进行定义的过程。
京北方在定义过程中体现出该字段的级别,每一个级别对应不同的录入人员的级别。
(2)切块坐标创建
京北方在该功能上包含两个部分:
大切块的坐标创建和字段级的切块定义。
大切块的坐标创建:
主要是完成父字段切块坐标的创建,防止字段级切分失败或无法切分需要沿用目前统一平台系统切块坐标的定义方式。
字段级的坐标定义:
主要是目前云平台录入所使用的坐标定义,这个坐标定义需要进行细致化定义。
关于OCR识别、切分建议:
基于云京北方平台切分碎片化的特点,以切分的坐标为涵盖该字段的手写范围,致使相应错误很多(非人为),特别建议:
①切分坐标:
涵盖字段手写范围。
②OCR识别坐标:
字段范围
京北方关于项目生产的流程定制。
根据项目的不同:
①定制不同的流程。
②根据字段的特点,定制字段的流程,设置开关参数。
③根据条件定制指定字段流程,设置快开关空值。
(如:
两录为空时,释放重新进行两录(优先级为立即处理),次数,按参数设置;两录不一致时,重新进行录入(优先级为立即处理),录入次数,按参数设置,然后与两录进行比对,与其中比对一直时通过,均不一致时,进定制流程进仲裁,功能实现开关参数设置)。
关于字段精准的控制:
根据项目的不同:
分为“切分字段”设置和“项目字段”设置。
“切分字段”设置:
①字段分类(数值、文本、...)。
②字段提示信息。
③字段提示示例。
④字段输入字典提示选择。
⑤字段控制:
大小写输入框的自动转换控制和校验(身份证号、手机号、固定电话、姓名拼音格式、校验错误提示信息。
⑥录入转换提示的参考信息(输入小写数据,提示英文等大写的信息)。
⑦字段空格的剔除(选项),以下情形中选择一种:
需连续的值,提交时剔除全部空格,使其连续和空格超数量,剔除超出部分(如:
拼音姓名,姓名之间只允许空1个字符)。
⑧“字
段空值控制”字段配置(按参数表)
“项目字段”设置:
①回拼“切分字段”。
②字段空格剔除(选项)。
③字符
转换(大小写、“*”、替代字符、特殊字符...)
关于其他的控制。
根据项目的不同:
①节点配置。
②项目优先级配置。
③交付值控制。
2.3任务调度系统
任务调度系统顾名思义就是对第三方对象的管理、任务的分配、回收以及优先级调整等功能。
京北方根据以往的经验,在任务分配时需要保证我司的作业