大数据功能模块概要设计V11.docx

1、大数据功能模块概要设计V11第1章系统总体架构第2章通用组件2.1基础页面组件前端页面JS框架，采用jquery为基础开发框架；为考虑对IE6，7，8的兼容性；建议版本为：1.7.2；基于jquery的UI框架，目前流行的有：easyui 、jquery ui 、dwz；这三个各有一部分对基础页面组件的支持；（考虑到这些基础UI框架可能存在的不兼容性，建议只选择一个，对于UI框架不支持的组件，另外选择开源提供）对于常用的基础页面组件选型如下：组件分类特殊提供UI框架提供基于jquery的UI框架easyuijquery uidwz图表组件jfreechart/fushioncharts(商业）

2、在线编辑器KindEditor/CKEditor有文件处理上传：jquery.form.js有（多文件上传）表单验证jquery.validate.js（可自定义验证规则，包括正则表达式验证）有listbox组件UI框架支持有日期组件my97Date.js输入框html原生的text标签UI框架支持有有进度条UI框架支持有有对话框UI框架支持有有有按钮UI框架支持有有有各种Grid分页的grid:flexgrid进行改造；需要服务端配合提供model有有有各种TreezTree.js各种MenuUI框架支持有有有Tab组件UI框架支持有有有Form组件标准的即可，如果需要做ajax提交，建议使

3、用：jquery.form有下拉框对于参数类的，可以使用自定义JSLT标签来处理；通用的JS下拉框，可以考虑使用UI框架的UI框架支持有有有自动填充（auto complete)UI框架支持有ComboBox有遮罩组件jquery.blockUI.js2.2基础技术组件开源自主开发任务调度quartz组件验证struts2的验证框架？分页自主开发；需要与前端页面的分页grid组件搭配使用；需要考虑ORM层的适配字典组件自主开发；建议将字典信息通过缓存组件进行存储管理；另外需要开发自定义标签库，提高前台页面使用字典信息的开发效率缓存需要考虑缓存服务器的选型之后才能明确配套的缓存组件日志slf4j

4、 + log4jFTPcommon-net.jar 其中的FtpClient导入导出（excel/pdf)异步操作excel:jxl 或者 poi ，如果要支持excel2007以后的版本，需要考虑用poi3.6pdd : 考虑 pdfbox /iTextXML文件解析dom4j、DigesterWebSerives发布考虑开发框架，如果是spring，建议使用cxf；2.3基础类库J2EE服务端开发所需要的基础类库包括：apache-common对基础类的一些扩展；包括了：commons-beanutils.jar commons-collections.jar commons-fileup

5、load.jar commons-io.jar commons-lang.jar commons-lang3.jar commons-logging.jarjson-lib对json数据格式的解析、封装；提供将json字符串，到Bean或者List的转换；或者将Bean或者List转换为 json字符串； junit进行单元测试的基础包；建议使用 junit4struts2 / spring mvcMVC 的 C 层的选型spring业务处理逻辑层，建议使用spring3.0以上版本；ibatis / mybatis/ hibernateORM层的选型第3章选型3.1中间件商业：weblogi

6、c、webshpere开源：jboss、jetty、tomcat对于中间件有要求：部署的时候，需要支持jdk6.0；如果是weblogic建议使用10.3以上版本，采用sun-jrocket的jdk;websphere 要求6.1以上版本；3.2数据库3.2.1关系型Oracle / MySQL;如果是oracle，要求10g以上版本，并且已经升级地理数据库3.2.2NoSQLmongodb / hadoop / hive /hbase /memcached/redis3.3底层开发框架3.3.1Java 服务端开发框架struts2 + spring3+ ibatis (?mybatis)?

7、spring3+ibatis (?mybatis) ?3.3.2前台WEB端开发框架JS框架：建议使用jquery ；为兼容IE6，7，8的浏览器，使用jquery1.7.2的版本；所使用的UI组件，需要与jquery1.7.2兼容；HTML+CSS：为兼容IE6，7，8；不建议使用HTML5+CSS3的模式；而是采用目前的html4 + CSS 2;3.4服务总线自行开发3.5开发工具Java：J2EE开发：eclipse桌面应用开发：netBean 或者 eclipse + swt插件3.6版本控制工具SVN3.7报表/图形展示第4章用户组织管理4.1用户组织、权限、登陆、日志系统架构图4

8、.2对外接口开发 用户组织管理的核心在于对外提供一套标准的员工和组织接口，包括各种API接口、WEBService服务接口、界面接口等。 定义该接口的目的，是为了屏蔽在项目实施过程中，不同的项目可能存在着不同的用户组织管理方式。针对不同的用户组织管理系统，只需实现一个基于该接口定义的适配器就可以了。而基于该员工组织接口开发的其它业务模块，不必再修改关于用户组织模块的内容了。4.2.1API接口列表根据员工ID查询员工基本信息根据组织ID查询下属所有员工信息根据组织ID取得其管理员集合根据组织ID取得下属组织信息根据组织类型ID取得组织类型信息根据员工名称查询员工基本信息根据员工代码查询员工基本

9、信息根据员工ID取得其行政隶属组织信息根据员工ID取得被该员工管理的组织信息根据员工ID取得所属的所有组织根据一批员工ID查询一批员工基本信息；登陆系统重设密码锁定用户内部功能说明4.2.2界面接口选择组织树（单选）选择组织树（多选）先选组织树，再选组织下的员工（单选）先选组织树，再选组织下的员工（多选）4.3内部功能实现4.3.1组织管理 在一个系统中，可能存在着多套组织，意味着每个组织都有自己的根节点，系统需要支持管理不同的组织树。可以通过组织类型来区分不同的组织树。 组织树包含的字段为：组织ID、组织父ID、组织名称、组织类型、备注。 以下是该模块的操作方式：在界面左侧点击按组织搜索标签

10、页，出现组织树，点击其中一项组织，右侧组织详细信息会显示组织的详细信息。修改其中的信息，点击保存按钮，完成修改组织基本信息操作。 点击删除按钮，完成删除组织操作。在界面右侧组织详细信息点击新增按钮，在组织详细信息中填入组织的基本信息，点击保存按钮，完成新增组织操作。4.3.2人员管理 人员管理包括管理人员的基本信息，扩展信息，操作员信息，以及所属的组织信息。 人员的基本信息字段为：待定。 扩展信息字段为：待定。 操作员信息字段为：待定。在本系统中，一个人员只设置一个唯一的登陆工号。 所属的组织信息字段为：组织ID、人员ID、关联类型。对于关联类型，需要设置关联类型静态参数，比如隶属员工，部门领

11、导等。 在界面左侧点击按组织搜索标签页，出现组织树，点击其中一项组织，在左下侧搜索结果/员工列表会出现该组织所属的员工，选择员工列表中一个员工，右侧员工详细信息会显示员工的详细信息。修改其中的信息，点击保存按钮，完成修改员工基本信息操作。点击删除按钮，完成删除员工操作。在界面右侧员工详细信息点击新增按钮，在员工详细信息中填入员工的基本信息，点击保存按钮，完成新增员工操作。 在新增或修改操作员时，点击新增员工组织关系，弹出员工组织关系维护界面，在组织名称选择框中选择所属组织，在是否被管组织中选择，员工是否是这个组织的管理员，在是否直属组织中选择，该组织是否是该员工的直属组织。填写完毕，点击保存按

12、钮，保存员工组织关系。一个员工可以有多条员工组织关系 ，其中一个员工只能且必须有一个直属组织。4.4部署 员工组织模块，可以和业务系统合在一起部署，也可以分开部署。4.5安全和性能4.5.1安全 为了保证员工的密码的安全，系统采用不可逆的双重MD5加密技术。 在密码传输过程中，采用SSL加密传输方式，防止密码在传输过程中被截获。4.5.2性能 为了保证外围接口调用的实时性，需要将组织员工数据加载到缓存中，并采取定时更新、通知更新等策略，保证接口调用的实时性和准确性。4.5.3可靠性 如果用户组织系统与业务系统合在一起部署的话，用户组织系统的可靠性策略同业务系统； 如果用户组织系统单独部署的话，

13、需要部署2套以上，用4层交换负载向外提供服务。第5章权限5.1对外接口开发5.1.1API接口列表获取用户的功能菜单列表根据员工ID查询员工所拥有的角色信息根据员工ID、功能点ID，判断员工是否有改功能点的权限5.2内部功能实现授权管理主要包括外围需要管理的系统，以及每个系统所包含的菜单或权限点，及数据权限管理。5.2.1外围系统管理 该模块主要管理所有需要登陆、验证、权限校验的外围系统。字段包括：所有被管理系统的ID、系统名称等信息等。5.2.2菜单及权限点管理 该模块将各个系统的菜单、权限点（主意涉及到按钮的权限）管理起来。字段主意包括：系统名称、菜单ID、菜单类型（普通菜单或权限点）、菜

14、单URL或权限点唯一名称、名称、备注等。5.2.3数据范围管理 该数据范围管理，主要管理特定的表，可以允许查询的数据范围、字段等。还包括数据操作权限管理。待定。5.2.4角色管理 角色管理主要指将菜单或权限点、数据范围打包成一个集合。5.2.5角色与菜单、权限点、数据权限范围管理 将菜单、权限点、数据权限与角色进行关联。5.2.6按角色授权 该模块用于按角色授权，先选中某一个角色，再选择将该角色授权于哪些人。5.2.7按用户授权 先选择一个用户，再选择授权给给用户的权限角色。5.3部署 权限模块，可以和业务系统合在一起部署，也可以分开部署。5.4安全、性能、可靠性5.4.1安全 权限系统安全，

15、主要依赖于用户组织管理模块的安全实现。5.4.2性能 为了保证外围接口调用的实时性，需要将权限数据加载到缓存中，并采取定时更新、通知更新等策略，保证接口调用的实时性和准确性。5.4.3可靠性 如果权限系统与业务系统合在一起部署的话，权限系统的可靠性策略同业务系统； 如果权限系统单独部署的话，需要部署2套以上，用4层交换负载向外提供服务。第6章单点登陆6.1对外接口开发 单点登陆对外提供的接口，包括WEB SERVICE接口和外围系统的客户端包。6.1.1API接口列表根据员工ID获取单点登陆token码根据用户工号、单点登陆token码验证是否合法或过期。6.1.2客户端JAR包 外围系统，如

16、果需要使用单点登陆系统的话，需要在客户端工程中加入单点登陆的客户端JAR包，并在客户端中做单点登陆认证的相关配置。6.2依赖的外部接口 单点登陆依赖的外部接口包括：根据用户名密码验证账号合法性6.3内部功能实现6.3.1CA证书 该模块负责对CA证书进行统一管理和分发。6.3.2登陆 调用外部接口进行用户登陆，并返回相应的token值。6.3.3CAS-SERVER端其它开发工作 SERVER端需要开发改造的内容如下：根据CAS接口，实现用户的登陆验证功能；掌握与各种流行的WEB服务器的集成配置；掌握CA证书的生成、配置。 6.4部署 单点登陆系统需要独立部署。6.5安全和性能6.5.1安全

17、单点登陆系统采用256位CA加密证书、HTTPS加密传输的SSL协议来保证系统的安全。 6.5.2性能 为了保证外围接口调用的实时性，需要将组织员工数据加载到缓存中，并采取定时更新、通知更新等策略，保证接口调用的实时性和准确性。 同时，系统产生的登陆token值，也需要放在缓存中。6.5.3可靠性 鉴于单点登陆的重要性，所有外围系统依赖该系统对外提供登陆功能，所以单点登陆的可靠性尤为重要。单点登陆系统需要部署2套以上，用4层交换负载向外提供服务。第7章日志记录及审计模块7.1日志管理调用关系架构7.2对外提供的SOA日志接口7.2.1统一登陆日志接口外围接口必须调用日志管理提供的统一的登陆日志

18、接口，记录记录用户的状态及信息。通过日志管理平台可查询到平台的所有用户登陆信息。7.2.2统一数据交换日志接口外围接口必须调用数据交换日志接口。数据信息交换时调用数据交换日志接口，实现对数据交换的日志信息记录。7.2.3统一数据整合日志接口外围接口必须调用数据整合日志接口。数据信信整合时调用数据整合日志接口，实现对数据整合的日志信息记录。7.2.4接口调用日志接口采用Web Service接口形式来进行业务数据的交互，接口采用SOAP协议，因此在接口配置上面需要屏蔽HTTP GET和HTTP POST等其他协议，在接口中调用统一日志模块的功能进行日志记录，记录调用者的相关信息以及时间信息等。7

19、.3日志公共模块定义及其它对于各个系统中均需要开发但又不宜集中式管理的日志，由日志管理模块提供公用的模块供外围系统使用。对于各个子系统的业务日志，由各系统自行生成的日志信息分别存放在各个主机上，按业务、系统规范日志等级及存放目录，系统日志按天生成文件，具备在系统发生错误时可轻松排查问题的能力。7.3.1日志审计能够保存日志的详细信息，支持针对日志记录分类查询、检索、导出，方便后期整理、分析；支持根据日志的类型、时间、触发点进行查询，并能导出列表。 实现日志统一收集、分析和保存，采用统一日志审计平台能够有效管理所有生产系统的活动日志，以支持有效的审核、安全取证分析和预防非法入侵等。日志审计主要提供WEB方式根据已入库的日志，按用户、系统、时间、类型、某数据项等条件，进行审计分析。7.3.2日志备份系统日志保存期限按照风险等级不同来区分，至少不得少于一年。各系统中根据风验等级不同日志13个月定时迁移动到备份日志主机上。日志主机超过日志保存期的或日志主机容量超过80%时，系统自动出告警，人工确认是否将日志从系统中移除。