11达内 第十二组第一小组 DMS数据挖掘项目概要设计说明书V20.docx
《11达内 第十二组第一小组 DMS数据挖掘项目概要设计说明书V20.docx》由会员分享，可在线阅读，更多相关《11达内 第十二组第一小组 DMS数据挖掘项目概要设计说明书V20.docx（15页珍藏版）》请在冰豆网上搜索。
11达内第十二组第一小组DMS数据挖掘项目概要设计说明书V20
数据挖掘系统
DataMiningSystem
概
要
设
计
说
明
书
组号：
第十二组
组长：
组员：
指导老师：
完成日期：
1引言2
1.1编写目的2
1.2背景2
1.3定义2
1.4参考资料3
2总体设计3
2.1需求规定3
2.2运行环境3
2.2.1软件环境3
2.2.2硬件环境3
2.3基本设计概念和处理流程4
2.4结构4
2.5功能需求与程序的关系4
2.6人工处理过程5
2.7尚未解决的问题5
3接口设计5
3.1用户接口5
3.2外部接口5
3.3内部接口6
4运行设计6
4.1运行模块组合6
4.2运行控制6
4.3运行时间7
5系统数据结构设计7
5.1逻辑结构设计要点7
5.2物理结构设计要点7
5.3数据结构与程序的关系9
6系统出错处理设计9
6.1出错信息9
6.2补救措施10
6.3系统维护设计10
1引言
1.1编写目的
该概要设计文档描述了DMS电信计费后台系统项目的概要设计，在明确系统需求的基础上划分了系统的功能模块，进行系统开发的分工，明确各模块间的接口，为进行后面的详细设计和实现做准备。
本次概要设计说明书的读者对象是第十二小组的研发工程师、测试工程师。
1.2背景
本次DMS项目，有一个Unix实验室出租业务。
该业务主要是用户向电信运营商申请一个Unix帐号，就可以远程登录Unix实验室，并使用Unix系统。
当然了，用户使用电信运营商提供的Unix实验室的服务需要缴纳一定的费用，电信运营商需要一套数据采集系统，把用户登录实验室的时间长度数据采集起来，便于在指定的时间范围内作为对用户的收费依据。
数据采集系统必须采集如下信息：
登录用户名，登录的时间，登出的时间，登录总的在线时间，登录的实验室IP，用户的终端IP等信息。
采集Unix机器记录的用户登入和登出的原始记录，并将这些记录解析匹配成用户的登录记录，然后发送给数据采集服务器，在服务器端将这些数据以日期为单位保存在数据库中，然后整合这些数据形成日报表，月报表和年报表。
1.3定义
DMS：
数据挖掘系统。
业务流程：
描述系统工作的总体过程。
物理结构：
描述系统各功能模块与物理设备之间的联系。
系统模块：
描述系统的功能模块。
接口设计：
设计出系统与用户，系统与外部，系统各功能模块之间的关系。
登录日志文件：
wtmpx文件是在Unix机器中自动记录用户登入/登出日志的文件，程序需要提取该文件的数据来匹配出用户登入/登出的记录，并将其作为将来的收费依据。
用户登入记录：
wtmpx文件中记录的用户登入Unix系统的日志记录，该日志记录包含用户的登录名，用户登入Unix的时刻，登录的终端机器IP等信息。
用户登出记录：
在登录日志文件中记录的用户登出Unix系统的日志记录，该日志记录包含用户的登录名，用户登出Unix的时刻，登录的终端机器IP等信息。
我们需要将用户的登入记录和登出记录匹配起来，得到一条条完整的登录信息，并计算出用户本次登录的时长。
用户登录记录：
在登录文档中将记录用户的登录名，登录时刻，登录终端极其IP等信息。
未匹配的登入记录：
登录日志文件wtmpx中正常情况下会一条登入记录跟一条登出记录匹配，但有时在我们采集数据时用户还没有登出，所以日志文件中可能出现没有登出记录与之匹配的登入记录，这些登入记录我们将其保存在一个指定的文件中，在下次采集时再读取。
1.4参考资料
《C++面向对象程序设计》主编：
谭浩强
《鸟哥的Linux私房菜》主编：
王世江
《数据结构》（c语言版）主编：
严蔚敏
《Linux环境C程序设计》主编：
许至君
《C++程序设计》主编：
戴世明
《大话数据结构》主编：
程杰
《软件测试》主编：
郑伟
2总体设计
2.1需求规定
说明对本系统的主要的输入输出项目、处理的功能性能要求。
数据采集模块：
利用wptmpx文件，负责读取数据；wtmpx文件负责记录用户名，密码，ip，登录时间，登出时间。
数据匹配和分析模块：
负责将数据采集模块采集到的用户登录记录数据按照登录登出关系匹配成完整的登录登出记录。
数据发送模块：
负责将匹配好的登陆登出记录发送到服务器上。
数据存储模块：
负责将数据接受模块接收到的数据写入数据集，保存为用户登录明细表。
数据整合模块：
将数据库中保存的用户登录记录明细表整合成日报表，根据日报表整合为月报表，根据月报表整合为年报表。
2.2运行环境
2.2.1软件环境
操作系统：
Linux/windows系统环境
数据库：
Mysql
编程软件：
QT4.0
主要技术：
C++、QT技术、数据库技术、多线程、生产者消费者模型
用户界面：
QT、web
2.2.2硬件环境
CPU：
intel（R）Core（TM）2CPU4400@2.00GHz（2CPUs）
内存：
2GB
硬盘：
75GB
显卡：
NvidiaGeForce7100GS
2.3基本设计概念和处理流程
2.4结构
数据含义
是否需要采集
备注说明
登陆用户名
是
匹配登录信息必须数据
用户端的IP
是
匹配登录信息必须数据
登入/登出时间
是
计算用户登录时间需要的数据
登陆实验室的IP
是
用户登录实验室的哪台机器
登录时间长度
通关匹配用户的登入与登出的时间计算登录时长
日登录时间长度
用户的登录信息整合出用户登录信息日报表
月登录时间长度
用户的登录信息整合出用户登录信息月报表
年登录时间长度
用户的登录信息整合出用户登录信息年报表
用户登录的日期
通过日期来整合用户的日/月/年报表
2.5功能需求与程序的关系
功能需求与程序的关系
数据读取
数据匹配
数据发送
数据接收
数据存储
数据整合
用户登入记录
√
用户登出记录
√
用户登录记录
√
√
未匹配的登入记录
√
√
日报表
√
月报表
√
年报表
√
2.6人工处理过程
人工处理过程是保证用户数据的安全及权限设置，使得某些重要的工作人员可以修改，查看数据。
2.7尚未解决的问题
在概要设计中，没有解决的是数据丢失和攻击系统，盗取毁坏信息。
针对这些问题，我们在编码实现时会着重考虑。
3接口设计
3.1用户接口
用户：
执行命令，启动DMS电信计费后台系统服务端程序。
系统：
服务端系统运行，等待接收数据。
用户：
执行命令，启动DMS电信计费后台系统客户端程序。
系统：
客户端系统运行，采集并发送数据。
用户：
修改客户端配置文件参数。
系统：
下次运行时根据新的配置参数来处理数据。
用户：
修改服务端配置文件参数。
系统：
下次运行时根据新的配置参数来处理数据。
3.2外部接口
系统读取用户登录记录文件，获得用户登录信息。
系统读取上次未匹配的登入记录文件，获取未匹配的登入记录数据。
系统将匹配好的数据写入指定数据库表中。
系统整合出月报表和年报表。
3.3内部接口
数据读取模块与数据匹配模块间的接口：
输入：
解析好的用户登入/登出记录列表。
输出：
无。
数据匹配模块与数据发送模块间的接口：
输入：
匹配好的用户登录记录列表。
输出：
无。
数据发送模块与数据接收模块间的接口：
输入：
匹配好的用户登录记录数据项。
输出：
接收成功与否的消息。
数据接收模块与数据保存模块间的接口：
输入：
匹配好的用户登录记录列表。
输出：
无。
数据保存模块与数据库间接口：
输入：
匹配好的用户登录记录列表。
输出：
无。
数据整合模块与数据库间接口：
输入：
用户登录记录明细。
输出：
用户登录记录日报表，月报表和年报表。
4运行设计
4.1运行模块组合
数据采集模块：
利用wtmpx文件，负责读取数据；wtmpx文件负责记录用户名，密码，ip，登录时间，登出时间。
数据匹配和分析模块：
负责将数据采集模块采集到的用户登录记录数据按照登录登出关系匹配成完整的登录登出记录。
数据发送模块：
负责将匹配好的登陆登出记录发送到服务器上。
数据存储模块：
负责将数据接受模块接收到的数据写入数据集，保存为用户登录明细表。
数据整合模块：
将数据库中保存的用户登录记录明细表整合成日报表，根据日报表整合为月报表，根据月报表整合为年报表。
4.2运行控制
1.用户登入/登出和查询用户信息需要进行身份验证，验证成功后才可进行相关操作。
2.管理员进行身份验证，验证成功后能够进行服务器数据的管理。
3.管理员整合出用户的登录信息，将用户的登录时长发送给用户。
4.3运行时间
1.用户在查询自己信息是用时较少，在登录实验室机器用时较多。
2.管理员在匹配用户的登录信息，整合用户的登录信息年、月、日报表时用时较多。
5系统数据结构设计
5.1逻辑结构设计要点
用户登入\登出记录（logname,id,type,logtime,logip）
用户登录记录（logname,logip,logtimein,logtimeout,timelong,labip）
未匹配的登入记录（logname,id,type,logtime,logip）
用户登录日报表（UID,SIP,daytTotalTime,dayDate）
用户登录月报表（UID,SIP.monTotalTime,monDate）
用户登录年报表（UID,SIP,yearTotalTime,yearDate）
5.2物理结构设计要点
表5-2-1用户登入\登出记录
列名
类型
说明
logname
char（20）
用户名
id
int
用户的id
type
int
登录类型
logtime
char（20）
登入时间
logip
char（20）
用户的ip
表5-2-2用户登录记录
列名
类型
说明
logname
char（20）
用户名
logip
date
用户名ip
logtimein
date
该用户的登入时刻
logtimeout
char（20）
该用户的登出时刻
timelong
char（20）
该用户的登录时常
labip
char（20）
实验室的ip
表5-2-3未匹配的登入记录
列名
类型
说明
logname
char（20）
用户名
id
int
用户的id
type
int
登录类型
logtime
char（20）
登入时间
logip
char（20）
用户的ip
表5-2-4用户登录日报表
字段
类型
长度
约束
备注
UID
char
32
PK
用户id
dayTotalTime
char
20
NOTNULL
日登录时长
dayDate
date
—
NOTNULL
登陆日期
表5-2-5用户登录月报表
字段
类型
长度
约束
备注
UID
char
32
PK
用户id
monTotalTime
char
20
NOTNULL
月登录时长
monDate
date
—
NOTNULL
登陆月份
表5-2-6用户登录年报表
字段
类型
长度
约束
备注
UID
char
32
PK
用户id
yearTotalTime
char
20
NOTNULL
年登录时长
yearDate
date
—
NOTNULL
登陆年份
5.3数据结构与程序的关系
6系统出错处理设计
6.1出错信息
系统出错最严重的就是数据出错，包括文件连接出错，文件本身存在数据不符合格式，信息缺少，数据保存失败等问题，系统没有保证用户的用户名、IP地址的安全性，为了从根本上解决这个问题，首先在编写前台和后台代码时就要注意编写的严密性，保证数据完全读取，考虑到各方面的因素。
此外，不能让不怀好意的人利用保留的攻击手段侵入系统，盗用、毁坏用户的信息，造成用户的损失。
用一览表的方式说明每一种可能出错的情况出现时，系统输出信息的形式、含义级处理的方法。
由于输入信息不符合规范（如：
IP地址超出范围等），称之为软错误；
由于硬件方面的错误（如：
网络传输超时、硬件出错等），称之为硬错误；
对于一些关键的操作（如：
连接操作），应该提供失败后处理机制；
对于数据、测试文档，都是要提供相应的保密措施设置；
错误类型
子项
错误原因
数据读取错误
连接
连接超时
路径出错
文件本身
文件代码错误
文件信息出错
输入错误
用户登录名错误/为空
用户IP地址错误
查找错误
未查找到上次未登出的记录
数据保存错误
连接错误
路径错误
格式错误
代码错误
数据整合时出错
数据发送接收错误
连接
连接超时
连接断开
其他TCP错误
Socket自身错误
6.2补救措施
说明故障出现后可能采取的变通措施，包括：
1．对于软错误，需要在添加/修改操作中及时对输入数据进行验证，分析错误的类型，并且给出相应的错误提示语句，传送到客户端上；
2．对于硬错误，错误类型不较少而且比较明确，所以可以在可能出错的地方中输出相应的出错语句，并将程序重置，最后返回输入阶段；
3．后备技术说明准备采用的后备技术，当原始数据丢失时启用的副本的建立和启动的技术，例如周期性的把磁盘信息记录在案；
4．恢复及在启动技术说明将使用的恢复再启动技术，是软件从故障点恢复执行或是软件从头开始重新开始运行的方法
6.3系统维护设计
此项主要是对客户端和服务器端上的文件数据以及相关文件进行维护，数据维护：
我们使用数据的维护功能机制，比如：
定期备份数据，尤其是上次未登录的数据和经过数据匹配后的数据；定期检测数据的一致性；定期查看日报表、月报表、年报表，对各个报表进行数据备份等。
升级会员 