基于数据挖掘技术的购物网站设计与实现.docx
《基于数据挖掘技术的购物网站设计与实现.docx》由会员分享，可在线阅读，更多相关《基于数据挖掘技术的购物网站设计与实现.docx（37页珍藏版）》请在冰豆网上搜索。
基于数据挖掘技术的购物网站设计与实现
题目类型：
设计
（设计、论文、报告）
桂林理工大学
GUILINUNIVERSITYOFTECHNOLOGY
本科毕业设计（论文）
题目：
基于数据挖掘技术的购物网站设计与实现
摘要
随着信息化时代的来临，对人们的传统生活方式产生了巨大的冲击，越来越多的人选择了网上购物，然而，在电子商务蓬勃发展与广泛应用的同时，所有电子商务决策者们都面临着一个棘手的问题：
如何在不涉及用户隐私的情况下对网站上的海量信息进行挖掘，并将挖掘结果应用于电子商务决策支持，以此来提升电子商务竞争力。
WEB数据挖掘技术应运而生，WEB数据挖掘作为电子商务系统的一项重要应用技术，为电子商务公司的商业决策提供强有力的支持。
但是目前国内的大多数中小型电子商务企业，其电子商务发展还不是很完善，对WEB数据挖掘技术与电子商务结合为电子商务提供决策支持方面，无论是理论研究还是应用研究都还不是很完善。
基于此，本文主要从应用的角度将WEB数据挖掘技术与中小企业电子商务结合进行探讨和研究。
并根据现有的网上购物系统的现状而设计开发的电子商务平台。
它不但可以扩大商家的规模和市场影响力，而且可以减少企业的经营成本，提高工作效率。
本系统主要为用户提供了用户注册，购物车管理，商品搜索，商品推荐，个性化页面，用户资料修改等功能，为管理员提供了商品管理，用户信息管理，新闻信息管理，广告链接管理等功能。
在设计方面，本系统采用B/S三层结构，同时使用JSP技术进行动态页面的设计，从系统的安全性和代码的可重用性方面考虑，运用JavaBeans对程序的关键代码进行封装。
后台数据库选用MSSQLserver数据库。
关键词：
电子商务；购物网站；数据挖掘；JavaBeans
Basedondataminingtechnologyshoppingsite
Student:
QinLiquanTeacher:
ChenXiaohui
Abstract：
Withtheadventoftheinformationage，thetraditionalwayoflifemadeahugeimpact，moreandmorepeoplechooseanonlineshopping，however，Withthequickdevelopmentandwideapplicationofe-commerce，alldecision-makersinchargeofthisfacethefollowingtrickyissue：
howtominetheenormousWEBinformationavailablefore-commercedecision-makingwithoutviolatingusers’privacy？
ThisleadstothebirthofWEBdataminingtechnologywhichisanimportantapplicationtechnologyofe-commerceandprovidesstrongsupportfordecision-makers．However，formanysmallandmediumsizeddomestice-commercecompanies，theire-commerceisnotwelldevelopedandtheyarequiteweakatthetheoreticalstudyandapplicationofcombiningWEBdataminingande-commercetosupportdecisionmaking．ThispaperexploresthecombinationofWEBdataprocessingande-commerce，Itcannotonlyenhancethescaleofshoppingcentreandmarketinfluence，andcanalsoreducetheenterpriserunningcost，improveworkefficiency.
Thesystemhasmainlyprovideduserswiththefollowingfunctions:
membershipregistration、shoppingcarmanagement、goodssearch、Productrecommendation，personalizedpage、informationmodifyetc.Ithasalsoprovidedmanagerswithgoodsmanagement、customerinformationmanagement、newsmanagement、admanagementandsoon.IthasbeendesignedwithB/Smodeofthree-tierstructure，JSPtechnologyindynamicpagedesign.Consideringfromthesecurityandreusingcodeofthesystem，keycodeshavebeensecuredbyJavaBeanstechnology.MSSQLserverdatabasehasbeenusedasthebackgrounddatabase.
Keywords:
e-commerce;onlineshopping;datamining;JavaBeans
1绪论
1.1课题的研究背景和意义
随着网络经济、知识经济和电子商务等新经济的迅猛发展，不但深刻地改变着人类社会的生产、贸易、生活和学习方式，也促使全球化市场竞争和企业管理发展趋势发生了巨大的变化。
然而面对如此复杂而庞大的Internet网络，越来越多的用户感到力不从心，据统计，99%的WEB信息相对99%的用户是无用的，用户真正需要的只是其中很小的一部分，大量的无关信息会干扰甚至淹没其所需要的内容。
如何有效地分析用户的需求，帮助用户从Internet信息海洋中找到他们所需要的资源，已经成为一个亟待解决的重要课题。
另一方面，电子商务的蓬勃发展使进行电子商务活动的公司、企业等面临一个极大的挑战：
如何对用户的注册信息、历史购买纪录、用户浏览信息等这些海量的相关数据进行有效的组织利用，从而尽可能多的了解用户的爱好和价值取向、购买模式等信息，以优化网站设计、为用户提供个性化服务、发掘潜在用户等。
1.2国内外研究现状
随着电子商务的飞速发展，网上购物变得越来越普及，在2008年末，无论是国内还是在国外都呈现出一股网上购物热潮。
全球知名网站Amazon在2008年圣诞节期间销售额同比2007年增长44%，为“历年来最旺的圣诞节销售”，并曾经创造过单日280万个订单的纪录。
而国内的情况亦是如此，据淘宝网和艾瑞咨询联合发布的数据，2009年春节黄金周期间，淘宝网交易额比2008年同期增长60%，日均销售额超过3亿元，并创下单日销售4.6亿元的纪录。
在电子商务蓬勃发展的同时，将数据挖掘技术运用其中的探索也紧随其后。
国外将WEB数据挖掘技术应用于电子商务始于20世纪90年代后期，BuchnerAG，MulvennaMD等人在1998年首次明确提出将WEB数据挖掘技术应用于电子商务环境下，以实现市场智能化，并且给出了在电子商务环境下进行挖掘的一个总的框架。
RonKohavi，LlewMason等人于2004年总结了四年来在电子商务零售业中数据挖掘的经验及挑战，以及包括数据收集、数据仓库结构、商务智能在内的数据挖掘生命周期及发展，提出了数据挖掘的应用已经超出了电子商务零售业，其使用范围可以更广阔的观点。
国内对于将WEB数据挖掘技术应用于电子商务的研究在时间上与西方国家相比差距并不大，但是主要是集中在方法的探讨上。
周斌等人在1999年提出了基于E-OEM的数据模型及算法，该算法综合考虑服务器的应用逻辑设计、页面拓扑结构及用户的浏览路径等多个数据源，克服了以往算法的一些缺点，如发现模式不太理想及规则的可用性不理想等，提供了从大量顾客数据及日志数据中挖掘有意义的用户访问模式及潜在用户群的数据模型。
与此同时，国内的一些知名购物网站，如淘宝网、当当网、京东商城的也开始了基于数据挖掘技术的商品推荐系统的应用。
1.3课题的目标
现在流行的网上购物系统不仅要有漂亮的网页，更要有严谨的规划，注重每一个细小的环节。
这样才能留住更多的老用户、吸引新用户。
我们将使用HTML、JSP等技术来编辑网页，并运用JDBC技术把数据库和动态网页相关联。
本设计在实际应用中的解决方案是建立网站，以及自己的数据库，使得所需商品信息可以及时的保存、更新，可以更好的及时了解商品买卖的情况。
同时，根据用户的浏览记录，向每一位用户特供个性化的页面布局，并向用户推荐商品。
1.4研究思路
通过前面的介绍，我们了解到电子商务运营企业手上掌握了大量的信息，同时也是经营方针的制定者，企业面对着海量的数据，如果不借助计算机和其它工具，根本没办法从大量的数据中得到有用的信息。
企业数据挖掘基于服务器中记录的信息，寻找数据中包含的资料，找出符合一定条件的数据，利用数据挖掘工具，发现知识，找出内在联系，从而得出有用的关联规则。
而WEB数据挖掘的潜力在于应用数据挖掘算法，分析Internet服务器上的日志以及顾客、销售和产品的外部数据，将两者相结合，就可以将用户浏览电子商务网站时留下的信息加以分析，从而确定特定群体或个体的兴趣、习惯以及消费倾向和消费需求，进而预测相应群体或个体未来的消费行为、改进网站或网页的设计、实现定制营销或个性化推荐等。
1.5本章小结
本章阐述了电子商务发展的背景，结合国内外现状，说明了其相对于传统购物模式下的事务处理的优势，它将促进一种新的电子商务模式的发展与改革，为人们的生活带来极大的便利，这是系统研究与应用的实际意义所在。
此外，还对其基本概念和简要功能描述，由此对本文的应用有了一个基本的概括。
2相关技术及开发工具
2.1JavaBeans
JavaBeans事实上有三层含义。
首先，JavaBeans是一种规范，一种在Java（包括JSP）中使用可重复使用的Java组件的技术规范。
其次，JavaBeans是一个Java的类，一般来说，这样的Java类将对应于一个独立的.java文件，在绝大多数情况下，这应该是一个public类型的类。
最后，当JavaBeans这样的一个Java类在我们的具体的Java程序中被实例之后，我们有时也会将这样的一个JavaBeans的实例称之为JavaBeans。
JSP中使用JavaBeans：
在JSP页面中，一个引入JavaBeans的语句，其结构应该是，首先是一个id，这将对应于一个类的实例，如果这个实例已经存在，将直接引用这个实例；如果这个实例尚未存在，将通过在class中的定义从这个class中进行示例。
这也就是须要定义的第二个内容。
最后，还应该在scope中定义id这个实例存在的范围，事实上这定义了这个实例所绑定的区域及其有效范围。
1）page：
这个JavaBeans将存在于该JSP文件以及此文件中的所有静态包含文件中，直到页面执行完毕为止。
这将基本等价于JSP中这样的Java语句。
2）request：
这个JavaBeans将作为一个对象绑定于该页面的request中。
简单地说该JavaBeans在该页面发出的请求中有效，这将基本等价于JSP中这样的Java语句。
3）session：
这个JavaBeans将作为一个对象绑定于session中。
简单地说该JavaBeans在本地有效，这将基本等价于JSP中这样的Java语句。
4）application：
这个JavaBeans将作为一个对象绑定于application中。
简单地说该JavaBeans在本应用中有效，这将基本等价于JSP中这样的Java语句。
2.2MVC模式
在传统的基于Web的应用系统中，例如JSP，CGI等，通常开发者将业务逻辑，数据逻辑、展示逻辑等混杂在一起，在同一个界面面里既进行后台数据库的访问和操作，同时还包含业务流程和页面表示。
这样编写出来的程序，既不利于程序员对业务代码的调试，同时也不利于编辑人员进行交互页面的设计。
同时系统也不具备可扩展性，当我们要在现有业务上进行扩展的时候，通常无法借助于现有的资源和应用，而只能够重新编写，大大增加了投资，延长了系统上线的时间，失去了竞争市场的优势。
MVC模式（Model-View-Controller）是软件工程中的一种软件架构模式，把软件系统分为三个基本部分：
模型（Model）、视图（View）和控制器（Controller）。
MVC模式最早在1974年提出，是施乐帕罗奥多研究中心（XeroxPARC）在20世纪80年代为程序语言Smalltalk发明的一种软件设计模式。
MVC模式的目的是实现一种动态的程序设计，使后续对程序的修改和扩展简化，并且使程序某一部分的重复利用成为可能。
除此之外，此模式通过对复杂度的简化，使程序结构更加直观。
1）控制器：
负责转发请求，对请求进行处理。
2）视图：
界面设计人员进行图形界面设计。
3）模型：
程序员编写程序应有的功能（实现算法等等）、数据库专家进行数据管理和数据库设计（可以实现具体的功能）。
2.3开发工具
MyEclipse企业级工作平台（MyEclipseEnterpriseWorkbench，简称MyEclipse）是对EclipseIDE的扩展，利用它我们可以在数据库和JavaEE的开发、发布，以及应用程序服务器的整合方面极大的提高工作效率。
它是功能丰富的JavaEE集成开发环境，包括了完备的编码、调试、测试和发布功能，完整支持HTML,Struts,JSP,CSS,JavaScript,SQL,Hibernate。
SQLServer是Microsoft公司推出的关系数据库管理系统，SQLServer2008是一个重大的产品版本，它推出了许多新的特性和关键的改进，使得它成为至今为止的最强大和最全面的SQLServer版本。
SQLSever2008中提供的数据挖掘功能是数据分析服务的一部分，它包含两大工具：
OLAP工具和数据挖掘工具，对于任何决策支持工作来说数据挖掘和OLAP都是至关重要的元素。
Microsoft在发布SQLServer2000数据库管理系统时，第一次引入了数据挖掘特性，其中包含了Microsoft决策树和Microsoft集群两个可扩展的数据挖掘算法。
2.4WEB数据挖掘
Web数据挖掘建立在对大量的网络数据进行分析的基础上，采用相应的数据挖掘算法，在具体的应用模型上进行数据的提取、数据筛选、数据转换、数据挖掘和模式分析，最后做出归纳性的推理、预测客户的个性化行为，从而帮助进行决策和管理，减少企业运营的风险。
WEB数据挖掘主要包括三种：
WEB内容挖掘、WEB结构挖掘、WEB日志挖掘；WEB数据挖掘可认为是由四部分组成的：
1、信息检索（资源发现）2、信息提取（选择/预处理）3、概括（模式识别/机器学习）4、分析（验证/解析）。
图2-4-1给出了网络信息挖掘技术实现的总体流程图
图2-4-1挖掘技术实现的总体流程图
WEB结构挖掘、WEB内容挖掘的对象是网上的原始数据，而WEB日志挖掘则面对的是在用户和网络交互的过程中抽取出来的第二手数据。
这些数据包括：
网络服务器访问记录、代理服务器日志记录、浏览器日志记录、用户注册信息、用户对话或交易信息、用户提问等等。
本文主要研究的是WEB日志挖掘。
2.5本章小结
本章是是对JavaBeans、MVC技术整体架构、开发工具等的研究，并对此研究在本文作一个简明的阐述。
其中涉及的内容有基本概念、相关机制。
只有更好的理解这一新技术，才能对其应用有一个清晰的认识和熟练的运用。
WEB日志挖掘是通过分析WEB服务器的日志文件，以发现用户访问站点的浏览模式，为企业提供各种利于WEB站点改进或者可以带来经济效益的信息。
数据预处理和日志挖掘算法是WEB日志挖掘中的关键技术。
数据预处理的结果作为挖掘算法的输入直接影响日志挖掘的质量，而挖掘算法的选择与改进，更是保证挖掘成功的重要因素。
3需求分析及概要设计
3.1课题业务背景
电子商务以在线交易、用户服务为核心，用以提高商业交易的效率、范围，降低人工、经营成本电子商务站点，这对于全面推进企业的信息化具有重要意义。
1）企业电子商务网站有利于树立和提高企业形象，增强企业与用户之间的亲和力，提高企业对用户的服务水平及用户服务效率，同时大幅提高企业员工的信息化水平。
2）企业的电子商务网站能很好地为用户提供在线咨询及反馈，把企业的用户服务提高到一个新的高度，增强用户与企业交流与沟通的能力，帮助企业以更快的速度了解用户需求，同样用户也能从企业的电子商务网站快捷地获得企业对产品的售前及售后服务。
3）企业的电子商务网站一个重要的目的就是提供在线交易服务，用户实现足不出户完成对产品的浏览、购买意向以及与企业进行产品交易行为。
为用户与企业之间形成互通及企业内部办公自动化，最终构建企业“电子商务”打下坚实基础。
本需求分析将就网站在构建前所需达到的要求进行归纳性的需求分析，以便在开展工作前广泛征求意见和建议，为以后的程序设计打好扎实的基础。
3.2目标功能需求分析
3.2.1用户目标分析
通过调查，用户对于购物网站的需求有：
1）方便用户对网站商品的浏览，提供更全面、详细的信息。
2）及时发布网站的信息，使用户在第一时间得到信息。
3）提供用户、客服交流的模块。
4）提供用户对网站服务的反馈。
5）尽量使界面美观、大方、简便。
6）让人对购物有比较大的安全感。
3.2.2管理目标分析
通过以上的购物系统用户目标分析，就很容易得出本购物网站的管理目标：
1）建立对网站信息的管理的系统。
2）系统的功能全面，处理速度快，管理简易。
3）商品信息准确。
4）提供客户留言系统。
5）操作简单，界面美观大方。
3.2.3功能目标分析
网页导航：
网页导航分为首页、商品展示、站内新闻、在线聊天、留言簿、后台管理。
首页：
显示网站的新闻标题和发布时间，并可超链接到显示新闻内容的页面显示商品主要类别，并以滚动的方式展示商品图片，并可超链接到商品列表页面。
商品展示：
在二级页面中显示商品列表（分页显示），并且图片商品与商品名称可超链接到三级页面，并向用户推荐他可能需要的商品。
站内新闻：
在二级页面显示新闻列表（分页显示），根据标题链接内容在三级页面显示新闻相信信息。
在线聊天：
身份验证、只有注册用户才可以进行聊天。
提供注册功能，注册信息保存到数据库中。
登录成功后，进入聊天室，所有聊天信息不用保存到数据库中。
留言簿：
在二级页面中显示所有留言列表，留言标题可超链接到查看和回复留言的二级页面，在三级页面中显示形管留言标题的内容和所有有关当前页面的回复内容，提供回复的输入框：
姓名、标题、回复内容。
后台管理：
系统管理：
添加管理员，用户的管理。
新闻管理：
添加新闻，查看新闻列表，删除新闻。
商品管理：
添加商品，查看商品列表，修改商品信息，删除商品信息。
留言管理：
回复留言，查看留言，删除留言。
3.3系统结构分析
系统总体结构如图3-3-1所示
图3-3-1系统总体结构图
系统各模块结构如下：
图3-3-2首页结构图
图3-3-3在线聊天模块结构图
图3-3-4留言薄模块结构图
图3-3-5后台管理模块结构图
用例图分析如图3-3-6所示：
图3-3-6用例分析图
4详细设计及实现过程
商业应用的数据挖掘是一项庞大的工程，工作量极大，需求投入的人力、物力也很可观，由于知识水平和时间所限，本系统实现了购物网站中的大多数应用功能，而没有最终实现基于数据挖掘的商品推荐、个性化页面布局等功能，只研究了对记录在服务器上的用户浏览日志文件进行数据预处理的过程。
4.1用户注册登陆
用户注册：
1）用户输入注册信息。
2）系统检查用户输入的密码长度是否在4-16位之间，并检查两次输入密码是否一致。
3）若两次输入密码一致，系统查询用户输入的用户名是已存在。
4）如果用户名重复，提醒用户重新输入用户名，没有重复，检查是否将必填项项填写完整。
5）若信息都填写完整，则在数据库中增加一条注册用户信息。
6）系统提示客户注册成功，可以进行登陆。
用户登陆：
1）用户输入登陆信息（用户名与密码）。
2）系统检查登陆信息是否正确。
3）如果错误要求用户重新输入，正确则显示登录成功。
该模块流程图如图4-1-1所示：
图4-1-1用户登录流程图
页面效果
图4-1-2登录窗口页面
图4-1-3用户注册页面
4.2浏览用户留言与发表评论
1）用户留言具有编辑文字功能。
2）用户可以查看其他用户的留言并显示其他用户的用户名。
3）用户可以发表文字留言。
4）用户留言需要输入用户名（登录用户不输入则为默认用户名，其他为空用户名），用户名长度为2-10位。
5）用户提交留言前需要输入验证码。
流程图如图4-2-1所示：
图4-2-1用户留言流程图
页面效果
图4-2-2留言本页面
图4-2-3留言本页面
4.3购物车管理
购物车存储的是用户需要或以后需要购买的商品，可以从中选择部分购买也可以全部购买。
1）购物车具有查看商品信息功能。
2）购物车具有删除商品功能。
3）购物车具有选择商品生成订单功能。
4）购物车具有修改商品数量功能。
其具体代码实现过程为：
从session中取得该用户的信息
userName=（String）session.getValue（"userName"）;
userStatus=（String）session.getValue（"status"）;
对商品的信息进行提取以写入购物车表
StringproductIDs=request.getParameter（"productID"）;
Stringcounts=request.getParameter（"count"）;
Stringcashs=request.getParameter（"cash"）;
name=request.getParameter（"name"）;
具体的写入语句为：
sql="insertintobasket（productID，userName，basket_count，name，cash）";
sql=sql+"values（'"+productIDs+"'，'"+userName+"'，'"+counts+"'，'"+name+"'，'"+cashs+"'）";
mdb.executeInsert（sql）;
在购物车中删除、修改购物信息的方法和购物的代码相似。
流程图如图4-3-1所示：
图4
升级会员 