基于大数据技术的电子商务个化推荐系统设计与实现.docx
《基于大数据技术的电子商务个化推荐系统设计与实现.docx》由会员分享，可在线阅读，更多相关《基于大数据技术的电子商务个化推荐系统设计与实现.docx（37页珍藏版）》请在冰豆网上搜索。
基于大数据技术的电子商务个化推荐系统设计与实现
基于大数据技术的电子商务个化推荐系统设计与实现
专业硕士学位论文
基于大数据技术的电子商务个性化推荐系统设计与实现
DesignandRealizationforCustomizedRecommendationSystemofE-CommercebasedonBigDataTechnology
作者：
XXX
导师：
XXX
北京交通大学
2020年11月
学位论文版权使用授权书
本学位论文作者完全了解北京交通大学有关保留、使用学位论文的规定。
特授权北京交通大学可以将学位论文的全部或部分内容编入有关数据库进行检索，提供阅览服务,并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。
同意学校向国家有关部门或机构送交论文的复印件和磁盘。
（保密的学位论文在解密后适用本授权说明）
学位论文作者签名：
导师签名：
签字日期：
年月日签字日期：
年月日
中图分类号：
XXXXUDC：
XXXX
学校代码：
XXXX
密级：
公开
北京交通大学
专业硕士学位论文
基于大数据技术的电子商务个性化推荐系统设计与实现
DesignandRealizationforCustomizedRecommendationSystemofE-CommercebasedonBigDataTechnology
作者姓名：
XXX学号：
XXX
导师姓名：
XXX职称：
教授
工程领域：
软件工程学位级别：
硕士
北京交通大学
2020年11月
致谢
三年充实而又紧张的研究生生活即将结束，在硕士毕业论文完成之际，我要向所有关心、支持、帮助过我的人表示最真诚的感谢！
本论文的工作是在我的导师XXX老师的悉心指导下完成的。
在论文选题、实验进展以及文章修改等环节，XXX老师的言传身教使我受益匪浅。
三年来，XXX老师在生活、工作、学习方面给予了我很大的关怀，给我一切课可以学习锻炼的机会。
同时，XXX老师科学的工作方法和严谨的治学态度给了我很大的影响和帮助。
我的每一点成绩，每一步成长都凝聚着老师的心血。
XXX老师果断的工作作风，严谨的治学态度，敏锐的洞察力，扎实深厚的学识功底都是值得我学习的地方。
谨向XXX老师致以深深的谢意！
在实验室工作及撰写论文期间，XXX等同学也给予了我热情的帮助，在此向他们表达我的真挚的感谢。
他们在我失落的时候鼓励开导我，帮助我恢复信心。
他们对我无微不至的关怀，是支持我完成学业的精神动力。
他们鼓励我不停向前，当我取得好成绩的时候又告诉我要戒骄戒躁；当我遇到困难和挫折时，他们告诉我要永不气馁，勇往直前。
除此之外，我还要感谢我的家人。
我的父母不仅哺育我成长，更在我低落的时候给我关怀与鼓励。
他们一直在支持着我，在我取得一些成绩的时候，赞扬我，同时又告诫我要踏实谦虚。
我要在这里说声：
妈妈爸爸，你们辛苦了。
最后感谢评审老师能在百忙之中评审我的论文。
中文摘要
摘要：
随着大数据时代的到来，用户的个人信息以各种方式分布在不同的存储设备中，集成所有的用户信息并且通过一定的挖掘技术能够得出用户的潜在需求。
目前电子商务发展飞速，移动电子商务更将在以后占据主导地位，如何能够迅速挖掘用户的个人潜在需求，把用户可能感兴趣的产品推送给用户成为大数据时代下电子商务企业需要解决的问题。
目前电子商务个性化推荐的精准度还有待提高，个性化推荐手段单一，并没有经过深层次的数据分析，而是已基于用户的浏览信息和购买信息给用户推荐相关产品。
这种推荐方式的效率不高，大数据时代的个性化推荐框架应该从源头进行分析和挖掘。
针对以上问题，本论文先阐述研究背景、国内外相关研究，并深入研究了推荐系统的发展，推荐算法及其应用，同时还探讨了大数据处理框架Hadoop的原理。
本文通过对推荐系统理论的研究和应用以及对Hadoop的研究，从大数据集的源头出发，确定了推荐系统的架构和功能并详细设计了推荐系统，主要思想为根据用户信息数据来源的不同方式，集合所有的个性信息，然后使用大数据时代下的挖掘技术，把具有相关联的信息挖掘出來，并且存储到企业的数据库中，供企业进行相关产品的推荐，同时还阐述了推荐系统的主要部分的实现。
关键词：
电子商务；推荐系统；个性化推荐；大数据技术
分类号：
[请输入分类号（1-2），以分号分隔。
]
ABSTRACT
ABSTRACT:
Withtheadventofbigdata,userpersonalinformationdistributedindifferentstoragedevicesinavarietyofways.Integratingallusers’informationthroughminingtechniquescandrawpotentialuserneeds.Rapide-commercedevelopment,mobilecommercewilldominateinthefuture.Howcanwequicklytapthepotentialdemandofusers,pushingtheproductsthatusersmightbeinterestedinbecomesaproblemforthee-commerceenterprisesintheeraofbigdata.Theaccuracyofpersonalizationrecommendationneedstobeimproved,andthemethodissimplewithoutdeepdataanalysis.Itisbasedonuser'sbrowsingfeaturedrelatedtoproductinformation,andpurchasinginformationtousers.Thiswayofrecommendation’sefficiencyislow,dataminingframeworkforpersonalizedrecommendationshouldbeanalysisfromthesource.
Tosolvetheaboveproblems,thispapersetoutthebackgroundandrelatedstudies,andstudiedthedevelopmentofrecommendationsystems,recommendationalgorithmsandtheirapplications.ThispaperalsodiscussedtheprinciplesofbigdataHadoopframework.BasedonthetheoreticalresearchandapplicationofrecommendersystemsandresearchonHadoop,startingfromthesourceoflargedatasetstodeterminearecommendedsystemarchitectureandfunctionalanddetaileddesignofrecommendersystems.Thismainideawaysinwhichsourcedatabasedonauser'sinformation,collectionofallpersonalinformation,andthenusetheminingtechnologyintheageofbigdata,informationassociatedwithdiggingoutandstoredinanenterprisedatabase,relevantproductrecommendationsforenterprises.Paperalsoexpoundsthemainimplementationofrecommendersystems.
KEYWORDS：
Electroniccommerce;RecommendationSystem;Personalizedrecommendation
CLASSNO：
[请输入分类号，以分号分隔。
]
序
互联网的飞速发展使人们进入了信息社会和网络经济时代。
互联网的发展对企业发展和个人生活都产生了深远的影响。
基于互联网的虚拟企业不再需要传统物理环境中所需的实物投资，企业与客户、供应商等建立起更加直接的联系。
电子商务模式为企业发提供了更多的发展机会，同时也带来了许多挑战。
其中，最突出的问题就是如何实现个性化推荐。
由于供应链和物流的发展，在电子商务的虚拟环境下，商家提供的商品种类和数量非常多，用户想找到自己感兴趣的商品，需要浏览大量无关的信息，这个过程会导致用户的流失，用户不能通过一个小小的计算机屏幕轻易地发现自己感兴趣的商品。
因此，用户需要电子商务系统具有一种类似商品推荐的功能来帮助他们选购商品，它能自动根据用户的兴趣爱好推荐其可能感兴趣的商品。
在这种情况下，电子商务个性化推荐系统（PersonalizedRecommenderSystemsinE-commerce）应运而生，它是建立在大量数据挖掘基础上的一种先进商务智能平台，帮助电子商务网站为顾客购物提供完全个性化的决策支持和信息服务。
购物网站的推荐系统为客户推荐商品，自动完成个性化挑选商品的过程，以满足客户的个性化需求。
但是当前的个性化推荐算法多为企业针对自己行业的某类产品进行推荐，比如亚马逊在用户买书的时候只进行书籍类目的推荐，缺少对其它相关产品（类似书架、书立等）的推荐。
同时，现在有的推荐算法较少的结合用户的商品历史购买规律，以及商品购买行为之间时序上的伴随关系：
例如上次用户浏览的某类商品，如电视机，则紧跟后面的浏览就不需要推荐电视机，但是可以考虑影碟机、家庭影院等商品。
与此同时，经过多年的电子商务的飞速发展，电子商务网站已经积累了大量的用户数据。
从这些用户历史购买数据以及浏览行为等，可以对用户进行更加深入的个性化推荐。
促进用户的消费，满足用户的需求，提升电子商务网站的营收率。
基于此，提出了本次选题：
基于大数据技术的电子商务个性化推荐系统设计与实现。
该选题可以提高电子商务网站的交叉销售能力，提高客户对电子商务网站的忠诚度从而促进电子商务的发展，为电子商务的进一步快速健康发展提供新的动力。
中文摘要iv
ABSTRACTv
序vi
1引言1
2电子商务个性化推荐理论介绍3
2.1个性化推荐3
2.1.1个性化推荐概述3
2.1.2个性化推荐系统的工作原理4
2.1.3个性化推荐在电子商务中的应用4
2.2电子商务个性化推荐系统6
2.2.1电子商务个性化推荐系统的概念6
2.2.2电子商务个性化推荐系统的分类7
2.2.3电子商务个性化推荐系统研究现状8
2.2.4电子商务个性化推荐系统研究意义10
2.3电子商务个性化推荐系统的关键技术10
2.3.1个性化推荐技术11
2.3.2个性化推荐技术的比较和分析12
2.3.3推荐技术的组合13
2.4大数据处理技术14
2.4.1Hadoop概述15
2.4.2HDFS分布式文件系统16
2.4.3MapReduce编程模型17
3基于大数据技术的电子商务个性化推荐系统可行性分析19
4基于大数据技术的电子商务个性化推荐架构20
4.1个性化推荐系统总体架构设计21
4.1.2改进的电子商务个性化推荐结构设计22
5基于大数据技术的电子商务个性化推荐系统设计与实现26
5.1个性化系统功能需求分析26
5.2个性化推荐系统功能设计27
5.2.1数据收集模块28
5.2.2推荐引擎组管理28
5.2.3推荐结果处理模块29
5.2.4用户交互模块29
5.2.5系统管理模块29
5.3个性化推荐系统详细设计29
5.4编程应用技术概述31
5.4.1面向对象编程概述31
5.4.2MVC框架模式简介32
6结论34
6.1总结34
6.2展望34
参考文献36
作者简历38
独创性声明39
学位论文数据集40
1引言
博客、社交网络、基于位置的服务（LBS）等新型信息发布方式的涌现，以及云计算、物联网等技术的兴起，将人们带入大数据时代。
海量数据在为电子商务网站制定决策提供越来越充分的信息的同时，也给电子商务网站的个性化推荐服务带来非常大的挑战。
随着电子商务网站的竞争日益激烈，如何锁定网站的目标受众并为其推荐合适的产品，增加用户粘度和提高网站的交叉销售能力，成为电子商务网站在竞争中胜出的关键。
个性化推荐系统个性化及针对性等优点受到越来越多的关注，目前国内主要的电子商务网站如当当网、京东商城、淘宝网等都利用个性化推荐来使得用户拥有更好的体验度。
虽然电子商务个性化推荐系统所采用的技术都已成熟，个性化推荐给网站带来的经济利益也越来越大，但是大数据环境下电子商务个性化推荐系统仍面临着巨大挑战。
第一：
企业数据的保存与利用，电子商务企业在web3.0的信息时代，企业数据每时每刻都在剧增，如何将这些数据信息迅速、有效保存是企业服务质量的关键，同时保存仅仅是企业服务的一个中间环节，如何挖掘、利用好保存的大数据，将是一个电子商务企业未来发展的关键。
如果仅仅保存这些大数据，那么这是严重浪费。
对于海量数据，提供高附加值的数据分析服务，转化大数据封装为服务，形成可对外开放、可商业化的核心能力，一定程度上也实现了经营模式的创新，给个性化推荐服务提供强大的数据基础。
第二：
企业数据的快速处理计算，海量数据对计算机硬件的性能带来挑战，因为企业要求在最短的时间内，尽可能创造最大的价值，而面对大数据，通过什么信息技术进行快速处理、计算，形成结构化的、开放应用的数据，这个问题不仅仅电子商务企业面临的一个挑战。
现今的云计算，在概念层面上，一定程度上解决了这方面的一点问题，但是，在目前的现实信息环境中，由于网络以及硬件的限制，还不能汇聚更多的计算机，达到预订的计算目标。
第三：
企业数据的有效组织形式，企业数据的组织形式直接决定着其服务模式、服务质量。
传统的以关键词进行匹配检索的服务模式，目前仍然是个性化推荐的主流，这些数据大多以关系数据库的形式，将其各自的元数据进行集中或者分布式进行组织。
但是，随着数据量的增长、服务要求的提升、语义网的迅速发展，数据组织形式肯定要发生转变。
例如，为用户提供个性化关联服务、语义个性化推荐服务等更高层面的知识服务，传统的简单组织方式已经不能满足这方面的发展需求。
在这一方面，可以借鉴当前的热点研究LinkOpenData、Virtuoso（语义存储工具）、RDF等与语义网相关的数据组织方式。
第四：
企业提供服务模式的转变，数据是企业提供服务的基础，面对数据规模、存储方式以及组织方式等特征的转变，企业所提供的传统服务模式势必也同步转变，来应对当前整个数据环境的更新。
主要面临以下几种转变方式的挑战:
1．由被动服务为主动服务。
被动服务是指客户主动到企业电子商城中发现自己需要的商品，更具有目的性、针对性，但是对于企业来说，严重忽视了客户巨大的潜在需求，通过主动服务模式，将与每一个用户潜在的信息需求更精确的发现，推荐给用户，一方面方便了用户，甚至给用户意想不到的需求惊喜，另一方面增强了企业销售的强度。
2．由基于关键词或者主题词检索的服务转为基于语义的智能检索服务。
随着web3.0、语义网的迅速发展，智能检索服务开始具备一定的知识基础，例如DBPedia发布规范的大数据集、各个行业领域的发布的知识组织体系（KOS）等知识组织规范，同时借助传统的叙词表以及行业的巨大的语料资源，为用户提供语义的智能检索服务逐步将开始实施，从而实现为用户提供更准确地信息检索方式。
3．由传统的个性化信息检索结果推荐服务转变为个性化知识推荐服务。
个性化信息检索结果是将每条信息进行罗列在页面中，供用户浏览，通过查看详情来衡量此信息的重要度。
而个性化知识推荐服务，是将每条信息分割成更小的带有语义的知识单元，用户能够在第一时间内更快、更准确的掌握每条信息的概要内容，进行决策是否对自己有价值。
关注大数据环境下电子商务个性化推荐服务的特征与挑战，探讨个性化推荐服务新的发展动向，对于打造商务网站竞争优势、拓展个性化推荐服务研究内容等方面具有重要的实践意义和理论意义。
本文将针对以上电子商务个性化推荐系统中存在的问题进行探索和研究。
2电子商务个性化推荐理论介绍
在互联网普及的时代，为了解决顾客信息超载的问题，引导顾客较为便捷地找到打算购买的商品，个性化推荐便成为众多电子商务企业提供的一种服务模式。
个性化推荐是一种根据顾客的需求"偏好"个人资料及历史交易行为，为网络消费者提供决策建议的功能，如推荐他们想要的商品或从哪里获得想要的商品。
作为后续章节的铺垫，本章主要介绍电子商务个性化推荐的相关理论，具体内容安排如下：
本章节先介绍了个性化推荐的概念、工作原理以及其在电子商务中的应用，然后介绍了电子商务个性化系统的分类研究现状和研究意义。
接着，本章节介绍了几种流行的个性化推荐技术，并对这几种个性化推荐技术进行了比较分析。
最后，本章节介绍了电子商务个性化推荐系统实现中需要用到的大数据处理技术。
2.1个性化推荐
本节先对个性化推荐进行了概述，介绍了个性化推荐的基本理念。
然后，介绍了个性化推荐系统的工作原理，最后介绍了个性化推荐系统在电子商务中的应用。
2.1.1个性化推荐概述
个性化推荐是基于用户的兴趣特点和购买行为，向用户推荐其感兴趣的信息和商品。
随着电子商务规模不断扩大，商品数量和种类不断增长，顾客需要花费大量的时间寻找自己想买的商品。
这一过程无疑会使淹没在大量产品信息中的消费者不断流失。
为了解决用户流失的问题，电子商务个性化推荐系统应运而生。
电子商务个性化推荐系统是基于大数据挖掘基础上的一种商务智能平台，能够帮助电子商务企业为用户提供个性化的产品的推荐和购买决策，电子商务企业的个性化推荐系统为用户推荐商品，网站会智能的完成商品选择，最大限度的满足客户的个性化需求，电子商务个性化推荐是根据以下几方面来推测客户将来可能的购买行为：
网站销量最高的商品、客户所在的城市、客户过去的购买行为和购买记录。
2.1.2个性化推荐系统的工作原理
首先是基础数据包含个人信息、评分、历史行为、以及社会化关系，然后根据收集到的信息分析用户喜好，建立用户模型，最后选择合适的推荐技术进行推荐并将结果展示给用户。
实现个性化服务的关键是对Web用户的浏览信息进行正确的分析，准确掌握用户兴趣。
只有通过用户浏览信息数据和其他方式的用户行为，才能准确地找出用户的浏览兴趣，从而向用户推荐感兴趣的产品，同时也才能在不同的用户群之间进行精准地协作过滤推荐。
准确地掌握用户的兴趣可包括两个方面：
1）从用户浏览行为中准确地挖掘出隐藏的用户个性化的兴趣信息；
2）采用准确的表示方法来表示用户兴趣。
个性化服务系统主要包括四个主要部分：
文本页面的特征提取、基于用户浏览内容的兴趣挖掘、基于用户浏览行为的兴趣分析和推荐服务。
2.1.3个性化推荐在电子商务中的应用
现在的电子商务网站上都有大量的商品，而个性化的推荐应用在其中起了非常大的作用，著名的电子商务网站就是个性化推荐的积极应用者和推广者，被RWW（读写网）称为推荐系统之网。
国内的淘宝网，京东商城等电子商务网站也无一例外的使用了推荐系统为用户提供更好的购物体验。
图21亚马逊（）的个性化推荐列表
Fig.2-1AmazonPersonalizedRecommendationList
图2-1就是亚马逊中国（）的个性化推荐列表，它包含了一下几个部分：
推荐结果的标题，推荐结果的平均分以及推荐理由。
该系统会去寻找用户之前喜欢过的物品，然后找出那些和这些物品相似的当用户没有接触过的物品然后推荐给用户。
比如用户以前买过一本星座相关的书籍，那么就可以向用户推荐一本血型相关的书籍，因为这两本书都是属性相近的。
除了这种推荐方法，亚马逊也还有其他的推荐方法，就是按照用户在Facebook的好友关系，给用户推荐他们的好友在亚马逊上喜欢的物品。
图22亚马逊的相关推荐列表
（1）
Fig.2-2Fig.2-3RelatedRecommendedalistofAmazon
（1）
图23亚马逊的相关推荐列表
（2）
Fig.2-3RelatedRecommendedalistofAmazon
（2）
图2-2和图2-3则是另外一种推荐方式--相关推荐列表。
当你在购买一个商品的时候，网站会向你推荐相关商品。
图2-2推荐的是购买过这个这个商品的人同时还购买的其他商品，图2-3则推荐浏览过这个商品的人同时还购买的其他商品。
显然图2-2的推荐更有说服力，然后这些推荐都是通过收集海量的数据并计算出来的，所以图2-3的推荐的商品也是具有相关性的，因为用户在买一类东西的时候会先去浏览各种相似的商品然后货比三家，这些浏览过的数据也是具有信息价值的。
然后这些推荐系统给亚马逊带了多少的商业利益呢，在这方面的准确数字官方也没有给出过答案，亚马逊的前科学家GregLinden在他的博客曾说过推荐系统帮助亚马逊销售了20%的商品。
此外，前首席科学家AndreasWeigend在给他们的同学们上课的时候也透露推荐算法帮助亚马逊买了20%-30%的商品。
2.2电子商务个性化推荐系统
电子商务个性化推荐系统是帮助客户决定购买什么商品的系统。
推荐系统的服务对象是客户,系统的目标是为客户提供项目推荐。
客户是指推荐系统的使用者,即电子商务网站中的客户。
项目则是被推荐的对象,即电子商务网站中的商品或服务,也就是最终推荐给用户的内容。
本节先介绍了电子商务个性化推荐系统的概念和分类，然后介绍了电子商务个性化推荐系统的研究现状和研究意义。
2.2.1电子商务个性化推荐系统的概念
随着数字技术的飞速发展和互联网络的全面普及应用，人类进入了信息社会和网络经济时代，企业发展和个人生活都被深深影响着。
随着网络交易的机制被大多数人接受之后，电子商务网站纷纷崛起，因为网络交易的成本低廉，人们通过互联网络进行商务活动，可以创造出新的商机。
电子商务的发展模式对企业提出了了许多新的要求，比如商品选购舒适、送货及时、商品的质量保证、退换货方便等等，其中最为突出的问题是商品选购。
因为在电子商务处在虚拟的环境中，商家尽可能多的在网上提供自己所能提供的商品，品类繁多，用户很难在一个网页上发现自己感兴趣的商品，用户或者没有时间，或者不愿意在网上漫无边际的寻找商品。
虽然目前在信息检索界提供了许多搜索引擎如XX，Google等可以帮助用户在大互联网中根据关键字寻找到自己所需的信息，但是此类搜索引擎自动化程度较低，属于被动系统。
并且其搜索结果中鱼龙混杂，使用者常常需要过滤掉大部分垃圾信息或不准确的信息，依然要花费很大精力才能找出自己真正需要的信息。
此外，浏览某个电商网站时，使用者根本
升级会员 