旅行大数据平台方案.docx

1、旅行大数据平台方案旅行研究院大数据挖掘与分析科研平台建设方案一. 背景一.1数据挖掘和大数据分析行业背景和进展趋势移动互联网、电子商务和社交媒体的快速进展使得企业需要面临的数据量成指数增加。依照 IDC 数字宇宙(Digital Universe)研究报告显示，2020 年全世界新建和复制的信息量已经超过 40ZB，是2015年的12倍;而中国的数据量那么会在2020年超过8ZB，比2015年增加22倍。数据量的飞速增加带来了大数据技术和效劳市场的繁荣进展。IDC亚太区(不含日本)最新关于大数据和分析(BDA)领域的市场研究说明，大数据技术和效劳市场规模将会从2021年的亿美元增加到2017年

2、的亿美元，以后5年的复合增加率达到%。该市场涵盖了存储、效劳器、网络、软件和效劳市场。数据量的增加是一种非线性的增加速度。据IDC分析报导，最近一年来，亚太区显现了愈来愈普遍的大数据和分析领域的应用案例。在中国，从互联网企业，到电信、金融、政府如此的传统行业，都开始采纳各类大数据和分析技术，开始了自己的大数据实践之旅;应用处景也在慢慢拓展，从结构化数据的分析，进展到半结构化、非结构化数据的分析，尤其是社交媒体信息分析受到用户的更多关注。用户们开始评估以Hadoop、数据库一体机和内存计算技术为代表的大数据有关新型技术。最新调研结果显示，提高竞争优势，降低本钱和吸引新的客户是中国用户对大数据项目

3、最期望的三大回报。目前现有的大数据项目要紧集中在业务流程优化和提高客户中意度方面的应用。IDC发觉很多用户希望大数据能够为企业带来业务创新，而且开始利用高级分析的解决方案以治理复杂的数据环境。过去一年顶用户对社交数据的搜集和分析应用的关注度增加明显。以后，地理位置信息分析将会增加迅速，这也会推动用户对大数据平安和隐私治理的关注。在亚太区，澳大利亚和新加坡的用户对大数据的相关投资要紧在咨询效劳方面，更关注如何依照新的最正确实践需求设计和实施方案。中国和印度在大数据领域的硬件投资那么超级明显，更偏向于数据中心相关的基础架构的投资。在传统的数据分析与商业数据挖掘中，人们通常遵循二八原那么。也确实是任

4、务20%的用户提供了80%的价值，因此利用优势资源用户关于少数用户的效劳。随着互联网的进展，愈来愈多的低价值用户进入到商业体系中，这部份用户成为商业企业竞争的目标。比如电商行业，大量顾客都是传统意义上的低价值客户，数听说明关于这部份用户价值的挖掘能够改变二八原那么，乃至可达到价值的几乎均匀散布。而且由于计算技术的进展，关于大数据的分析也成了可能。一.2旅行行业开展大数据分析及应用的意义旅行行业有行业广、规模大、移动性强的特点，因此加倍依托大数据。当前，旅行业也在“新常态”下迎来了升级的挑战和变革的机缘，新常态关于一样的经济部门是经济速度放慢、人均GDP增速减小，很多传统行业在调整结构，但新常态

5、对旅行行业却是速度加速的。旅行大数据的解决之道，在于整合国内多途径的大数据源，形成旅行大数据生态，为国内旅行业提供大数据解决方案，增进旅行业的转型升级。一.3数据挖掘与大数据分析科研平台建设的必要性数据挖掘与大数据分析是以运算机基础为基础，以挖掘算法为核心，紧密面向行业应用的一门综合性学科。其要紧技术涉及概率论与数理统计、数据挖掘、算法与数据结构、运算机网络、并行计算等多个专业方向，因此该学科关于科研平台具有较高的专业要求。科研平台不仅要提供基础的编程环境，还要提供大数据的运算环境和用于科学研究的实战大数据案例。这些素材的预备均需完整的科研平台作为支撑。目前，在我国高校的专业设置上与数据挖掘与

6、大数据分析相关的学科专业包括：运算机科学与技术、信息治理与信息系统、统计学、经济、金融、贸易、生物信息、旅行和公共卫生等。这些专业的在利用科研平台时的偏重点各不相同，利用人员层次水平也不相同，对算法的利用也不相同，因此，需要建设一个便利、操作简易、算法全面、可视化的大数据科研平台是超级有必要的。二. 数据挖掘与大数据分析科研平台整体计划二.1科研平台计划科研平台建设的大体原那么是科研为主，同时为教学实验提供部份计算资源及平安资源，系统在授权范围内共享科研系统的计算资源，提高教学实验的真实性。项目的整体架构如图1所示。图1.整体架构图系统整体由千兆核心互换机作为核心节点，并以两个千兆接入互换机作

7、为科研与实验环境的互换节点。科研环境由我司开发的商业Hadoop集群为基础，上层集成便于操作的大数据科研应用系统，集成10TB大数据案例集及可拖拽的数据算法和可视化算法。 二.2科研平台功能计划本科研平台针对数据挖掘有大数据分析研究内容，兼顾科研与教学的需求，既能知足科研工作中对大数据分析高性能平台要求也具有教学实验平台简单易用的特点。1）大数据资源计划内置商业级数据资源，按常见科研分类计划数据资源，能够直接用于科学研究，具有数据资源授权管控功能。2）大数据分析功能计划建设以商业版Hadoop为核心的大数据分析平台，系统提供MapReduce和Spark等大数据挖掘功能。系统具有完整的治理调度

8、功能。3）硬件资源功能计划系统具有24个Intel Xeon E5 CPU计算能力，提供超过40TB的存储能力和1T以上的内存，可知足1000任务共时计算内能，方便扩充。三. 数据挖掘与大数据分析科研平台建设方案三.1大数据科研平台设备架构图3.设备架构三.1.1主节点和备份主节点主节点负责整个散布式大数据平台的运行。主节点始终在内存中保留整个文件系统的目录结构，每一个目录有哪些文件，每一个文件有哪些分块及每一个分块保留在哪个计算上，用于处置读写请求。同时，主节点还负责将作业分解成子任务，并将这些子任务分派到各个计算节点上。备份主节点在主节点发生故障时承担主节点的各类任务，使得散布式大数据平台

9、仍然能够正常运行。三.1.2治理节点治理节点用于治理整个散布式大数据平台，可进行节点安装、配置、效劳配置等，提供网页窗口界面提高了系统配置的可见度，而且降低了集群参数设置的复杂度。三.1.3接口节点终端用户通过接口节点连接和利用散布式大数据平台，提交任务并取得结果，并能够用其他数据分析工具做进一步处置，与外界进行数据交互（如连接关系型数据库）。三.1.4计算节点散布式大数据平台包括了多个计算节点。计算节点是系统中真正存储数据和做数据运算的节点。每一个计算节点周期性地和主节点通信，还时不时和客户端代码和其他计算节点通信。计算节点还保护一个开放的socket效劳器，让客户端代码和其他计算节点通过它

10、能够读写数据，那个效劳器还会汇报给主节点。三.2大数据科研平台底层架构大数据科研平台低层架构以我司自主研发的商业版Hadoop为基础架构，包括和大数据分析、数据挖掘、机械学习等功能模块，并以HDFS和Hbase作为存储基础。图2. 软件架构三.2.1散布式持久化数据存储HDFSHadoop散布式文件系统（HDFS）被设计成适合运行在通用硬件上的散布式文件系统。它和现有的散布式文件系统有很多一起点。但同时，它和其他的散布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机械上。HDFS能提供高吞吐量的数据访问，超级适合大规模数据集上的应用。HDFS放宽了一部份POSI

11、X约束，来实现流式读取文件系统数据的目的。三.2.2散布式实时数据库HBaseHBase是一个散布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文“Bigtable：一个结构化数据的散布式存储系统”。就像Bigtable利用了Google文件系统（所提供的散布式数据存储一样，HBase在Hadoop之上提供了类似于BigTable的能力。HBase是Apache的Hadoop项目的子项目。HBase不同于一样的关系数据库，它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。三.2.3散布式资源调度治理YARNYarn是

12、的MapReduce 框架。YARN分层结构的本质是 ResourceManager。那个实体操纵整个集群并治理应用程序向基础计算资源的分派。ResourceManager 将各个资源部份（计算、内存、带宽等）精心安排给基础 NodeManager（YARN 的每节点代理）。ResourceManager 还与 ApplicationMaster 一路分派资源，与 NodeManager 一路启动和监视它们的基础应用程序。在此上下文中，ApplicationMaster 承担了以前的 TaskTracker 的一些角色，ResourceManager 承担了 JobTracker 的角色。三.

13、2.4交互式SQL引擎HiveHive是基于Hadoop的一个数据仓库工具，能够将结构化的数据文件映射为一张数据库表，并提供简单的SQL查询功能，能够将SQL语句转换为MapReduce任务进行运行。 其优势是学习本钱低，能够通过类SQL语句快速实现简单的MapReduce统计，没必要开发专门的MapReduce应用，十分适合数据仓库的统计分析。三.2.5内存计算SparkSpark是UC Berkeley AMP实验室所开源的类Hadoop MapReduce的通用的并行计算框架。Spark拥有Hadoop MapReduce所具有的优势；但不同于MapReduce的是Job中间输出结果能够

14、保留在内存中，从而再也不需要读写HDFS，因此Spark能更好地适用于数据挖掘与机械学习等需要迭代的MapReduce算法。三.3科研平台的功能三.3.1科研项目治理在科研平台中，科研计算是以计算项目来保留的，包括了计算项目成立、计算项目保护、计算项目设计、计算项目运行和结果可视化等几个环节。从技术角度来讲，计算项目中也包括了算法组件、算法流程和数据集，一旦设计完后，就可用于计算，后期还能够调整算法和基于新的数据资源进行计算。计算项目完成后，能够训练出算法模型，在新的计算项目中利用已经训练好的模型进行数据的预测，形成一次训练多次利用的算法实现。三.3.2平台内置数据集在科研工作中，如何获取到海

15、量高质量大数据资源是最大的难点。目前在互联网等渠道是很难找到科研工作所需的数据源，尤其是通过数据清洗和治理后的高质量数据。数据超市平台利用以下模式，通过外部的资源，为高校的科研工作提供优质数据资源：1）通过商务合作的模式，直接与数据所有权拥有者进行灵活的商务沟通，取得科研的数据利用授权；2）邀请行业内优质的第三方数据效劳提供商入驻数据超市平台；3）通过数据搜集的方式，通过数据寻源、搜集、治理、清洗后，引入具有公布版权的数据资源； 所有引入数据都会通过数据工程师的严格审核，保证数据的清洁和质量，能够直接用于数据计算。如平台内置的专利数据，包括了国内近2000万各类商业数据，而且不断更新，能够直接

16、用于旅行各方面的科学研究。有别区目前行业提供的数据库，数据超市直接提供了原始的数据，能够打通其他的行业数据，用于深层次的数据分析和经济预测。三.3.3科研数据上传科研教师已有的数据能够上传到平台参与数据计算，教师能够在平台上成立数据表，然后把本地数据文件上传到数据表中。也能够保护外部的JDBC数据源，平台会把外部数据自动抽取到平台中进行计算和预测。三.3.4集成算法组件为了便于科研教师快速进行科研数据的加工、分析和计算，数据超市平台集成了50多种通用大数据算法组件，包括回归算法、分类算法、聚类算法、关联计划算法、推荐算法、预测评估、数据预处置算法、机械学习等。所有的算法不必从头编程，只需要拖拽

17、画图完成即可进行计算，如以下图： 算法组件通过配置能够实现壮大的自概念计算功能和成效，调整后的模型能够完成教师需要的数据分析和预测。三.3.5科研平台可视化功能提供20余种可视化展现模式，一键选择，一键切换，可按利用者需求展现大数据之美，依照需要展现对应的纬度，并能够一键生成高质量PNG文件，保留到本地后可用于科研报告和论文等。四. 平台数据集清单科研平台为方便用户快速开展科学研究、生成科研数据报告，平台提供了一些通用的数据集，包括各类标准科研数据等。平台也内置了数百款可选数据集，分为多个数据包，总量近10TB，而且随商务和搜集工作推动，仍在不断增加中。五. 定制数据效劳依照科研教师的需求，数

18、据超市平台提供数据搜集和商务合作等定制数据引入模式，数据引入后，能够直接引入数据超市，由教师来进行利用。如教师需要旅行效劳评判类数据进行效劳情形的分析和预测，能够直接通过数据超市内的数据定制模块提出数据需求，经数据超市平台治理员汇总后，能够通过数据超市平台进行数据的预备，交给教师进行利用。六. 科研平台算法清单平台集成的算法包括72种，全数来自科研网站，通过了商业机构的验证，引入平台后完成了散布式优化，能够高效执行，详细如下表：序号算法分类算法名称算法描述1回归算法线性回归利用线性模型对数值型变量进行拟合。2回归算法决策树回归利用平方误差最小化准则，进行特征选择，生成二叉树，从而对对数值型变量

19、进行拟合3回归算法随机森林回归以回归决策树为基模型，将一定数量的基模型组合对数值型变量拟合，并对基模型的预测结果平均作为算法的最终结果4回归算法梯度提升回归树以二叉回归决策树为基函数的加法模型与前向分步结合的算法 ，通过对损失函数在当前模型的预测值的梯度作为近似残差进行拟合，从而对数值型变量预测。5分类算法逻辑回归二分类对目标变量为二值型分类变量，建立参数化逻辑斯谛分布，即sigmoid函数，近似条件概率分布，以实现二值分类。6分类算法逻辑回归多分类逻辑回归多分类,k个独立的 logistic回归分类器与onevsall结合的分类模型,分类对象类别之间不是互斥的7分类算法Softmax回归多分

20、类Softmax回归就是逻辑回归的一般形式,是logistic回归模型在多分类问题上的推广,分类对象类别是互斥的8分类算法决策树分类利用信息增益准则或基尼指数最小化准则，进行特征选择，生成二叉树，从而对对目标变量为离散变量的数据进行分类9分类算法随机森林分类以分类决策树为基模型，将一定数量的基模型组合对离散型的目标变量拟合，并根据基模型的预测结果进行投票，以占多数结果的种类作为算法的最终结果10分类算法梯度提升分类树以二叉分类决策树为基函数的加法模型与前向分步结合的算法，通过对损失函数在当前模型的预测值的梯度作为近似残差进行拟合，从而对分类型目标变量预测。11分类算法BP神经网络以感知器为基函

21、数，通过将当前基函数的的输出作为下一个感知器的输入，从而实现对离散型分类变量的分类12分类算法贝叶斯分类基于贝叶斯定理与特征条件独立假设，对给定数据集，学习输入输出的联合概率分布，利用贝叶斯原理输出后验概率最大的预测类作为预测结果13分类算法支持向量机分类在感知机的基础上，通过在特征空间上间隔最大和核技巧，实现对二类目标变量分类14聚类算法K均值聚类将无标记样本根据特征空间中的数据结构，划入K个不相交的子集中15聚类算法二分K均值聚类K均值聚类的改进版，能克服原算法收敛局部最小的缺点，每次选其中一簇分成两簇。16聚类算法高斯混合模型对于符合高斯分布的数据，假设存在K个高斯模型，将数据反复迭代，

22、期望极大化。将样本聚到后验概率最大的模型类下。17关联规则算法频繁项集挖掘算法（FP-Growth）主要分为两个步骤：FP-tree构建、递归挖掘FP-tree。挖掘出共同出现的频繁物品集。18推荐算法协同过滤算法协同过滤是在海量数据中挖掘出某部分与目标客户行为类似的数据，并根据某种指标对其进行排序。19预测评估分类预测及评估分类算法中，在已有训练数据训练模型的基础上，将未训练的数据代入算法中，预测结果与实际目标变量比对评估，检测模型的性能。20预测评估回归预测及评估回归算法中，在已有训练数据训练模型的基础上，将未训练的数据代入算法中，预测结果与实际目标变量比对评估，检测模型的性能。21预测评

23、估聚类预测及评估聚类算法中，在已有训练数据训练模型的基础上，将未训练的数据代入算法中，预测结果与实际数据类型比对评估，检测模型的性能。22预测评估推荐评估推荐算法中，在已有训练数据训练模型的基础上，将未训练的数据代入算法中，预测结果与物品类目比对评估，检测模型的性能。23数据预处理归一化将有量纲的数据转化为无量纲的数据，min-max 标准化24数据预处理Join-两表关联类似sql join的功能，将两张表通过一个字段对或者多个字段对的相等关系关联合成一张表25数据预处理类型转换（string类型转换数值类型）将不同数据的类型按需要进行转换26数据预处理Union对不同数据集取并集27数据预

24、处理标准化/正则化标准化是将数据缩放到一个区间范围内，如正态分布，小数定标，逻辑斯谛分布。正则化是利用先验知识，对模型增加约束，防止过拟合。28数据预处理缺失值填充对数据中某项数值所对应的某些样本缺失，通过某种先验假设，根据样本其他已知数据项对缺失值拟合预测。29数据预处理拆分按照比例拆分样本集，如设置，切分成60:40两个样本集。30数据预处理随机采样当数据量过大或模型训练批容量有限时，随机采取一定量/比例的样本集。31数据预处理增加序列号在数据表第一列追加ID列。32数据预处理Select数据库查询操作， 查询 某限定条件下的样本33数据预处理Select_Distinct数据库查询操作，

25、 查询某限定条件下并过滤掉重复的样本34数据预处理Select_Where数据库查询操作，查询指定条件下的样本35数据预处理Select_And_Or数据库查询操作，查询条件的交集与并集36数据预处理Select_OrderBy数据库查询操作，查询结果按某指标排序37数据预处理Select_Limit数据库查询操作，查询某限定段的数据38数据预处理Select_Like数据库查询操作，查询包含指定字段的数据39特征工程主成分分析数据降维去噪常用方法，对数据的协方差矩阵取前K个最大方差方向作为新的数据方向。40特征工程Onehot编码用户将特征值进行二元编码映射成二元向量，并与数值向量进行拼接4

26、2特征工程特征尺度变换由于计算需要或根据数据特点将某特征对应数据项进行缩放，不改变样本间该数值项的相对大小43特征工程特征重要性分析指根据数据集各项特征在算法模型中对目标变量的相对重要程度的分析，从而提出冗余特征，关注重要特征，提高算法模型的效率准确性44特征工程特征离散对连续型特征按某方法转换为离散型变量45文本分析SplitWord分布式jieba分词接口，基于Trie树结构实现高效的词图扫描，生成句子中汉字所有可能成词情况所构成的有向无环图（DAG)；采用了动态规划查找最大概率路径, 找出基于词频的最大切分组合；对于未登录词，采用了基于汉字成词能力的HMM模型，使用了Viterbi算法4

27、6文本分析文档主题生成模型（LDA）LDA(Latent Dirichlet allocation)，是一种主题模型，它可以将文档集中每篇文档的主题按照概率分布的形式给出。同时它是一种无监督学习算法，在训练时不需要手工标注的训练集，需要的仅仅是文档集以及指定主题的数量k即可。 LDA首先由David M. Blei、Andrew Y. Ng和Michael I. Jordan于2003年提出，目前在文本挖掘领域包括文本主题识别、文本分类以及文本相似度计算方面都有应用。47文本分析TF特征将文本文档的集合转换为词频计数的向量。48文本分析HashingTF特征使用散列技巧将一系列词语映射到其词频

28、的向量，HashingTF 的过程就是对每一个词作了一次哈希并对特征维数取余得到该词的位置，然后按照该词出现的次数计次。所以就不用像传统方法一样每次维护一张词表，运用 HashingTF 就可以方便的得到该词所对应向量元素的位置。当然这样做的代价就是向量维数会非常大，好在 spark 可以支持稀疏向量，所以计算开销并不大。49文本分析TF-IDF特征TF-IDF（term frequencyinverse document frequency）是一种用于资讯检索与文本挖掘的常用加权技术。TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。 字词的重要

29、性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。TF-IDF加权的各种形式常被搜索引擎应用，作为文件与用户查询之间相关程度的度量或评级。50文本分析字符串相似度一个字符串转换成另外一个字符串的代价，转换的代价越高则说明两个字符串的相似度越低。51文本分析停用词过滤针对文档数据，将包含的特定词汇过滤掉，不计入统计数据中52文本分析Word2VecWord2Vec 是一种著名的 词嵌入（Word Embedding） 方法，它可以计算每个单词在其给定语料库环境下的 分布式词向量（Distributed Representation，亦直接被称为词向量）。词向量表

30、示可以在一定程度上刻画每个单词的语义。如果词的语义相近，它们的词向量在向量空间中也相互接近，这使得词语的向量化建模更加精确，可以改善现有方法并提高鲁棒性。词向量已被证明在许多自然语言处理问题，如：机器翻译，标注问题，实体识别等问题中具有非常重要的作用。Word2Vec具有两种模型，其一是 CBOW ，其思想是通过每个词的上下文窗口词词向量来预测中心词的词向量。其二是 Skip-gram，其思想是通过每个中心词来预测其上下文窗口词，并根据预测结果来修正中心词的词向量。该组件目前只支持后者。53文本分析词频统计在对文章进行分词的基础上，按行保序输出对应文章ID列(docId)对应文章的词，统计指定文章ID列(docId)对应文章内容(docContent)的词频。54文本分析文本摘要通过pagerank算法计算得到的重要性最高的若干句子可以当作摘要。55文本分析关键词提取全面把握文章的中心思想的基础上，提取出若干个代表文章语义内容的词汇或短语56文本分析长句拆分根据长句中的标点符号将句子进行分割成多个短句57工具算法sql脚本用户可以在该组件自定义的SQL脚本从而完成对数据的转换处理58统计分析单样本T检验单样本T检验：单样本t检验（one-sample t-test）又称单样本均数t检验，适用于样本均数x与已知总体均