23互联网时代企业电子商务行为研究.docx
《23互联网时代企业电子商务行为研究.docx》由会员分享，可在线阅读，更多相关《23互联网时代企业电子商务行为研究.docx（14页珍藏版）》请在冰豆网上搜索。
23互联网时代企业电子商务行为研究
互联网时代企业电子商务行为研究
——基于三经普基层大数据的分析
河北省统计局张卫兵、侯子明、白倩凡
摘要
在大数据时代下，电子商务已成为企业之间、企业与消费者之间进行信息沟通和贸易活动的重要形式。
为研究互联网时代企业电子商务行为，以河北省第三次经济普查形成的近50万家基层单位大数据为基础进行分析研究，运用关联规则以及随机森林等数据挖掘算法模型。
研究结果表明批发和零售业是应用电子商务最活跃的行业，报表类型和登记注册类型是影响企业电子商务行为最重要的两项指标，通过进一步研究变量偏相关影响发现中小型批零企业是目前河北省应用电子商务最广泛的领域。
关键词：
第三次经济普查大数据电子商务关联规则随机森林
1.引言
1.1研究背景
2014年，“大数据”的概念风靡全球，成为社会各界关注的热点。
大数据时代下，互联网及电子商务迎来了发展的热潮，传统企业面临越来越大的压力。
有不少学者认为，在大数据时代传统企业必须利用电子商务手段。
比尔·盖茨说过：
“要么电子商务，要么无商可务”。
电子商务已成为企业之间、企业与消费者之间进行信息沟通和贸易活动的重要形式。
经济普查是进一步认识社会经济发展规律的契机。
经济普查产生的庞大数据实际上就是一种“大数据”，为研究互联网时代企业电子商务行为提供了强大的数据背景。
传统的研究方法只可窥其表象而无法深入探索数据之间内在的联系。
全面深入的研究需要采用数据挖掘的算法，本文将采用关联规则及随机森林等数据挖掘算法模型在河北省第三次经济普查的大数据基础上对互联网时代企业电子商务行为进行全面细致的研究。
1.2文献综述
1.2.1电子商务相关研究
胡宏力（2011）在文献[]中强调，随着以Internet为媒介的电子商务活动全球范围性的兴起，电子商务在各个方面都体现出了比传统贸易优秀的特点，它具有无纸化交易、成本低、快速、便捷等优势。
Hasan和E.Harris在文献[]认为数字技术已经改变了经济价值,同时也成为了信息和情报来源的重要手段，全球化和信息化正在从根本上改变着商业的现状。
王群（2013）在文献[]认为，信息技术的迅猛发展为互联网技术的广泛应用奠定了基础，网络技术方便快捷、高效多样化的优势已日趋明显，为顺应时代进步的要求，众多企业已开始发展网络营销业务。
陈晓明（2011）在文献[]认为目前网站及网民的数量呈上升趋势，同时政府扶持中小企业应用电子商务的力度不断加大，产业集群的电子商务和行业电子商务齐头并进，对企业的发展有很大的益处。
1.2.2关联规则相关研究
关联规则的概念最早是由Agrawal等人提出的。
随后，诸多研究人员对其进行了大量研究。
主要有理论研究和应用研究两类，关联规则理论研究主要针对不同数据形式的最优算法，应用研究则强调关联规则与数据库技术的紧密配合及实施方法的选择。
国外学者侧重算法理论研究。
Agrawal于1993年在文献[]中第一次提出了关联规则的基本概念，并且给出了一个初始的AIS算法，Agrawal又于1995年在文献[]中提出了经典的Apriori算法，这个算法奠定了关联规则挖掘算法的基础，该算法中所提出的思想在其他多个算法中被使用。
随后，许多人对Apriori算法进行了改进。
Park等人在文献[-]中提出了DHP算法。
它使用Hash树的方法来高效的产生频繁集。
文献[]提出的Eclat算法提高了挖掘关联规则的效率。
然而，若项目出现的频率非常高时频繁项集庞大，进行交集操作时会消耗系统大量的内存，影响算法的效率。
国内学者主要侧重应用研究。
成文奇在文献[]中针对多维关联规则和序列模式关联的挖掘算法存在的问题，提出了改进算法，提高了算法效率；何月顺在文献[]中利用关联规则的特点构建关联规则树，对树的搜索策略、分类策略及参数选择进行了研究；高飞在文献[]中给出了可以有效解决低支持度、长模式的关联规则挖掘问题的方法；毕建欣在文献[]中认为基于约束的关联规则挖掘在降低问题维度的方面具有广阔的前途。
1.2.3随机森林相关研究
随机森林（RandomForest,RF）是一种统计学习理论，是Breiman在2001年文献[]中提出的，与传统分类算法相比，随机森林具有准确性高等优点，所以近几年来，随机森林的理论和方法在许多领域都有较为迅速的发展。
很多文献都证明通过随机特征选取的方法相对于其他方法具有更低的泛化误差。
比如，Dieterrich在文献[]认为随机分割选择比bagging方法更好；Breiman在文献[]中认为在输出变量中引入随机噪声数据方法也优于bagging方法；Lariviere等在文献[]中把随机森林应用于客户关系管理中，发现随机森林的效果好于普通线性回归和罗吉斯模型；Ishwaran在2008年文献[]中提出了随机生存森林（RSF）算法，是随机森林的衍生。
国内学者对随机森林的研究也有独到见解。
杨沐晞在文献[]中指出了随机森林优于其他同类方法的原因；李丽在文献[]中指出由于随机森林能够进行变量筛选得到评价指标重要性的度量值，使得模型能够构建高效的评价指标体系，促进模型预测能力的提高；方匡南、吴见彬等人在文献[]中认为随机森林的精度和AdaBoost相当，甚至更好，但运算速度远远快于AdaBoost，且不容易过拟合。
1.3本文的创新点
本文主要研究关联规则和随机森林等数据挖掘算法在经普数据分析中的应用，为经普数据的开发应用开拓了新的思路和方向。
本文的创新点包括：
一是选题创新。
目前人们对电子商务的研究尚处于宏观层面的简单文字分析，几乎没有专门针对企业电子商务行为的模型分析和算法研究，本文恰好在这一方面给予了补足。
二是模型应用创新。
将数据挖掘算法与经普数据相结合，对经普数据从以往研究宏观层面的汇总数据转向对微观层面的指标间的关系进行研究，寻找到了经普大数据中各指标间的内在联系。
三是多种算法结合创新。
将多种数据挖掘算法有机的融合起来，相得益彰，逐步深入的对经普大数据进行分析。
首先通过关联规则的apriori算法和eclat算法初步分析了河北省三经普各指标之间的关联规则总体情况，并深入分析了各项指标与企业电子商务行为的关联规则。
接下来，运用随机森林算法模型对企业电子商务行为进行预测，并且与决策树、AdaBoost以及SVM模型产生的结果进行比较，进一步应用随机生存森林研究各项指标对企业电子商务行为的影响。
四是方法运用创新。
通过将关联规则和随机森林的研究结果可视化处理，更加直观的发现规律和有价值的信息。
2.基于关联规则的经普数据研究
2.1关联规则的基本概念思想
关联规则分析也称关联规则挖掘,关联规则显示出在一个给定的数据集中频繁地一同出现的变量，它试图在一个很大的数据集中找出关联或相关的关系。
它侧重于确定数据中不同领域之间的联系。
支持度、置信度和提升度构成了关联规则的三个评价度量标准。
关联规则有着如下优点：
它可以产生清晰有用的结果、支持间接数据挖掘、可以处理变长的数据，并且它的计算消耗量是可以预见的。
同时，它也存在着一些缺点，比如：
当问题变大时会使得计算量迅速增长，它难以决定正确的数据而且容易忽略稀有的数据。
关联规则的算法有许多种，本文采用了Apriori和Eclat两种算法对数据进行分析。
2.2数据来源及预处理
本文选取经济普查中的单位普查表（611表）进行分析研究。
表中共涉及134项属性指标和10项经济指标。
本文主要以法人企业为研究对象，故删除了关于非企业单位的冗余指标，经过筛选，最后确定“数据处理地”、“报表类别”、“机构类型”等19项指标进行建模分析（具体指标见附表1）。
由于建模时经济普查指标数据的审核修改尚未完成，数据还存在一些错误和奇异值，因此，我们对样本数据进行了处理，删除了缺失值和不合理数据。
具体处理过程如下：
一是将14项属性指标直接转换为因子变量。
由于“机构类型”、“城乡代码”和“是否文化产业单位”三个变量中有少部分缺失值，把这部分缺失值转换为相应变量中最后一个因子水平。
二是将5项数量指标转换为有序因子变量。
转换规则是按照《国家统计局关于印发统计上大中小微型企业划分办法的通知》【国统字〔2011〕75号】要求进行划分。
比如营业收入按照“300万以下”,“300-2000万”,“2000万-4亿元”,“4亿元以上”的标准转换为有序因子变量；营业税金及附加按照“10万以下”,“10-500万”,“500万-5000万”,“5千万元以上”的标准转换为有序因子变量，从业人员和资产总计也按照相应标准进行了转换。
三是缺失值处理。
使用R软件DMwR包中的manyNAs函数处理缺失值。
manyNAs函数的功能是如果数据行中的所有列中20%的列有缺失值，则返回该数据行的行代码，对查找出来的数据行进行删除处理。
经过处理后得到32.8万家企事业单位数据。
2.3Apriori算法与Eclat算法比较
Apriori算法是关联规则挖掘的一个经典算法，它使用的数据格式为水平数据格式，该算法的基本思想是：
一个频繁项集的任一非空子集必定是频繁项集，因此只要有某一项集是非频繁的，则其超集就无须再检验；Eclat算法采用的则是垂直数据格式，运用概念格划分以及自下而上的搜索方法来挖掘频繁项集。
本文分别运用以上两种算法对河北省三经普数据进行了关联规则分析，为了能够更加直观的比较两种算法的结果，分别选取了结果中支持度最大的前50条规则做了可视化处理，结果如图1和图2：
图1：
Apriori算法结果图
图2：
Eclat算法结果图
Eclat算法要快于Apriori算法。
然而，鉴于本文需要尽可能多的指标来更加准确的分析企业在互联网时代的电子商务行为，故最终决定选取Apriori算法来进行接下来的研究。
2.4运行结果分析
2.4.1针对经普数据各指标间的关联规则总体分析结果
使用前面预处理后得到的19项指标和32.8万家企事业单位数据，用关联规则算法模型进行运算，在设定支持度大于2%的前提下得到1265.5万条关联规则，如图3所示，其中，横轴代表的是指标的名称，纵轴代表的是出现的频率。
图3：
支持度大于2%的指标出现频率示意图
附表2显示的是针对经普数据各指标间的关系，通过设置不同的右手项，分别按照支持度、置信度和提升度排序，选取前10条规则进行分析，研究结果显示：
（1）从支持度排序结果看，90.7%的企业是执行企业会计制度，并且92.4%的企业都不是高技术产业和文化产业单位。
（2）从置信度排序结果看，99.99%的营业税金10万元以下、从业人员50人以下的私营控股批零贸易单位是企业类型。
（3）从提升度排序结果看，96.2%的营业税金10万元以下、从业人员50人以下的其他控股农业单位的登记注册类型是其他类型并且这些企业不是高技术产业或文化产业单位。
2.4.2针对“互联网时代下企业电子商务行为”的分析结果
针对本文的主题，选取“是否通过互联网销售或采购商品和服务”这一指标作为右项，观察其与其他指标之间的关联程度，共产生228.3万条规则。
附表3显示了将“是否通过互联网销售或采购商品和服务=1”作为右项时的分析结果，分别按照支持度、置信度和提升度排序，选取前10条规则进行分析，研究结果显示：
（1）从支持度排序看，执行企业会计制度、执行2006年企业会计准则、从业人员50人以下的私营企业对电子商务的支持度最高。
从第六条规则可以看出，城市的规模也影响着企业选择互联网进行销售的意愿。
石家庄是省会城市，城市规模大，消费者的消费意愿也最为强烈，促使商家在实体店销售的同时也开展网络销售来增加销量。
（2）从置信度排序看，年末女性从业人员10人以下的小型城镇私营批零贸易企业有80.9%应用了电子商务。
（3）从提升度排序看，结论与按置信度排序的结果基本一致，即中小型城镇私营批零贸易企业应用电子商务的意愿最为强烈，是所有应用电子商务企业的24.1倍。
图4：
“是否通过互联网销售或采购商品和服务”作为右项时的关联规则分析
图4显示的是以“是否通过互联网销售或采购商品和服务”作为右项时的关联规则分析。
其中，X轴表示的是提升度的大小，Y轴表示的是规则的个数，Z轴表示的是支持度的大小。
各项规则按照支持度降序排列。
图5：
“是否通过互联网销售或采购商品和服务”作为右项时的平行坐标图
图5表示的是以“是否通过互联网销售或采购商品和服务”作为右项时的平行坐标图。
平行坐标图可以做维数据的可视化展示，每个维度在X轴和Y轴上的显示是共享的。
用一条带箭头的线来连接每个维度的数据点。
箭头越长，代表一条规则中所涉及的指标越多，箭头越宽代表支持度越大，颜色越深代表置信度越高。
3.基于随机森林的企业电子商务行为研究
3.1随机森林建模的原理
随机森林是一个组合机器学习技术，可以克服传统参数回归方法中需要预先设定函数形式且难以精确拟合的缺点，具有较高的预测准确性。
随机森林首先使用Bootstrap技术生成
个Bootstrap样本集，然后分别对这
个样本集建立弱分类器
，其中
是独立同分布的随机向量，用来选取Bootstrap样本集。
最后将弱分类器的分类结果进行投票或平均，得到最后的分类或预测结果，详见图6：
图6随机森林示意图
3.2数据处理
鉴于前章已经对数据做了部分预处理，本章不再赘述。
但是在实际运行中，由于样本的非对称分布问题，数据集合往往集中于非目标数据，使得建立的分类预测模型无法对数量较少的类别进行正确的预测，因此这就需要对数据进行平衡处理。
本文研究的“是否通过互联网销售或采购商品和服务”这项指标在实际调查中，填写“是”的企业有1万多家，仅占3.4%，因此，本文采用“减少多数法”来平衡数据分布，使用R软件DMwR包中的SMOTE函数进行数据平衡处理。
该方法是从数量比较多的类别中除去特征差异性较大的样本，再用平衡抽样技术从样本较多的数据集中选取部分具有类别代表性的样本，用以降低类别的不对称性。
3.3随机森林模型参数的选择
随机森林模型在R语言中只需要对模型的一些参数进行调整，就能使模型的误差率减小，达到更好的性能。
随机森林的模型参数比较多，如ntree、mtry、importance等，其中ntree、mtry是尤为重要的可调参数。
通常认为mtry参数相对ntree参数对模型的性能影响更大。
只要ntree足够大，随机森林的总体误差会达到一个固定值（上限）。
因此在设置参数时只要保证ntree足够大，随机森林收敛即可。
3.3.1mtry值的设定
参数mtry是指随机森林模型中决策树除了根节点、叶节点以外的其他节点处随机选择特征的数目，mtry比其他参数对模型的性能更加敏感，调节其值，模型的误差率变化较为明显。
在randomForest算法中，mtry的默认值是变量个数M的平方根（
），本文的变量个数（评价指标）共计19个。
为了确定模型中mtry的最佳取值，本文对训练集数据设计了如下实验：
设定ntree值为500，mtry值取[1,12]，重复实验12次，得到12个OOB误差率。
设定ntree值为1000，重复步骤
，对比分析这两组数据，对比分析见图7所示：
图7mtry值与误差率趋势图
从图7中能够得知：
mtry值等于1的时候OOB误差率最大，等于4时最小，之后随着mtry值的增大，模型数据的OOB误差率也在增加；在ntree取值为500和1000两种情况下，这种规律保持了一致，故本文选定参数mtry=4。
3.3.2ntree值的设定
参数ntree是指随机森林模型中决策树的数目，只要ntree足够大就能保证模型的误差率接近上限值。
经过综合考虑，本文设计了如下实验：
设定模型参数mtry=4。
对训练集和测试集数据统一设定ntree取值范围[20,50,100,200,300,400,500,600,700,800,900,1000]。
对两组数据对比分析。
对比分析如图8所示。
图8反映了模型误差率与决策树数目的关系，训练集和测试集的规律基本一致。
数据的误差率都是在决策树数目是100以后开始稳定并随着决策树数目的增加总体呈缓慢下降的趋势，当决策树的数目为700时，模型的误差率达到最小值随后开始上升，此时，模型的性能达到最佳。
综上，本文选定参数ntree=700。
图8模型误差率与ntree关系图
3.4变量重要性排序
计算变量重要性是随机森林的另一个重要用途。
一方面能够筛选出有利于预测的变量，为建模提供参考；另一方面也是对数据信息的一种解释和剖析，可用来解释经济现象。
由于原始解释变量较多，但这些变量并不都有助于模型的识别，反而可能由于变量间的自相关性降低模型的有效性，因此从原始变量中选取少数几个合适的变量建立评价指标体系，有助于对企业电子商务行为的识别和重点分析。
本文首先利用采用启发式算法筛选预测模型的解释变量，通过在变量被加入噪声前后的预测准确性差异来判断变量的重要性。
利用R语言中的随机森林软件包（randomForest）,根据3.3节确定的ntree=700和mtry=4两个参数对数据预处理后的32.8万家企业数据进行变量重要性排序，以指标“是否通过互联网销售或采购商品和服务”为因变量，其它18个指标为自变量，计算得到的变量重要性如附表4所示。
附表4中列出了18项指标的变量重要性值。
从表中可以看出，“数据处理地”是最重要的变量，其次是“登记注册类型”、“报表类别”、“资产总计”、“营业收入”等。
“数据处理地”是指企业所属地的行政区划，这项指标对于“是否通过互联网销售或采购商品和服务”影响最重要，说明河北省11个地市的企业对于应用电子商务行为很不均衡，这一结论与2.4.2关联规则运行结果分析中得出的石家庄对“是否通过互联网销售或采购商品和服务”的支持度远高于其他地市的结论相吻合。
值得一提的是“年末从业人员（女性）”这项指标的重要性排序比较靠前，说明女性职工对企业电子商务行为有较为重要的影响。
“从业人员期末人数”、“是否文化产业单位”、“高技术产业制造业标识”、“高技术产业服务业标识”和“机构类型”这五项指标对企业电子商务行为的影响程度则相对较小。
3.5企业电子商务行为识别和预测
随机森林的重要特点就是能够根据目前的数据比较准确地识别和预测出企业交易使用或将要使用电子商务，这将具有重要的现实意义，比如可以进行有针对性的网络营销等等。
同样选取mtry=4和ntree=700建立随机森林识别预测模型，进一步考虑模型中输入变量的个数。
根据上节变量重要性得到的结论，删除“从业人员期末人数”、“是否文化产业单位”、“高技术产业制造业标识”、“高技术产业服务业标识”和“机构类型”这五项影响程度较小的指标，并将平衡后的样本集分为训练集和测试集进行模型运算。
针对选取训练集和测试集的比例，本文分别用了6种不同的比例做了测试，运算结果见附表5。
从附表5中可以看出，选取75%的样本作为训练集，25%的样本作为测试集得到的结果最好。
此外，为比较随机森林与其他方法的优劣，本文分别利用决策树、AdaBoost和SVM模型建立预测模型。
同时，为检验模型的外推预测能力，将样本数据按3:
1的比例分为训练集和测试集，不同模型的预测准确率见附表6。
通过对比可以发现，随机森林模型具有稳健的预测准确度，其他模型的预测能力相对较差，其中决策树模型对选项“是”的识别率仅为72.1%，对选项“否”的识别率为77.2%，说明决策树分类模型倾向于将选项“是”的样本识别为选项“否”。
AdaBoost和SVM的预测能力高于决策树模型，但是低于随机森林模型，证实了随机森林模型在分类预测方面的优势。
在实际运行当中还发现，随机森林的运算速度要远远快于另外三种模型。
3.6企业电子商务行为影响因素分析
随机生存森林（RandomSurvivalForest,RSF）除了可以像RF一样用来预测结果，还可以用来研究每个变量对企业电子商务行为的偏相关影响，即当其它变量不变时，某一变量对企业电子商务行为的偏相关影响。
研究每个变量对企业电子商务行为的偏相关影响可以找到推动企业加快应用电子商务的切入点。
具体结果见图9。
图9企业电子商务行为的偏相关影响
从图9中可以看出：
（1）从登记注册类型看，私营有限责任公司企业应用电子商务的比例较高。
这是因为国有企业或者大型股份制企业一般都有固定的采购或者销售渠道，较少从互联网采购或销售商品和服务。
与之相反的是，其他小型企业为了节约成本和增加销量加快资金流动会主动应用电子商务。
（2）从报表类别看，报表类别为E的应用电子商务的几率最高，而报表类别为A的几率最低。
也就是说，批发和零售业的企业更容易应用电子商务，而农业企业则较少应用电子商务。
（3）从资产总计、营业收入和营业税金及附加三项经济指标来看，中小型企业应用电子商务的几率较高，而大型企业应用电子商务的几率较低。
这是因为大型企业管理制度比较规范，生产、经营和销售等环节因循守旧，对新生市场反应迟缓，因此较少应用电子商务。
（4）从女性从业人员数来看，10人以下的企业应用电子商务的几率较高，10人以上的企业应用电子商务的几率较低。
这是因为人数较少的企业里一般财务会计岗位都是女性职工，采购和销售与财务会计关系比较密切。
因此女性爱好网上购物的习惯对企业应用电子商务有非常积极的影响。
而大型企业管理比较规范，财务会计基本上与采购和销售部门相互独立，企业电子商务行为较少受到女性员工的影响。
（5）非高技术产业制造业、非高技术产业服务业和不执行2006年企业会计准则、私人控股的企业应用电子商务的几率较高，而是否文化产业单位则对企业是否应用电子商务没有显著影响。
4.结论及政策建议
4.1结论
本文首次将数据挖掘算法应用到基层经普大数据研究中。
首先运用关联规则分析了各指标与企业电子商务行为的关联程度。
然后分别用不同的模型对筛选后的经普数据进行分类预测，证实了随机森林分类模型的预测能力优于其它模型。
最后利用随机生存森林分析了变量对企业电子商务行为的偏相关影响，弥补了随机森林仅能预测的缺陷。
模型显示关联规则分析模型和随机森林分类模型的结果是基本一致的。
4.2模型的应用前景
关联规则分析模型和随机森林模型在经普大数据研究的成功运用为研究大数据在政府统计中的应用提供了新的方向，弥补了传统统计分析的不足，更为数据挖掘算法在政府统计的应用开创了广阔前景。
政府统计部门可以利用数据挖掘算法的优势从微观层面对基层单位进行年度、季度甚至月度的即时监测，通过在基层大数据中的挖掘即时了解整个行业发展动态，更好的为政府决策建言献策。
4.3模型的优缺点
本文将多种数据挖掘算法有机结合，相互印证，从不同角度分析了基层经普大数据，而且分别为关联规则和随机森林模型加入了可视化图形，使得研究结果更加直观。
当然，本文的研究还有很多不足之处。
首先，数据预处理的过程过于复杂。
由于原始数据是尚未修改审核完毕的数据，而且数据量又特别巨大，存在部分缺失值和异常值，一定程度上影响了分析结果和模型预测的准确率；其次，由于本文研究使用的是R软件，在运行大数据方面还存在许多漏洞，容易造成内存溢出和系统崩溃的问题。
比较好的解决方案是使R软件连接大型数据库来运行大数据，由于受时间和运行环境的限制，作者只采用了对电脑升级的方法，通过增加内存、增加固态硬盘等权宜之计勉强运行出了结果，而且运行时间也特别长。
如果是运行全国的三经普数据，单纯靠高档电脑和R软件是很难胜任的。
这些不足之处有待将来进一步研究完善。
4.4政策建议
加快流通领域电子商务发展应以市场为导向，以企业为主体，以信息化带动流通现代化为主要手段，主要做好以下几个方面：
一是加大中小商贸企业扶持力度。
推动各级商务主管部门出台配套政策措施，进一步加大对中小型商贸企业扶持力度，完善扶持内容。
扶持传统流通企业应用电子商务开拓网上市场，培育一批管理运营规范、市场前景广阔的专业网络购物企业，扶持一批影响力和凝聚力较强的网上批发交易企
升级会员 