SPSS电信行业应用.docx

1、SPSS电信行业应用SPSS-电信行业应用电信行业应用1.前言 随着电信业务的发展和体制改革地不断深化，国内电信行业内部各大运营商之间的竞争日趋激烈，这一趋势在国内移动通信业内表现的尤为突出。移动通信运营商为了获取更多的客户资源和占有更大的市场份额往往采取“简单”的价格竞争和“此起彼伏”的广告宣传战，其弊端显而易见。这就要求运营商要采取以客户为中心的策略，根据客户的实际需求提供多样化、层次化、个性化的服务解决方案。因此，客户关系管理（CRM）成了电信运营商增加收入和利润，提高客户满意度、忠诚度的有效工具。在客户关系管理的流程中，为了准确、及时地进行经营决策，必须充分获取并利用相关的数据信息对决

2、策过程进行辅助支持。近几年迅速发展起来的数据挖掘技术就是实现这一目标的重要手段。从电信业务层面来讲，电信业务已从单纯的提供市话和长话服务演变为提供综合电信服务，如宽带、移动电话、语音、传真、图像、电子邮件、计算机和Web数据传输，以及其他数据通信服务。电信、计算机网络、因特网和各种其他方式的通信和计算机的融合是目前的大势所趋。而且随着许多国家对电信业的开放和新兴计算与通信技术的发展，电信市场正在迅速扩张并越发竞争激烈。因此，为了提高企业竞争力利用数据挖掘技术来挖掘现有电信业务能力，提高商业效率具有重要意义。 数据挖掘的概念 数据挖掘是根据企业的既定业务目标和存在的问题，对大量的业务数据进行探索

3、，揭示其中隐藏的规律，并将其模型化，指导并应用于企业的实际经营。 数据挖掘是建立在数据仓库基础上的高层应用，但数据挖掘跟数据仓库的其它一些应用如OLAP分析、预定义报表和即席查询等有很大的区别。后三者通常是用户根据已知的情况对所关心的业务指标进行分析；而前者则是在业务问题和目标明确但考察的问题不清楚时，对数据进行探索，揭示隐藏其中的规律性，进而将其模型化。电信运营商拥有许多成熟的数据库应用系统，如网管系统、财务系统、计费账务系统、112障碍管理系统、缴费销账系统等，并产生了大量的业务处理数据。如果针对客户关系管理相关决策分析的需求，对这些数据进行重组整合，就能充分利用这些宝贵的数据，体现信息的

4、真正价值。 数据挖掘技术在电信行业客户关系管理的主要应用领域如下:（1）客户消费模式分析客户消费模式分析（如固话话费行为分析）是对客户历年来长话、市话、信息台的大量详单、数据以及客户档案资料等相关数据进行关联分析，结合客户的分类，可以从消费能力、消费习惯、消费周期等诸方面对客户的话费行为进行分析和预测，从而为固话运营商的相关经营决策提供依据。（2）客户市场推广分析客户市场推广分析（如优惠策略预测仿真）是利用数据挖掘技术实现优惠策略的仿真，根据数据挖掘模型进行模拟计费和模拟出账，其仿真结果可以揭示优惠策略中存在的问题，并进行相应的调整优化，以达到优惠促销活动的收益最大化。（3）客户欠费分析和动态

5、防欺诈 通过数据挖掘，总结各种骗费、欠费行为的内在规律，并建立一套欺诈和欠费行为的规则库。当客户的话费行为与该库中规则吻合时，系统可以提示运营商相关部门采取措施，从而降低运营商的损失风险。（4）客户流失分析根据已有的客户流失数据，建立客户属性、服务属性、客户消费情况等数据与客户流失概率相关联的数学模型，找出这些数据之间的关系，并给出明确的数学公式。然后根据此模型来监控客户流失的可能性，如果客户流失的可能性过高，则通过促销等手段来提高客户忠诚度，防止客户流失的发生。这就彻底改变了以往电信运营商在成功获得客户以后无法监控客户流失、无法有效实现客户关怀的状况。 数据挖掘成功方法论按照CRISP-DM

6、（跨行业数据挖掘方法论），数据挖掘可以划分为以下六个步骤： 图1.1：数据挖掘项目实施流程示意图 商业理解在这个阶段要明确面临的商业问题和数据挖掘想要达到的目的，完成商业问题到挖掘问题的定义过程。这阶段将产生的主要文档及提交物包括：a) 确定商业目标。包括电信行业背景，需要实现的商业目标和成功标准等；b) 形势评估。包括电信运营商拥有的资源、需求、假定和限制、风险偶然性、专业术语和成本收益等；c) 在上述基础上确定数据挖掘的目标和成功标准；d) 制定的项目计划和阶段性里程碑的设定说明。明确挖掘的目的。在进行数据挖掘前，一定要明确挖掘的目标。因为电信业务变化快，不同的时期，挖掘的对象并不一样，挖

7、掘目标也千差万别，而挖掘目的不一样，决定了挖掘使用的模型和算法完全不一样。例如：电信开通新视通业务后，根据不同的类型用户对新视通业务的使用情况，预测2-3个月内可能使用该业务的用户类型，使用机率和话务量。明确影响挖掘目的的可能因素和结果。影响用户消费行为的因素是多种多样的，要比较的指标也是多种多样的，所有这些因素均应在模型中考虑。比如，要考虑IP业务对用户的影响，不仅要分析用户性质，还要分析用户消费额度；不仅要分析已经使用IP业务的用户性质和消费额度分布，而且要分析已使用IP业务的用户在未使用该业务前在原来的未开通IP业务用户中的分布和比例，还要分析使用IP业务的用户使用前和使用后消费行为的变

8、化。 数据理解与数据准备数据理解和数据准备在真实的数据挖掘项目中会占很大的比重，搜集所有需要的数据和数据质量的保证是数据挖掘结果正确与否的关键。需要确定数据来源、确定数据整理方法。如对IP业务开通对用户行为的影响，原始数据来自用户资料、用户详单。根据上述确定的因素，定义原始指标和衍生指标。 建立模型针对不同的数据挖掘目标和数据特性，应采用不同的挖掘算法建立模型，并对筛选出的每种候选模型进行数据处理并产生结果。目前在电信行业常用的算法有：C5.0 决策树、CART决策树、神经元网络和Logistic回归等算法。模型检验对产生的模型结果需要进行比对验证、准确度验证、支持度验证等检验以确定模型的价值

9、。在这个阶段需要引入更多层面和背景的用户进行测试与验证，通过对几种模型的综合比较，产生最后的优化模型。模型发布与应用建立和检验模型并不是数据挖掘的目的，只有把模型发布到相关决策者手中，才能使我们通过数据挖掘提高企业利润或降低企业成本。例如在研究客户流失这个案例中，模型建立好后除了提交一份完整的报告和测试结果外，还需要通过发布工具将模型嵌入到用户的应用系统中，使决策者和相关管理者可以及时作出决策，实施相应的市场措施。模型发布后并不意味一个数据挖掘项目的结束，数据挖掘系统与业务系统间存在着作用与反作用的交互关系，随着时间的推移和数据的变化，这个闭环作用的系统中的很多关键参数需要及时调整，才能保证挖

10、掘结果的质量并延长其有效的生命周期。所以有时我们说“数据挖掘是一门科学，同时也是一门艺术”。 国内数据挖掘应用中存在的问题数据质量和完备性国内电信运营商现有的、面向事务的数据在质量、完整性和一致性上存在许多问题，必须投入大量的精力去进行数据的抽取、净化和处理。此外，业务问题的相关数据有时难以全面收集。例如客户信用是客户价值评估中的关键因素，但由于国内未建立完善的信用体系，无法根据现有客户数据建立优质的信用评价模型，从而导致客户价值模型有效性的降低。相应的人员素质 在数据挖掘应用过程的多个环节中，人的主观辨识和控制是应用成败的关键，这就对系统使用人员提出了很高的要求。如果没有具备相应素质的使用和

11、维护人员，必将导致分析系统与现实脱钩，无法达到预期效果。 应用周期 a) 数据挖掘系统将会直接告诉你有关商业问题的答案；b) 数据挖掘系统将在工作流程中替代专业业务管理人员的角色；c) 数据挖掘系统的建设过程中无视内部的知识和专家经验；d) 数据挖掘系统是理论性的、以研究学习为导向的方法。数据挖掘项目的建议：结合项目的投资确定数据挖掘项目的目标和回报周期，保证项目的可实施性。a) 数据挖掘项目整个实施流程的管理和控制是非常重要的；b) 数据挖掘项目需要和用户的专业业务人员紧密配合，共同寻找答案；c) 培训业务人员，传递产品技能，提供挖掘分析的技术支持，让业务专家而不是技术人员成为项目的主导者；

12、d) 需要提供外部观点和一般经验，同时与内部特色相结合；e) 确保实际的，以结果为导向的项目原则。本手册将从客户流失、客户细分、客户满意度和营销响应四个大方面，使用Clementine具体讲述数据挖掘在电信行业的具体应用。 2.客户流失随着电信体制的改革和不断深化，国内电信行业内部各大运营商之间的竞争日趋激烈。电信运营商为了获取更多的客户资源和占有更大的市场份额，往往采取名目繁多的促销活动和层出不穷的广告宣传来吸引新客户。然而，统计发现，发展一个新客户比保持一个老客户的费用要高7倍，而如果“用户保持率”增加 5%，将有望为运营商带来 85% 的利润增长。因此，对老客户的保留直接关系到运营商的利

13、益，无论是客户流失还是话务量流失都将对运营商的经营产生深远的影响。针对这一问题，目前国外电信界应用最为广泛的解决方案之一，是应用数据挖掘技术，研究流失客户的特征，从而对流失进行预测、并对流失的后果进行评估，采取客户保留措施，防止因客户流失而引发的经营危机，提升公司的竞争力。具体说来，客户流失是指客户终止与企业的服务合同或转向其它公司提供的服务。客户流失分析是以客户的历史通话行为数据、客户的基础信息、客户拥有的产品信息为基础，通过适当的数据挖掘手段，综合考虑流失的特点和与之相关的多种因素，从中发现与流失密切相关的特征，在此基础上建立可以在一定时间范围内预测用户流失倾向的预测模型，为相关业务部门提

14、供有流失倾向的用户名单和这些用户的行为特征，以便相关部门制定恰当的营销策略，采取针对性措施，开展客户挽留工作。 客户流失需要解决的问题1）哪些现有客户可能流失？客户流失的可能性预测。主要对每一个客户流失倾向性的大小进行预测。2）现有客户可能在何时流失？如果某一客户可能流失，他会在多长时间内流失。3）客户为什么流失？哪些因素造成了客户的流失，客户流失的重要原因是什么。主要对引起客户流失的诸因素进行预测和分析。4）客户流失的影响？客户流失对客户自身会造成什么影响?客户流失对电信公司的影响如何？对可能流失客户进行价值评估，该客户的价值影响了运营商将要付出多大的成本去保留该客户。5）客户保留措施？针对

15、电信公司需要保留的客户，制定客户和执行保留措施。 电信客户流失的类型为了避免由客户流失造成的损失，必须找出那些有流失危险和最有价值的客户，并开展客户保留活动。电信行业的客户流失现象可以分为以下三种情况：1）公司内客户转移：客户转移至本电信公司的不同网络或不同业务。主要是电信公司增加新业务，或者资费调整引发的业务转移，例如从普通的固定电话转至IP 电话。这种情况下，虽然就某个业务单独统计来看存在客户流失，并且会影响到公司的收入，但对公司整体而言客户没有流失。2）客户被动流失：表现为电信运营商由于客户欺诈或恶意欠费等行为而主动终止客户使用网络和业务。这是由于电信运营商在客户开发的过程中忽视了客户质

16、量造成的。3）客户主动流失：客户主动流失可分为两种情况。一种是客户不再使用任何一家电信运营商的电信业务；另一种是客户选择了另一家运营商，即所谓的“客户跳网”。“客户跳网”的原因主要是客户认为公司不能提供他所期待的价值，即公司为客户提供的服务价值低于另一家电信运营商。这可能是客户对电信公司的业务和服务不满意，也可能是客户仅仅想尝试一下别家公司提供而本公司未提供的新业务。这种客户流失形式是研究的主要内容。 如何进行客户流失分析？对于客户流失行为预测来说，需要针对客户流失的不同种类分别定义预测目标，即明确定义何为流失，进而区别处理。预测目标的准确定义对于预测模型的建立是非常重要的，它是建立在对运营商

17、的商业规则和业务流程的准确把握的基础之上。在客户流失分析中有两个核心变量：财务原因非财务原因，主动流失被动流失。对不同的流失客户按该原则加以区分，进而制定不同的流失标准。例如，非财务原因主动流失的客户往往是高价值的客户，他们会正常支付服务费用并容易对市场活动有所响应，这种客户是电信企业真正需要保留的客户。而对于非财务原因被动流失的客户，对于预测其行为的意义不大。研究哪些客户即将流失时，是一个分类问题。将现有客户分为流失和不流失两类，选择适量的历史上流失客户和未流失客户的属性数据组成训练数据集，包括：客户的历史通话行为数据、客户的基础信息、客户拥有的产品信息等。Clementine提供人工神经网

18、络，决策树，logistic回归等模型用于建立客户流失的分类模型。关于流失用户特征的分析，是一个属性约减和规则发现问题。Clementine提供关联分析方法，可以发现怎样的规则导致客户流失。也可以利用Clementine的决策树方法，发现与目标变量是否流失关系最为紧密的用户属性。由于不同类型的客户可能具有不同的流失特征，因此，在进行深入的客户流失分析时，需要先进行客户细分，再对细分之后的客户群分别进行挖掘。在预测客户流失时一个很重要的问题是流失的时间问题，即一个客户即将要流失，那么它可能什么时候会流失。生存分析可可以解决这类问题。生存分析不仅可以告诉分析人员在某种情况下，客户可能流失，而且还可

19、以告诉分析人员，在这种情况下，客户在何时会流失。生存分析以客户流失的时间为响应变量进行建模，以客户的人口统计学特征和行为特征为自变量，对每个客户计算出初始生存率，随着时间和客户行为的变化，客户的生存率也发生变化，当生存率达到一定的阈值后，客户就可能流失。分析客户流失对客户自身的影响时，主要可以考虑客户的流失成本和客户流失的受益分析。客户流失成本可以考虑流失带来的人际关系损失等因素，通过归纳客户的通话特征来表征。减少客户流失的一个手段就是增加客户的流失成本。客户流失的受益分析就是判断客户流失的动机，是价格因素还是为了追求更好的服务等。这方面内容丰富，需作具体分析。分析客户流失对电信公司的影响时，

20、不仅要着眼与对收入的影响，而且要考虑其他方面的影响。单个的客户流失对电信公司的影响可能是微不足道的，此时需要研究流失客户群对电信公司收入或业务的影响。这时候可能需要对流失客户进行聚类分析和关联分析，归纳客户流失的原因，有针对性的制定防止客户流失的措施。在预测出有较大流失可能性的客户后，分析该客户流失对电信公司的影响。评估保留客户后的收益和保留客户的成本。如果收益大于成本，客户是高价值客户，则采取措施对其进行保留。至于低价值客户，不妨任其流失甚至劝其流失。总之在利用数据挖掘研究客户流失问题时，需要明确并深入理解业务目标，在明确的业务目标的基础上准备数据、建模，模型评估，最后将模型部署到企业中。

21、案例分析为了举例说明，我们设想为一个虚构的电信公司ABCTelcom的客户流失建模。ABCTelcom原本是市场的领先者，但目前正受到来自其它电信公司日益激烈的竞争。由于竞争对手接连推出了一系列新产品，并进行了大量的促销活动。最近半年来，ABCTelcom的客户流失较为严重。为了保持其战略性市场主导地位，ABCTelcom公司计划开展客户保留活动。在活动进行之前，为了尽可能提高活动收益，ABCTelcom需要对现有的客户的数据进行分析，从众多客户中找出流失可能性高的优质客户并针对其开展活动。而对于流失可能性低或者保留成本大于收益的客户，则可以不展开活动。此外，客户流失预测也能帮助ABCTelc

22、om发现那些申请服务后不久就欠费停机的客户，从而减少这类客户带来的损失。1. 商业理解预测现有客户在未来六个月内流失的概率并分析保留客户活动的成本和收益，针对收益大于成本的客户开展客户保留活动，以减少公司优质客户的流失。2. 数据理解a) 数据说明选取一定数量的客户信息（包括流失的和未流失的），选择相关的客户属性（包括客户资料、通话行为特征、消费属性、客服信息等）。利用直方图、分布图等数据分析工具初步确定哪些因素可能影响客户流失。所选取的数据说明如下：1用户编号2长途通话时间3国际通话时间4本地通话5掉线次数6付款方式7本地话单类型8长途话单类型9年龄10性别11婚姻状态12孩子数目13估计收

23、入14是否有车15是否流失其中客户流失状态有三种属性：1被动流失2主动流失，这是分析中特别关注的一类客户3未流失，仍然是ABCTelcom的客户在分析中，我们主要关注的是，主动流失的客户。被动流失对电信公司来说是意义最小的，因为被动流失通常是客户发生欺诈，欠费等行为后不再继续使用该公司服务。主动流失指的是客户停止在ABCTelcom的业务，转向了其竞争对手，这通常是因为别的公司能够提供更切合客户需求的产品服务，是该行关注的焦点。在具体的应用之前，ABCTelcom将所有现有的客户归到上述的三个类别中。同时，所有的人口统计信息（也就是从年龄到是否有车）每六个月更新一次，而交易信息（从长途通话时间

24、到长途话单类型）则是每个月实时更新的。为了让预测模型能预先进行指示以便采取补救措施，在目标变量（因变量）和输入变量（自变量）之间设定了6个月的延迟。比如，人口统计信息和交易信息都是2007年1月收集的，而是否流失则是2007年7月的数据。也就是说，输入变量采集六个月后再将客户流失状态分类；因此该模型提早6个月预测客户流失。b) 数据描述和图形Clementine提供了一系列数据描述和可视化的工具，可以帮助分析人员对数据分布以及数据之间的关系进行基本探索。这些工具包括：数据审核，统计分析，网络图，直方图，散点图，两步聚类等等。图2.1描述了客户的性别分布。可见，主动流失的客户以女性为主。而被动流

25、失的客户男女比例基本持平。在三种客户状态中，被动流失的比例是最小的。 图2.1：用户流失与性别的关系 3.数据准备在数据准备阶段，分析人员根据数据理解的结果准备建模用的数据，包括数据选择、新属性的派生，数据合并等。在本例中，由于长途通话时间，国际通话时间和本地通话时间都是反映用户的对电话的使用情况，因此，将三者合并，得到新的通话总时间变量：通话总时间 = 长途通话时间 + 国际通话时间 + 本地通话时间由于用户编号是一个系统自动生成的属性，不具有实际意义，因此，在分析中将用户编号排除到模型之外。4.建立模型将准备的数据划分为训练集和检验集，首先利用C5.0决策树模型进行属性约减，然后以约减后的

26、属性为自变量，以是否流失为因变量，训练神经网络模型，得到相应的客户流失预测模型。对检验集应用该模型，并根据预测结果的准确性评价模型。下图是模型建立和评估的数据流图。 图2.2：Clementine中对客户流失建模的数据流图 执行数据流，C5.0算法得到的规则集如下图所示。可见其中年龄，收入，国际通话时间，本地通话时间和性别是最重要的五个变量。C5.0得到的规则集里，有三类客户很容易主动流失。但是这只是一个初始的分析结果，还需要使用神经网络对这五个变量进行进一步建模。 图2.3：Clementine中对客户流失进行属性约减得到的结果 由于我们的关心是客户主动流失，因此派生一个新变量流失概率，如果

27、是否流失属性为主动流失，则取值为1，否则取值为0。采用年龄，收入，国际通话时间，本地通话时间和性别为输入变量，流失概率为目标变量，根据数据集训练得到一个5-1-1结构的神经网络模型信息如下。 图2.4：Clementine中采用神经网络对客户流失建模得到的结果 5. 模型评估和部署对训练集应用神经网络模型，可以对每个客户流失的可能性打分。将客户按照流失概率由大到小排序，然后根据公式：价值=长途通话时间*2 +国际通话时间*5 + 本地通话时间*1派生出每个客户的价值大小。分析客户价值和流失概率之间的关系，对高价值高流失概率的客户进行采取措施，如给与一定的优惠，进行挽留，对低价值的客户可以任其流

28、失。 图2.5：模型评估和部署的数据流图 图2.6：评分和价值的散点图 对高价值高流失概率的客户采取营销活动进行挽留的成本和收益如下图所示。可见，通过及时地发现要流失的客户并根据客户价值及时采取挽留措施，可以避免因客户流失而带来的损失。在验证模型后，可以利用Clementine Publisher发布模型，使得模型可以在多种环境中使用。 图2.7：营销活动的成本和收益 3.营销响应为什么要进行营销响应分析？为了发展新客户和推广新产品，电信公司通常会针对潜在客户推出各种直接营销活动。然而，如果目标客户的选择不明确，营销活动往往花费巨大而取得的实际效益不佳，甚至可能遭遇由于活动响应率太低而无法收回

29、成本的境况。事实上，一方面，在当今竞争激烈的电信市场上，客户每天通过短信，电话，邮件，电子邮件，网站广告等方式会接触到大量的电信业务广告。缺乏针对性和足够吸引力的营销活动往往会被客户直接忽略。另一方面，电信用户越来越看重个性化服务，对新的电信业务具有较大的需求。为了更好的满足客户需求，许多公司采用了促销活动管理系统来帮助执行促销活动。这些管理系统帮助增加了公司采取的促销活动的数量，却并不一定能改善促销活动的效率。事实上，不合适的促销活动和过多的促销活动只会导致用户对公司的不满意度增加。所以，有效促销活动不在于数量的多少，而在于要在恰当的时机，通过恰当的方式，向恰当的用户推销恰当的产品。也就是说

30、，有效的促销活动，不在于涉及客户的数量多少，而在于针对的都是具有高响应概率的目标人群。这不仅可以提升客户的满意度，增强客户对公司的忠诚度，而且可以降低客户获取费用，增加营销活动投资回报率，直接带来公司效益的增加。提高营销响应率的成果是显然的。假设有100000个潜在客户，每客户期望平均收益为￥100元，若我们将响应率提高0.5%，达到1%，则花费同样的市场营销费用，每月能多增加收入￥50000元。 4.营销响应为了发展新客户和推广新产品，企业通常会针对潜在客户推出各种直接营销活动。然而，如果目标客户的选择不明确，营销活动往往花费巨大而取得的实际效益不佳，甚至可能遭遇由于活动响应率太低而无法收回

31、成本的境况。在当今竞争激烈的金融市场上，一方面，客户每天通过短信、电话、邮件、电子邮件、网站广告等方式会接触到大量的金融业务广告，缺乏针对性和足够吸引力的营销活动往往会被客户直接忽略。另一方面，用户越来越看重个性化服务，对新的金融产品具有较大的需求。为了更好的满足客户需求，许多公司采用了促销活动管理系统来帮助执行促销活动。这些管理系统增加了公司采取的促销活动的数量，却并不一定能改善促销活动的效率。事实上，不合适的促销活动和过多的促销活动只会导致用户对公司的不满意度增加。所以，有效促销活动不在于数量的多少，而在于要在恰当的时机，通过恰当的方式，向恰当的用户推销恰当的产品。也就是说，有效的促销活动，不在于涉及客户的数量多少，而在于针对的都是具有高响应概率的目标人群。这不仅可以提升客户的满意度，增强客户对公司的忠诚度，而且可以降低客户获取费用，增加营销活动投资回报率，直接带来公司效益的增加。数据挖掘中的营销响应分析可以帮助达到提高营销活动回报率的目标。 什么是营销响应？营销响应模型是电信企业使用最频繁的一种预测模型。目标变量是预测谁