SPSS学习系列09缺失值处理.docx

1、SPSS学习系列09缺失值处理09. 缺失值处理空缺值（用“.”表示）和输入错误值，都属于缺失值范畴。输入错误值需要做“数据检验”来发现：（1）【分析】【描述统计】【描述】和【频率】（2）【图形】【旧对话框】【箱图】观察极小、极大值、频率、异常值等来判断。例如，性别“男=1，女=2”，若极大值出现3，则是输入错误值；箱线图或3原则发现的异常值，则要先改成缺失值。缺失值的处理方法通常有四种。一、删除有缺失值的个案删除有缺失值的个案，或在具体统计分析时的【选项】【缺失值】框选择某种处理方法： 按列表排除个案只要任何一个变量含有缺失值，就要剔除出所有因变量或分组变量中有缺失值的观测记录；按对排除个案

2、同时剔除带缺失值的观测量及与缺失值有成对关系的观测量（对照分析）；使用均值替换使用该变量的均值替换缺失值。二、替换缺失值SPSS提供了5种简单替换缺失值的方法：（1）序列均值该变量的有效观察值的平均数；（2）临近点的均值该缺失值前后n个观察值的平均数；（3）临近点的中位数该缺失值前后n个观察值的中位数；（4）线性插值该缺失值前后观察值建立插值直线确定【同取n=1的（2）】；（5）点处的线性趋势以编号为自变量用线性回归法预测值。现有数据文件：1.【转换】【替换缺失值】，打开“替换缺失值”窗口，将变量“统计成绩”选入【新变量】框；2.【名称和方法】框，设定新变量名称“统计成绩_1”，方法选“序列均

3、值” 3.点【确定】，得到注意：若某个案的缺失值较多最好删除该个案，而不是替换其缺失值。三、缺失值分析SPSS中更高级的处理缺失值的方法是缺失值分析，它能够（1）缺失值的描述和快速诊断：用灵活的诊断报告来评估缺失值问题的严重性，用户可以观察到它们在哪些变量中出现，比例是多少，是否与其它变量取值有关，从而得知这些缺失值出现是否会影响分析结论。（2）得到更精确的统计量：提供了多种方法用于估计含缺失值数据的均值、相关矩阵或协方差矩阵，通过这些方法计算出的统计量更加可靠。（3）用估计值替换缺失值：使用EM或回归法，用户可以从未缺失数据的分布情况中推算出缺失数据的估计值，从而能有效地使用所有数据进行分析

4、，来提高统计结果的可信度。【缺失值分析】实例操作，使用SPSS 20自带的实例文件：telco_missing.sav 1.【分析】【缺失值分析】，打开“缺失值分析”窗口，将变量“婚姻状况、教育程度、退休、性别”选入【分类变量】，将变量“服务月数、年龄、现在住址居住年数、家庭收入、现职位工作年数、家庭人数”选入【定量变量】注意：最大类别（最大分类数）默认为25，超过该数目的分类变量将不引入分析。2. 点【描述】，打开“描述统计”子窗口，用来设置要显示的缺失值描述统计量。勾选“单变量统计量”，勾选【指示变量统计量】框的“使用有指示变量形成的分组进行的t检验”和“为分类变量和指示变量生成交叉表”，

5、点【继续】3. 点【模式】，打开“模式”子窗口，用来设置显示输出表格中的缺失数据模式和范围。勾选“按照缺失值模式分组的表格个案”；因为“教育程度”、“退休”和“性别”中的缺失模式似乎影响数据，“家庭收入”含有大量缺失值，将这些变量选入【附加信息】；其它保持默认，点【继续】4. 回到原窗口，勾选【估计】框中的“EM”和“回归”，其它默认设置。点击【EM】或【回归】按钮可以修改其设置 注意：若要保存替换缺失值之后的数据，需要勾选“保存完成数据”：创建新数据集并命名，或写入新数据文件。另外，默认使用所有变量进行分析，若要选择部分变量，可点【变量】按钮修改。点【确定】，得到输出结果：单变量统计N均值标

6、准差缺失极值数目a计数百分比低高tenure96835.5621.268323.200age97541.7512.573252.500address85011.479.96515015.009income82171.146283.1442417917.9071employ90411.0010.113969.6015reside9662.321.431343.4033marital88511511.5ed965353.5retire916848.4gender958424.2a. 超出范围（Q1 - 1.5*IQR，Q3 + 1.5*IQR）的案例数。提供了数据的一般特征，给出了所有分析变量缺失

7、数据的频数、百分比，定量变量的均值、标准差、极值数目。income（家庭收入）有最多具有缺失值（17.9%），也有最多的极值；而age（年龄）有最少缺失值（5%）。估计均值摘要tenureageaddressincomeemployreside所有值35.5641.7511.4771.146211.002.32EM36.1241.9111.5877.394111.222.29回归35.7741.6811.5974.317410.992.32估计标准差摘要tenureageaddressincomeemployreside所有值21.26812.5739.96583.1442410.1131.4

8、31EM21.46812.69910.26587.5486010.1651.416回归21.18812.5349.93584.7143010.2421.423使用EM法和回归法进行缺失值的估计和替换后，总体数据的均值和标准差的变化情况，其中“所有值”为原始数据特征，另两行分别是采用EM法、回归法得到的统计参数。单个方差 t 检验atenureageaddressincomeemployresideaddresst.4.3.3.51.41.0df202.2192.5.313.6191.1199.5# 存在819832850693766824# 缺失1491430128138142均值（存在）35

9、.6841.7911.4774.077911.202.34均值（缺失）34.9141.49.55.27349.862.21incomet-5.0-8.3-3.9.-5.93.6df249.5222.8191.1.203.3315.2# 存在793801693821741792# 缺失1751741570163174均值（存在）33.9340.0110.6771.14629.912.39均值（缺失）42.9749.7314.97.15.932.02employt-1.0-.4-.7.5.-.3df110.5110.297.6114.9.110.9# 存在877881766741904874# 缺

10、失91948480092均值（存在）35.3441.6911.3771.495311.002.31均值（缺失）37.7042.2712.3267.9125.2.37maritalt.01.81.2-.8.9-2.2df148.1149.5138.8121.2128.3134.2# 存在856862748728805857# 缺失1121131029399109均值（存在）35.5642.0011.6170.388711.102.28均值（缺失）35.5739.8510.4377.075310.172.61retiret-.6-.4-.4.3.2df95.494.484.093.2.99.0#

11、存在888893777751904885# 缺失80827370081均值（存在）35.4441.7011.4271.335611.002.32均值（缺失）36.8942.2911.9669.1143.2.30对于每个定量变量，由指示变量（存在，缺失）组成成对的组。a. 不显示少于 5% 个缺失值的指示变量。通过单个方差t 检验有助于标识缺失值模式可能影响定量变量的变量。按照相应变量是否缺失将全部记录分为两组，再对所有定量变量在这两组间进行t检验。判断数据是否完全随机缺失（表示缺失和变量的取值无关）。例如，似乎年纪较长的响应者更不可能报告收入水平。当income 缺失时，平均age 为49.7

12、3，与之相比，当income 未缺失时为40.01。实际上，income 的缺失似乎影响多个定量（刻度）变量的平均值。此指示数据可能并未完全随机缺失。类别变量相对于指示变量的交叉制表marital总计未婚已婚缺失SysMisaddress存在计数850390358102百分比85.085.583.488.7缺失% SysMis15.014.516.611.3income存在计数82138034893百分比82.183.381.180.9缺失% SysMis17.916.718.919.1employ存在计数90441838799百分比90.491.790.286.1缺失% SysMis9.68

13、.39.813.9retire存在计数916423392101百分比91.692.891.487.8缺失% SysMis8.47.28.612.2不显示少于 5% 个缺失值的指示变量。观察marital（婚姻状况）表，指示变量的缺失值数量在marital 类别之间似乎变化不大。一个人结婚与否似乎并不影响任何定量（刻度）变量的数据缺失情况。例如，85.5% 未婚者报告address（当前地址居住年限），83.4% 已婚者报告相同变量。差异很小并且很可能是巧合。ed总计未完成中学学历中学学历社区学院大学学位研究生学位缺失SysMisaddress存在计数8501632401751865630百分比

14、85.083.285.788.481.987.585.7缺失% SysMis15.016.814.311.618.112.514.3income存在计数8211552291651935029百分比82.179.181.883.385.078.182.9缺失% SysMis17.920.918.216.715.021.917.1employ存在计数9041782541782046030百分比90.490.890.789.989.993.885.7缺失% SysMis9.69.29.310.110.16.314.3marital存在计数8851932781481845230百分比88.598.59

15、9.374.781.181.385.7缺失% SysMis11.51.5.725.318.918.814.3retire存在计数9161802591802076030百分比91.691.892.590.991.293.885.7缺失% SysMis8.48.27.59.18.86.314.3不显示少于 5% 个缺失值的指示变量。观察ed（教育程度）的交叉制表。如果对象至少接受过大学教育，婚姻状况响应更可能缺失。未接受大学教育的对象中至少98.5% 报告婚姻状况。另一方面，那些拥有大学学位的人中只有81.1% 报告婚姻状况。对于那些曾接受大学教育但未获学位者，数量更少。retire总计是否缺失S

16、ysMisaddress存在计数8507443373百分比85.085.080.586.9缺失% SysMis15.015.019.513.1income存在计数8217321970百分比82.183.746.383.3缺失% SysMis17.916.353.716.7employ存在计数904864400百分比90.498.797.6.0缺失% SysMis9.61.32.4100.0marital存在计数8857773870百分比88.588.892.783.3缺失% SysMis11.511.27.316.7不显示少于 5% 个缺失值的指示变量。 在retire（退休）中可看到更大差异

17、。那些退休者与那些未退休者相比更不可能报告其收入。退休客户中只有46.3% 报告收入水平，而那些未退休者报告收入水平的百分比为83.7。gender总计男女缺失SysMisaddress存在计数85036345631百分比85.078.691.973.8缺失% SysMis15.021.48.126.2income存在计数82138140634百分比82.182.581.981.0缺失% SysMis17.917.518.119.0employ存在计数90441245735百分比90.489.292.183.3缺失% SysMis9.610.87.916.7marital存在计数8854004

18、4540百分比88.586.689.795.2缺失% SysMis11.513.410.34.8retire存在计数91642046135百分比91.690.992.983.3缺失% SysMis8.49.17.116.7不显示少于 5% 个缺失值的指示变量。 gender（性别）的另一差异明显。男性与女性相比，地址信息经常缺失。虽然这些差异可能是巧合，其似乎不可能。数据似乎并非随机完全缺失。制表模式案例数缺失模式a完整数，如果 .bincomeceddretiredgenderdageresidetenureedgenderretireemploymaritaladdressincome未完

19、成中学学历中学学历社区学院大学学位研究生学位是否男女47547576.585399157871013146312201274109X584.27351917119514476216XX687.5901112412487X56254.436821279246852662113X48856.0000432311304960X53577.21671227246591352516X49147.81250000016061017X49276.23532734117071018X49354.1111374401710016XX660.0078114261037XX52059.459591458100152

20、2不显示少于 1% 个（10 个或更少）案例的模式。a. 以缺失模式排列变量。b. 完整案例数，如果未使用该模式（用 X 标记）中缺失的变量。c. 在各个唯一模式处的均值d. 在各个唯一模式处的频率分布制表模式显示个别个案中多个变量的数据是否往往缺失，有助于判断数据是否联合缺失。在超过1% 的个案中存在三种模式的联合缺失数据。变量employ（当前工作年限）和retire（退休）与其它变量对相比更容易缺失。这并不奇怪，因为retire和employ 记录类似信息。如果您不知道对象是否退休，您很可能也不知道其当前工作年限。平均income（家庭收入）似乎因缺失值模式的不同变化很大。实际上，在ma

21、rital（婚姻状况）缺失时，6%个案的平均Income更高。（当tenure（服务月数）缺失时其更高，但此模式只占1.7% 个案。） 请记住，那些接受更高水平教育者更不可能响应婚姻状况相关问题。您可以在ed（教育程度）频率中看到此倾向。通过假定那些接受更高水平教育者赚更多钱并且更不可能报告婚姻状况，我们可能解释income 的增加。注：下表脚注中的：【Little 的 MCAR 检验】用来检验数据是否完全随机缺失（原假设为：是完全随机缺失）。EM 估计统计量EM 均值atenureageaddressincomeemployreside36.1241.9111.5877.394111.222

22、.29a. Little 的 MCAR 检验:卡方 = 179.836，DF = 107，显著性 = .000EM 协方差atenureageaddressincomeemployresidetenure460.893age135.326161.261address111.34185.440105.372income547.182451.109300.5337664.75710employ113.35986.87148.051525.81159103.326reside-1.107-4.538-3.098-14.60886-1.9162.006a. Little 的 MCAR 检验:卡方 =

23、179.836，DF = 107，显著性 = .000EM 相关性atenureageaddressincomeemployresidetenure1age.4961address.505.6551income.291.406.3341employ.519.673.461.5911reside-.036-.252-.213-.118-.1331a. Little 的 MCAR 检验:卡方 = 179.836，DF = 107，显著性 = .000回归估计统计量回归均值atenureageaddressincomeemployreside35.7741.6811.5974.317410.992.32a. 将随机正态变量添加到各个估计。回归协方差atenureageaddressincomeemployresidetenure448.925age127.960157.107address104.77281.38798.710income521.577413.579261.7817176.51298employ115.75186.75749.026504.78905104.906