第二章原始数据的处理方法doc.docx

第二章原始数据的处理方法doc.docx

《第二章原始数据的处理方法doc.docx》由会员分享，可在线阅读，更多相关《第二章原始数据的处理方法doc.docx（16页珍藏版）》请在冰豆网上搜索。

第二章原始数据的处理方法doc

第二章原始数据的处理方法

原始数据的处理是数据分析中极为重要的内容。

在本节中，我们将介绍原始数据的来源及其特点，着重阐述原始数据初始变换的几种方法，并利用例子进行演示。

第一节原始数据的来源及其特点

原始数据一般包括反映自然资源区域特征，如海况、气象、水文、地形、地貌、动植物等；反映区域社会经济条件和生产力水平，如人口及其人口密度、捕捞劳力、海域面积、渔船数量、渔船功率以及渔业总产值、捕捞产值、养殖产值等。

原始数据按其性质大体可分为

（1）科学实验和观测数据；

（2）社会经济统计数据；（3）生产经验数据；（4）有关部门的决策和目标数据；（5）定性资料的量化数据等。

不同的数据有不同的来源。

但归纳起来，主要的来源有：

（1）国家统计部门和行业部门的历年统计资料，这些多为社会经济指标；

（2）有关业务部门的历年观测数据及其科学实验报告，这些多数为自然因素指标，如东海区渔业资源和环境观测数据；（3）选择有代表性的单位或年度，进行实地典型调查所得的数据；（4）区域规划部门通过收集、调查、观察和计算积累的数据；（5）调查访问有实践经验的劳动者、生产技术人员、科研人员以及管理人员所得的数据；（6）国家有关部门制定的发展规划、建设方案等决策数据；（7）其它方面的数据。

我们将以上所获得的各种资料和数据成为原始数据。

这些数据来源不同，其类型也不同。

从利用分析的角度来看，这些数据有以下几个主要特点：

（1）不同的量纲。

如渔业产值为元，渔业产量为公斤，水温为摄氏度，作业时间为天，航程为海里，捕捞努力量为吨、千瓦、艘、人数，CPUE为吨/天、吨/小时、吨/千瓦等。

（2）数量级大小相差悬殊，有的数字仅是小数级，有的数字大到亿万。

如渔业产值以亿万元或万元计算，而劳动生产率只有几十元到几百元；渔业资源量上千万吨或几万吨等。

（3）大部分数据有一定的随机性，特别是统计或观测的时间序列或偶测值，不论是自然指标还是经济数据，都有随机变化，均有明显的摆动。

（4）大量数据具有一定的灰色度，运用上述方法收集来的数据绝大多数是区域内各样点的平均值或统计值，在时间上或空间上并不是一个确切的白色参数，而是一个有上限、下限的灰色数。

如某调查船进行的渔业资源和环境调查，其所得的数据只能是某一点某一时刻的数据值，但由于条件和仪器设备的限制会使数值产生误差，这一误差值的多少无法知道，因而产生了灰区。

如某年某区的降水量，是该区内各次实际观测纪录的平均数，由于测量方法不同和在时间计算上引起的误差等，是无法知道的。

同样的问题在一些经济统计数字中也存在。

因此，严格地说，收集来的数据绝大多数是灰色参数，都具有不同程度的灰色度。

第二节原始数据白化和初始变换的几种方法

一、原始数据的取值和白化

对于绝大多数灰色参数来说，需要进行白化或淡化处理，以提高白色度，减少灰色度。

也就是说通过信息的不断补充，使灰色参数逐渐成为一个比较接近实际的数值。

数据白化处理的方法主要有：

（1）直接采用距样点最近观测站的多年平均值。

例如海水温度和盐度等，可采用多年来的观测平均值或近几天的平均值。

（2）根据各个因素指标的等值线图，利用插入法计算其数值。

如表层水温、盐度、海底地形等指标，各代表样点不完全有现成的准确观测值，可在“等水温线图”、“等盐度图”、“地形等高线图”上，利用插值法计算出其白化值。

（3）结合实际情况和数据特征，确定合理的数据。

如反映海洋环境质量的指标有有机质、含氮量、含磷量等。

在使用时，我们不可能把所有的因子都输入模型，为了计算上的方便，可以归结为一个综合指标。

即用该区域内最新资料，查出各样点的各项因素指标，然后用“极差变换”的方法求出变换后的数据，相加即可得到一个综合性数字。

这样，可解决各因素间量纲不同和数量级大小相差悬殊的问题。

（4）对经济指标进行预测。

海洋经济的分类划区应当有相对的稳定性，同时应用的综合指标又应反映海洋经济的动态特征，所以，在使用相应的指标数据时，就需要先对指标数据进行发展预测，然后根据预测值进行分类划区。

预测的方法很多，常用的是灰色系统GM（1，1）模型和指数递增率模型。

（5）采用具有相同权数的相对数值。

根据统计学原理，各个个体应该是等权的，但实际上各种统计对象个体不等积，不等形，也即存在着不等权问题。

例如，各样点的海域面积、人口产量、产值等指标，绝对值差别很大，无疑是不等权的。

如果用特定范围内海域比重、人口密度、单位平均产量、人均产值等相对数来表示，便可以解决各样点同项因素不等权的问题。

二、常用的几种数据变换方法

由于原始数据存在着上述特点，进行统计分析建立数学模型有一定的困难和限制，因此需要根据所建数学模型的类别，对原始数据进行变换。

变换的目的主要是：

（1）使指标数据尽可能呈正态分布；

（2）统一变量指标间的量纲；（3）使两变量指标的非线性关系变换为线性关系；（4）用一组新的、指标数量较少的、相互独立的变量，代替一组有相互联系的原始变量指标。

不同的数学模型对指标变量的要求不同。

大多数的多元统计分析，要求变量总体上服从多元正态分布，且要求量纲一致。

如判别分析要求变量呈正态分布；回归分析则要求因变量呈正态分布，要求各自变量与因变量之间有密切的相关关系。

而聚类分析则要求各变量量纲一致，变量间互相独立。

因此，数据的变换一定要根据数学模型的要求，有的放矢地进行。

常用的变换方法主要有：

（一）标准化变换

计算公式为：

=

（i=1，2，…，N样点数；j=1，2，…，P变量数）

式中：

为变换后的数据；

Xij为原始数据；

为第j变量的算术平均值，即

=

；

Sj为变量j的标准差，即Sj=

。

变换后的各变量数据平均值为0，方差为1，呈标准正态分布，各变量间有了统一的量纲，而两个变量在变换前后的相关程度不变。

从几何意义上讲，标准化变换相当于座标原点移至重心（即平均值）位置，标准化变换适用于量纲不同且数量级大小不一的连续性数据。

我们现在以陈新军的博士学位论文《渔业资源可持续利用评价》实证分析中有关数据进行说明。

1978－1984年东海区渔业资源可持续利用系统的资源环境子系统如下：

年份

1978

1979

1980

1981

1982

1983

1984

X1

2.64

2.72

2.73

2.72

2.64

2.63

2.54

X2

63.19

59.12

46.48

51.06

48.18

38.6

41.03

X3

43.6

41.1

56.9

58.5

62.2

64.5

67.7

X4

69.785

59.446

51.047

43.156

36.684

29.152

24.835

X5

2.609

2.244

1.547

1.479

1.435

1.299

1.258

X6

1.178

1.05

1.038

0.956

0.935

0.875

0.891

其中：

X1为渔获物的营养级，单位为级；X2为优质鱼类产量占海洋捕捞产量的比重，单位为％；X3为非选择性渔具捕捞产量占海洋捕捞产量的比重，单位为％；X4为单位机动渔船的平均捕捞产量，单位为吨/艘；X5为机动渔船每吨位的平均捕捞产量，单位为吨/船吨位；X6为机动和非机动渔船每千瓦的平均捕捞产量，单位为吨/千瓦。

在资源环境子系统中，各评价指标的单位不一样，因此需要进行初值化。

现分别求出序列X1、X2、X3、X4、X5和X6的平均值及其标准差。

则数据变换为：

其他数据变换类同。

则获得经过变换后的资源环境子系统的各个序列：

年份

1978

1979

1980

1981

1982

1983

1984

X’1

-0.29

0.86

1.00

0.86

-0.29

-0.43

-1.71

X’2

1.51

1.05

-0.36

0.15

-0.17

-1.23

-0.96

X’3

-1.25

-1.49

0.05

0.21

0.57

0.79

1.11

X’4

1.53

0.90

0.38

-0.11

-0.50

-0.97

-1.23

X’5

1.75

1.05

-0.29

-0.43

-0.51

-0.77

-0.85

X’6

1.71

0.55

0.44

-0.31

-0.50

-1.05

-0.90

（二）极差变换

计算公式为：

=

式中：

为变换后的数据；

Xij为原始数据；

Xjmax为第j变量原始数据的最大值；

Xjmin为第j变量原始数据的最小值。

极差变换后的数据有了统一的量纲，其最大值为1，最小值为0，所有数据变化在0~1之间。

变换前后两两变量之间的相关程度不变，其几何意义相当于把座标原点移至最小值位置。

极差变换适用于量纲不同、数量大小不一的连续型的原始数据的变换。

同样以上述例子进行分析。

先求出各个指标的最大值和最小值。

它们分别为：

X1max=2.73X1min=2.54

X2max=63.19X2min=38.60

X3max=67.70X3min=41.10

X4max=69.79X4min=24.84

X5max=2.61X5min=1.26

X6max=1.18X6min=0.88

则其数据变换为：

其余数据转换类同。

则可获得经过极差变换后的资源环境子系统各序列：

年份

1978

1979

1980

1981

1982

1983

1984

X’1

0.53

0.95

1.00

0.95

0.53

0.47

0.00

X’2

1.00

0.83

0.32

0.51

0.39

0.00

0.10

X’3

0.09

0.00

0.59

0.65

0.79

0.88

1.00

X’4

1.00

0.77

0.58

0.41

0.26

0.10

0.00

X’5

1.00

0.73

0.21

0.16

0.13

0.03

0.00

X’6

0.99

0.57

0.53

0.25

0.18

0

0.04

（三）均值化变换

计算公式为：

=

式中：

为变换后的数据；

Xij为原始数据；

为第j变量的平均值。

变换后的数据有了统一的量纲，数值均大于0，且集中在1附近。

其数学期望值为1，而变量与平均数之差的期望值为0。

此变换适用于比例变量，如长度、体积、质量等。

我们仍然以上述数据作为例子进行分析，我们已求得各个序列的平均值，则相应的变换值为：

其余数据类同。

则可获得资源环境子系统经过均值化后的序列：

年份

1978

1979

1980

1981

1982

1983

1984

X’1

0.99

1.02

1.03

1.02

0.99

0.99

0.95

X’2

1.27

1.19

0.94

1.03

0.97

0.78

0.83

X’3

0.77

0.73

1.01

1.04

1.10

1.14

1.20

X’4

1.56

1.32

1.14

0.96

0.82

0.65

0.55

X’5

1.53

1.32

0.91

0.87

0.84

0.76

0.74

X’6

1.19

1.06

1.05

0.97

0.94

0.88

0.90

（四）初值化变换

计算公式为：

=

式中：

为变换后的数据；

Xij为原始数据；

Xi1为第i变量的初值（第一个数据）。

初值化变换后的数据具有了统一的量纲，各数值均为初值的倍数，便于分析因素之间序列的关联性，因此适用于处理社会经济方面的统计数据。

我们仍以上述数据作为例子进行分析，利用上述公式进行初值化变换：

……

其余计算类同。

则可获得资源环境子系统经过初值化后的序列：

年份

1978

1979

1980

1981

1982

1983

1984

X’1

1.00

1.03

1.03

1.03

1.00

1.00

0.96

X’2

1.00

0.94

0.74

0.81

0.76

0.61

0.65

X’3

1.00

0.94

1.31

1.34

1.43

1.48

1.55

X’4

1.00

0.85

0.73

0.62

0.53

0.42

0.36

X’5

1.00

0.86

0.59

0.57

0.55

0.50

0.48

X’6

1.00

0.89

0.88

0.81

0.79

0.74

0.76

（五）模块化变换

计算公式为：

=

式中：

为变换后的数据；

Xik为第j个变量的第k个数据。

这种变换就是将时间数据列，逐年作一次累加，组成新的数据列，即生成数时间序列。

这种变换可用于时间序列的预测。

这就是灰色系统理论建立数学模型、进行预测、动态分析等的建模机理和方法。

我们以上述数据作为例子进行分析，利用上述公式进行模块化处理：

……

其余计算类同。

则可获得资源环境子系统经过初值化后的序列：

年份

1978

1979

1980

1981

1982

1983

1984

X’1

2.64

5.36

8.09

10.81

13.45

16.08

18.62

X’2

63.19

122.31

168.79

219.85

268.03

306.63

347.66

X’3

43.6

84.70

141.60

200.10

262.30

326.80

394.50

X’4

69.78

129.23

180.28

223.43

260.12

289.27

314.11

X’5

2.61

4.85

6.40

7.88

9.31

10.61

11.87

X’6

1.178

2.23

3.27

4.22

5.16

6.03

6.92

（六）滑动平均变换

计算公式为：

为避免数字上的循环，也可采用下式计算：

或

这种变换可以弱化时间数据的随机性，不同程度地消除了收集统计数据时的误差，为作进一步数据处理提高了可靠性和准确性。

我们以上述数据作为例子进行分析，利用上述公式进行滑动平均变换处理：

……

其余计算类同。

则可获得资源环境子系统经过滑动变换后的序列：

年份

1978

1979

1980

1981

1982

1983

1984

X’1

2.67

2.70

2.72

2.70

2.66

2.60

2.57

X’2

61.83

56.26

52.22

48.57

45.95

42.60

40.22

X’3

42.77

47.20

52.17

59.20

61.73

64.80

66.63

X’4

66.34

60.09

51.22

43.63

36.33

30.22

26.27

X’5

2.49

2.13

1.76

1.49

1.40

1.33

1.27

X’6

1.14

1.09

1.01

0.98

0.92

0.90

0.89

（七）弱化算子和强化算子变换

设X为原始数据序列，D为缓冲算子，当X分别为递增序列、递减序列或波动序列时：

（1）若缓冲序列XD比原始序列X的递增速度（或递减速度）减缓或波动减少，我们称缓冲算子D为弱化算子；

（2）若缓冲序列XD比原始序列X的递增速度（或递减速度）加快或波动增大，则称缓冲算子D为强化算子。

1．弱化算子变换

设原始数据序列X=（x

（1），x

（2），…，x（n）），

令XD=（x

（1）d，x

（2）d，…，x（n）d）

其中：

x（k）d=

；

k=1，2，…，n；

则当X为单调递增序列、单调递减序列或波动序列时，D为一阶弱化算子，XD为经过一阶弱化后的缓冲序列。

若令XD2=XDD=（x

（1）d2，x

（2）d2，…，x（n）d2），

其中x（k）d2=

；

k=1，2，…，n；

则D2对于单调递增、单调递减或波动序列，称为二阶弱化算子，XD2为经过二阶弱化后的缓冲序列。

2．强化算子变换

设原始序列和其缓冲序列分别为X=（x

（1），x

（2），…，x（n）），XD=（x

（1）d，x

（2）d，…，x（n）d），

其中x（k）d=

；

k=1，2，…，n-1，且x（n）d=x（n）；

则当X为单调递增序列、单调递减或波动序列时，D为一阶强化算子，XD为经过一阶强化后的缓冲序列。

若令XD2=XDD=（x

（1）d2，x

（2）d2，…，x（n）d2），

其中x（n）d2=x（n）d=x（n）；

x（k）d2=

；

k=1，2，…，n-1；

则D2对于单调递增序列、单调递减或波动序列，称为二阶强化算子，XD2为经过二阶强化后的缓冲序列。

我们以浙江某市某区的渔业产值数据（1983-1986年）为例进行分析，X=（10155，12588，23480，35388），单位为百元，其增长势头很猛，1983-1986年每年平均递增51.6%，尤其是1984-1986年，平均每年递增67.7%。

但是由于渔业资源的有限性以及受捕捞能力和技术的限制，其渔业产值不可能无限地增长下去，今后也不可能一直保持这么高的发展速度。

如果用现有数值直接建模预测，其预测结果人们根本无法接受。

经过认真分析和探讨，我们认为增长速度高主要是由于基数低，而基数低的原因则是过去对渔业资源的利用不足。

为此，在今后的渔业产值预测中，要采取弱化序列增长趋势，引入二阶弱化算子。

其具体计算过程为：

则一阶缓冲序列XD=（20403，23819，29434，35388）。

则得到二阶缓冲序列XD2=（27260，29547，32411，35388）。

我们利用二阶缓冲序列XD2建立GM（1，1）模型预测得，1986-2000年该市区的渔业产值平均每年递增9.4%，这一结果基本可以接受，与实际情况也较为吻合。