微观个体行为时空数据的生产过程与质量管理.docx
《微观个体行为时空数据的生产过程与质量管理.docx》由会员分享，可在线阅读，更多相关《微观个体行为时空数据的生产过程与质量管理.docx（13页珍藏版）》请在冰豆网上搜索。
微观个体行为时空数据的生产过程与质量管理
微观个体行为时空数据的生产过程与质量管理
1 引言
自从20世纪70年代初，城市规划学者Chapin在其著作《城市中的人类活动模式》中首次提出城市活动系统概念以来[1，2]，在时间和空间制约下的城市居民活动与出行行为一直是西方城市地理学、交通、城市规划等领域关注的焦点[3]。
90年代以来，国内人文地理学也越来越关注个体行为的空间分析，城市地理学者尤其关注城市内部居民的日常行为及其空间含义，职住空间、购物空间、休闲娱乐空间等活动空间及其派生出来的交通出行需求已成为目前研究的重点[4-9]。
然而，城市空间与居民活动—移动行为的互动机理研究一般需要以大量的微观个体活动—移动行为数据作为支撑。
目前，西方已有不少文献和实践探讨微观个体活动—移动时空数据的生产[10-13]。
但是，由于中国城市发展所处的阶段、制度与文化环境以及居民的日常生活方式等均与西方城市存在较大差异，西方城市居民行为时空数据的生产和质量管理经验并不一定适用于中国本土。
因此，在中国城市中如何高效而准确地采集较大样本微观个体行为时空数据是当前制约城市活动—移动系统分析与规划的重要“瓶颈”。
日志调查（DiarySurvey）被认为是目前技术水平下大量采集居民活动—移动时空数据最为有效的方法之一[14]，它主要通过问卷调查表的形式，收集居民某一时间段内连续的活动和出行信息。
日志调查最早出现于70年代末德国Sociadata公司在德国城市Kontiv的出行日志（TripDiary）调查中，这些调查通过入户面对面访谈方式，要求人们回顾一天内所有出行的起始点情况[15,16]。
目前，通过日志调查得到的微观个体行为数据，除了主要应用在城市交通规划领域中对居民出行需求分析上，还被广泛应用于社会学、时间经济学以及行为地理学、时间地理学、健康地理学和女性地理学等人文地理学领域上[3,17-22]。
虽然日志技术已经被应用在国家层面的调查中，例如居民出行调查和2008年中国时间利用调查[23，24]，但是，日志调查的相关理论、技术流程和数据质量管理评估则鲜有探讨，使得研究者和调查者往往在问卷设计之初便放弃对问卷调查中的理论问题进行认识、关怀和探索[25]。
特别在地理学领域中，问卷调查方法普遍在使用，但是对问卷调查、特别是日志调查的数据的生产过程和质量管理进行专门探讨的文献则更少[4，26-27]。
因此，本文结合国家自然科学基金项目《转型期中国城市空间与居民行为的互动机理研究》在2007年10月到11月于北京市进行的两天活动日志调查（下文简称为“北京日志调查”），进行文献综述、技术分析与定量评估，解读居民活动—移动行为数据的生产过程和质量管理，以为中国城市微观个体行为时空数据的生产与质量管理提供理论、方法论以及经验的借鉴。
2 行为时空数据的生产过程
调查内容
日志调查的核心内容为居民在调查日当天24小时内所有与研究相关的活动和出行及其时空间信息。
一般来说，活动属性包括活动的起止时间、类型、活动地点类型与具体地址以及活动同伴等；出行属性则包括出行的起止时间，出行目的、出行前后的地点类型与地址、出行同伴以及出行交通方式等。
活动属性的核心是活动类型的分类，因为活动类型反映了被调查者的活动动机，往往用来区分不同活动的研究意义。
事实上，社会学和心理学对活动动机的研究已经比较深入，社会行为理论认为获得或维持某种状态和感觉的愿望是活动的主要动机[28]。
例如，人类对食物，身体舒适，安全，社会交际，自尊心和成就感的需求。
心理学则认为活动具有某种意义的需求指向，例如身体动机需求、自我实现的固有潜在需求、和层级需求（首先要满足基本水平的需求，如身体舒适和饥饿；然后逐层满足高级的需求，例如社交，以及最高级的自我实现需求）等[29]。
在这些理论基础上，许多实证研究根据活动动机对活动进行分类。
例如，Chapin在美国华盛顿大都市区的日志调查中把睡眠、食物、住所和健康等需求划分为生存性需求（SubsistenceNeed）[1]，人们需要通过工作、身体锻炼、教育、医药护理和社会服务等活动实现对其的满足。
此外，还存在文化层次、社会层次和个人层次的需求，包括感情、社会交际、安全感、成就感、精神激励和个人愉悦等，为满足这一层面的需求则需要社交活动，参加志愿组织和宗教组织等。
目前，已被广泛应用的活动类型划分为满足生存性的活动、不可任意支配的活动和自由活动或者休闲活动[19,30]。
此外，根据研究对活动类别的需要，活动的划分可以更为详细，例如Doherty和Miller则把活动进行更细的分类（9大类64小类），以满足其基于计算程序处理的家庭活动时序调查的精度要求[31]。
在地理学研究中，除了明确的活动类型数据之外，相对精确的活动空间与时间信息也十分重要。
在北京的日志调查中，活动—移动行为的空间信息是通过被调查者活动的地点类型与具体地址两项回答来采集的。
活动地点类型在以往问卷调查或者出行调查中往往被忽略，事实上，空间赋予个人的意义往往不是具体的地址，而是空间的功能，在日志中则体现为活动地点的类型。
例如，体育锻炼活动可以在家、休闲场所、或者学校等地点进行，如果没有空间功能的界定，则很难确定活动空间的含义。
时间地理学认为，个体行为不可避免地受到源于个体自身及其所处情境中的各种制约[32]。
个体时空行为除了受到个体本身的能力制约之外，还会受到一定的组合制约，即个体或集体为了从事某项活动而必须同其他人的路径同时存在于同一场所的制约[4]。
活动分析法（Activity-basedApproach）的出现把上述制约扩展到活动层面[3]。
家庭内部各成员之间的任务分配以及活动—移动行为关联性是组合制约的典型范例，例如，由于照料未成年孩童而需要每天接送小孩上下学、在家务分配中男女家长共同承担购物任务等。
因此，在北京的日志调查中，突出了家庭内部成员之间的组合制约，将活动和出行的同伴划分为没有同伴、子女、配偶、父母、祖父母、孙子女、其他家人、其他非家人等类型。
此外，出行属性与活动属性存在许多重合，例如出行目的等同于活动类型，出行前后的地点类型与地址等同于活动的地点类型与地址。
而交通方式是出行所特有的属性，一般在现有的交通方式内进行选择，包括机动出行方式和非机动出行方式。
近年对出行交通方式的定义已经不局限在单项选择里，而是把一个出行过程中使用到的所有方式定义为一个出行的交通方式，但同时可以根据时间或者其他权重划分出一个出行的主要方式和次要方式[33]。
调查方式
根据调查表发放的时间，调查方式可划分为两种：
①事前发放（Leave-BehindDiary），即被调查者提前知道调查的时间与内容，在当天活动结束后自行记录所发生的活动；②事后发放（RecallDiary），即在当天活动结束以后将问卷调查表发放至被调查者手中，要求其回溯调查日发生的活动[34]。
事前日志一般比事后日志获得更高质量的数据，同时多出5—10％的回收率，但是调查成本要高出—4倍，而且事前提醒容易产生系统误差[35]。
此外，根据调查媒介进行划分，可得到三种传统的调查方式和三种基于新型媒介的调查方式。
其中，传统的调查方式分别为留置式、面对面式和电话式。
而无论何种调查方式都存在一定的优缺点（表1），且均面临如何进入的问题，直接影响到问卷的回收率和完成率。
在荷兰的实证表明，面对面拜访与留置寄回问卷相结合的方式，能获得较理想的完成率，而电话调查由于难以解释清楚日志问卷而效果较差[14]。
值得一提的是，在面对面调查中，存在被访者独立填写（Self-Completed）和研究者参与填写（Researcher-Administered）两种方式。
独立填写方式要求被访者具有主动参与性，增加了调查的难度和成本，但往往真实性更高。
研究者参与填写的主要问题是访谈的形式迫使被访者只用短时间思考作答，可能导致活动记录的失真和遗漏增多[35]。
Meyburg和Br
g则发现若研究者在场，相对不在场填写方式，居民少填写了约15％的出行记录[36]。
当然，访谈避免了被访者对问卷理解不当而误填以及无法向其确认是否误填的情况。
然而，传统方式在问卷数据精度和有效性上不可避免地存在一定误差，例如容易忽略短时间的出行或回忆不起当天的非工作活动等。
而新型方式的出现主要是为了提高数据的精度和有效性，主要包括基于手机、互联网和GPS等新型媒介和技术，但新型技术普遍面临设备依赖性导致样本与数据损失，例如不使用手机、互联网的用户往往被排除在调查样本之外[15]。
此外，基于新型媒介的调查只是精确记录了被调查者的时空路径，但是在每个时空点上的活动内容则仍需要利用传统日志方式进行补充。
限于目前国内的调查技术和数据生产经费的制约，本文认为面对面的入户日志调查能较为高效地获得较为可靠、准确、有效和成本较低的大样本量数据，而邮件方式则在中国的问卷调查中一般回收率很低，电话调查方式对于独立研究者来说则难度较大。
而在将来应该大力发展基于新型媒介与传统日志问卷结合的调查方式。
因此，在北京日志调查中，首先与调查居住区所在居委会（家委会）或者物业公司取得联系，并详细介绍研究的目的、调查方案及实施过程，在他们的协助下联系被调查家庭，尽量进行面对面调查，或退一步留置回收（图1）。
其中，在中国城市中实行活动日志调查，事先联系居委会等基层管理机构并得到其支持和协助是非常关键的，而适当地多种调查方式相结合是提高调查效率、保证数据质量、降低调查成本的重要方法。
图1 北京日志调查的调查方式选择
Fig.1 TheChoiceofSurveyModeinBeijingActivityDairySurvey
活动日志设计
根据理论基础与研究目的，日志形式划分为出行日志、活动日志与时间利用日志等三种。
其中，出行日志被广泛应用在国内外的交通出行需求调查中[10，11，23]，一般只记录出行属性，不考虑前后不发生移动的活动（主要为户内活动）的属性。
而活动日志（ActivityDiary）的发展深受活动分析法的影响，认为出行来源于活动，侧重于记录活动属性及其派生出来的出行属性，强调一天24小时内活动—移动的连续性而记录所有活动—移动过程[13，37]。
时间利用日志则最早出现在社会学的研究中，深受时间预算（TimeBudge）理论的影响，把活动和出行当作是等价的日常生活事件[17，18]。
根据不同的日志形式，日志表的设计样式众多，在北京日志调查中采用了改进后的活动与出行分离的日志表样式（图2）。
其中，调查表左边为活动属性部分，是活动日志的核心，要求被调查者按照时间顺序依次回答调查日内每个活动的起止时间、活动类型、活动具体地址、活动地点类型和活动同伴以及借助互联网进行活动信息查找情况等。
除了时间和具体地址是需要被调查者填写文字之外，其他均在给定编码的选项卡里进行编码选择。
调查表右边是出行信息部分，其间通过“为了参与此活动有无出行？
”问题进行关联。
如果被调查者在进行活动时产生了出行，则继续在右边的出行信息中填写相应的出行行为，具体包括出行同伴、出行距离、出行总时间、先后使用的交通方式以及对应的出行时间。
此外，为了在设计上符合简洁和方便原则，活动日志中活动属性部分和出行属性部分的背景色为白色和浅灰色，以提醒居民对待活动与出行填写上的差异。
图2 北京城市居民活动日志调查表
Fig.2TheActivityDairyofBeijingSurvey
抽样
2.4.1目标人群
抽样调查的理想目标为毫无遗漏地抽取代表总体的局部样本。
但是，调查方式、抽样方法和实际实施过程都会无意或有意排除某些样本，因此需要在调查前明确调查的目标人群（样本的总体）。
调查目标人群首先需要根据研究目的确定，其次还要考虑调查的过程和成本、调查地数据获取情况等多方面因素[33]。
以北京日志调查为例，研究目的是转型期北京城市空间与居民活动—移动行为之间的互动联系，因此需要选择能代表有可能受到转型期北京城市内部空间重构的微观过程影响的人群、且具有一般独立活动—移动决策能力的居民作为目标人群。
时间抽样
由于日志调查涉及比较精确的时间维度，理论上认为居民的日常活动具有周期性，因此需要对调查的各个时间维度进行抽样。
首先，需要确定日志的调查天数。
Arentze等通过相关文献综述得出虽然多天的日志调查可以得到更多的数据和更完整的信息，但是增加了调研的成本和被调查者的负担，容易降低回收率和完成率，同时容易增加系统误差和被调查者填写过程中的主观失误，因此建议除非有特别研究需要，日志表的时间域应当划定在24—48小时内最为合适[14]。
其次，选择一年中哪个月份、一周之中哪一天作为日志调查当天是时间抽样需要考虑的重要方面。
一般来说，春秋季节进行调查可以避免恶劣天气对数据质量的间接影响。
而理论上由于工作日与休息日具有不同的出行特征，一般选取一天工作日和一天休息日作为调查的日志当天。
例如，北京日志调查选择在10月下旬至11月中旬连续三周集中实施调查，而每周的星期日和星期一均为调查日。
空间抽样
空间抽样的技术在许多文献中均有描述，其中详细可参见文献[38]。
考虑到研究目的和目标人群，北京日志调查总体按照“居住区—家庭—个人”进行分层抽样。
首先，根据对北京市内部居住空间形成与分化的过程及居住区性质的认识，确定居住区主要类型。
其次，在不同类型中，以区位类型尽可能丰富为原则，结合实际调查过程中居住区的可进入性，选取调查居住区。
而在居住区内部，抽样的最小单元为家庭，并要求家庭中所有16岁以上的居民填写日志调查表。
数据库设计
由于日志调查包含二维的表格数据信息和复杂的时空数据，为了便于查询、分析和基于GIS平台的可视化，需要建立数据库进行管理。
北京日志调查借助MSSQLServer2000数据库管理功能，实现时空数据的存储、管理与查询。
如图3所示，数据处理的过程可以概括为三个过程，即从调查问卷到数据库的对接、从时空数据库的管理到数据查询的实现以及时空数据查询结果的扩展分析。
三个过程相互影响、相互反馈，在反复实验中实现整个系统的良好运行。
此外，数据库各表的建立基本遵循问卷的形式，主要包括三部分，即不具备空间信息的属性部分、具有空间信息的惯常活动部分以及兼具时空间信息的活动日志部分。
属性信息部分以FamilyID为主键在家庭属性表与个人属性表之间建立关联；空间信息部分以FamilyID和MemberID为主键建立内部及与属性信息表的关联；活动日志数据表则以FamilyID、MemberID、ActID三项建立活动信息的唯一标识，并借助FamilyID和MemberID与其他两部分建立关联。
可以看出，利用数据库对数据进行管理，使得整个数据表的结构清晰，不同信息之间的相互关联明确，更有利于研究者查找、分析和理解微观行为数据。
图3 数据库管理结构图
Fig.3 TheStructureofDatabaseManagementofBeijingSurvey
3 数据质量管理
数据质量管理（DataQualityManagement,DQM）是指从数据的提供者、生产者和使用者等角度来衡量和管理数据，最终往往侧重于满足使用者对统计信息的需求[39]。
相对于通过国家或地方政府组织的普查或抽样调查而得到的二手汇总数据，目前非汇总研究需要的微观数据仍大多来源于独立研究者进行调查而获得第一手数据。
此时，对调查数据质量的管理显得更为重要。
日志调查研究对数据质量的要求更多集中在数据的可靠性、有效性、完整性、方法专业性、可取得性、可衔接性、可比性、详细程度、灵活性和整合性等方面原则[14,39]。
然而，上述数据质量的标准是从多个角度提出的，它们之间既密切联系，又存在着某种矛盾与冲突。
即使对于同一统计数据，不同使用者也会提出不同的质量要求，有的可能偏重准确性，有的可能偏重及时性。
调查研究者需要根据研究目的，在统计数据质量各个方面之间不断地进行权衡、选择和折中，以达到一个最佳的平衡点。
因此，数据质量管理需要更多的经验分享和相关理论研究。
下面基于北京日志调查（但同时不局限于日志调查），在数据的可靠性、有效性和完整性上对数据质量管理进行探讨。
数据可靠性管理
数据可靠性（Reliability）是指被调查者对问题的理解和回答、问卷的设问以及研究者的意图三者之间是一致的，这直接影响到数据是否稳定、可信。
因此，在问卷设计和调查过程中要遵循以下原则：
①设问简明、容易理解、和不产生歧义，例如设置样卷以供被调查者理解和参考，在调查过程中进行讲解和监督同样可以减少被调查者理解上的失误而导致的不一致性；②统一标准，例如统一的编码系统、统一的日志表设计和统一的调查方式等都可以减少由于标准不一而导致的系统误差。
如前文所述，在北京日志调查中采用了不一致的调查方式，因此需要在调查数据获得后评估调查方式的差异对数据质量的影响。
其中，数据质量可以通过所有活动次数、户外活动次数、非工作活动次数和户外非工作活动次数来体现，因为日志记录的活动总数反映了被调查者回忆和填写日志记录的整体愿意程度，户外活动次数反映了被调查者对比较繁琐的户外活动回忆和填写的愿意程度，非工作活动次数和户外非工作次数在不同层面上反映被调查者回忆的深度，因为非工作活动相对自由不容易记起。
根据因变量观察值分布的要求，分别建立OLS和TOBIT模型，控制性别、年龄、教育程度、雇佣状态和收入等个人社会经济属性，检验三种不同的调查方式对数据质量的影响（表2）。
通过四组模型的模型2中对调查方式2和调查方式3进行同时的F检验，可以发现调查方式的整体影响均十分不显著，p值均大于，这说明在北京日志调查中不同的调查方式对日志数据的差异影响不大。
而通过四组模型中模型1和模型2的比较可以发现，在考虑不同调查方式的影响后，控制变量对日志数据的影响（数值、方向和显著程度）变化均很少，模型整体的拟合程度（R[2]）变化也很少，这说明不同调查方式并没有造成控制变量（如个人社会经济属性）对居民行为的影响发生显著的变化。
因此，通过统计分析可以发现，在北京日志调查中，虽然采用了不同的调查方式，但是对数据的一致性和可靠性并没有产生显著的影响，可以保证在后续的研究中忽略不同调查方式对数据的影响。
此外，即使在设计和调查过程中对数据可靠性进行了详细的监控，但在回收的一些问卷中不可避免地存在着一些错漏问题，例如没填完整、书写错误、逻辑错误等问题，因此，在数据录入数据库阶段需要对数据进行错误修正和后期管理，进一步提高数据准确度和可靠性。
在日志调查中，最常出现的影响可靠性的因素包括：
①被调查者填写的所有活动和出行时间之和不等于24小时（在北京日志调查的数据记录中占％）；②有地点的位移而没有填写出行行为，或者有出行信息但没有地点的位移（占％）；③活动内容与填写地点的土地利用不吻合（占％）；④活动的其他信息没有完整填写，例如活动地点的空缺、活动同伴的空缺等（占％）。
这些问题的比例都不高，但是如果没有剔除或修正而直接分析，对结果的可靠性存在较大的影响。
为此，西方在这方面做了不少研究，目前大多都采用计算机辅助系统，例如SYLVIA（SystemfortheLogicalVerificationandInductionofActivityDiaries）[14]等来查询、检查和修正，以提高效率和准确性。
而在北京日志调查的后期数据管理中，基于MSSQLServer关系数据库环境，在录入过程中利用逻辑判断程序对原始数据进行检验和判断，同时采用了建立“子数据库”的方式，即根据不同研究方向的需要，用结构化查询语句（Trans-SQL）从基本数据库中提取所需的样本人群和特定指标，再对数据进行修正，这样可以保证最大限度地利用和管理原始数据。
数据有效性管理
数据的有效性（Validity）是指问卷的设问是否符合研究者的需要，而且每个设问回答的质量是否对解答相应问题有效（往往反映在问卷的回收率和每个问题的回答率上），以及调查过程如抽样等是否能有效地符合研究需求。
因此，数据的有效性管理主要集中在问卷的设计和抽样过程中，例如，每个问题反映的变量是否能准确测量，是否对研究目的密切相关。
基于独立研究者的第一手数据调查过程中产生的有效性问题一般不大，因为研究者对研究目的比较明确。
但是，对于比较新的调查尝试，例如日志表的设计[40]，需要参考更多西方的理论和实践经验，才能高效地保证调查数据的有效性。
此外，数据有效性的后期管理主要反映在问卷中每个问题回答的质量，以判断设问用于某方面研究时是否有价值。
例如，在北京日志调查中，日志表里有个问题为“活动前有无通过网络查找相关信息？
”，设问的预期目的是探讨日常生活中互联网的普及对居民活动—移动行为的影响是否存在，但是该问题的回答率只占有效问卷所有活动记录的％，而且回答为“是”在所有回答的活动记录中只占％，这明显是不符合现实和研究要求。
因此，利用这个设问得到的数据进行分析得到的结论显然是无效的。
数据完整性管理
数据质量管理还需要考虑数据的完整性（Completeness），即可以对每个可能出现的数据观察值进行分门别类。
因此，数据的完整性管理主要针对分类变量的设问，具体反映在对编码的评估。
在日志调查中，编码方式一般分为两种：
答前编码（Pre-coding）和答后编码（Post-coding），也就是在日志设计前进行预期的问题答案编码，还是在日志回收后再根据回答情况进行编码[38]。
以活动类型划分为例，根据活动动机理论，北京日志调查中的活动类型被划分为15类，分别是睡眠、家务、用餐、购物、工作或业务、上学或学习、照顾老人小孩、体育锻炼、娱乐休闲、个人护理、外出办事、社交活动、观光旅游、联络活动、宗教活动等，此外，设置“其他”作补充选项，并在其后要求被调查者进行开放式补充回答，以符合数据完整性要求。
根据两天调查得到的记录数，记录数最多的依次是睡眠、用餐、娱乐休闲、家务与工作等，其比例均高于8％，观光旅游和宗教活动的填写比例均低于1％（表3），这两个类别的划分显得不太合理。
而其他活动的记录比例只占％，说明活动类别的答前编码能包含约99％的确定信息，类别划分的完整性较高。
事实上，其他类比例一般不能超过5％[25]，否则需要对其他选项进行进一步划分。
4 结论和讨论
微观个体行为的时空数据逐渐成为人文地理学微观过程研究和非汇总方法应用的重要依据，如何高效而准确地生产和管理较大样本的微观个体行为数据是当前制约城市活动—移动系统分析与规划的“重要瓶颈”。
因此，本文以2007年在北京市进行的两天活动日志调查作为案例分析，在国内首次从理论和方法论上探讨微观个体行为时空数据的生产过程和数据质量管理。
微观个体行为时空数据的生产过程从调查内容、调查方式、日志设计、样本抽样和数据库设计等五个过程进行论述。
其中，强调活动动机、组合制约过程和空间功能在个体行为调查中的理论意义以及如何在日志表中体现；并通过不同调查方式的文献比较和北京日志调查经验，得出目前面对面的入户日志调查能较为高效地获得较为可靠、准确、有效和成本较低的大样本量数据，而在将来应该大力发展基于新型媒介的调查方式与传统日志相结合的调查方式。
而在抽样分析中强调根据研究目的选取目标人群，时空数据要侧重于时间抽样和空间抽样两个方面。
最后，文章给出基于MSSQLServer2000平台的数据库管理和数据表内部关联结构，以更有效和更方便地录入、检查、修正、查询和分析微观个体数据，并有利于进行数据质量管理。
数据质量管理往往容
升级会员 