信息分析与数据挖掘理论.docx
《信息分析与数据挖掘理论.docx》由会员分享，可在线阅读，更多相关《信息分析与数据挖掘理论.docx（10页珍藏版）》请在冰豆网上搜索。
信息分析与数据挖掘理论
第〇节课程概述
1.基本内容
1-1信息分析理论
教材前三章：
绪论（信息分析的内涵、领域、方法论、信息分析职业人员的理想素质结构、产生与发展）、信息分析的工作框架（选题与规划、信息收集、整理与评价、信息分析的六个步骤）、信息分析建模（模型与模型方法、信息分析建模的一般过程、定性模型、定量模型）。
1-2信息分析方法
主要介绍几种常用的定量方法（相关分析与回归分析、时间序列分析、马尔可夫分析等）、定性方法（德尔菲方法）及定性定量相结合的方法（数据包络分析、层次分析法等）。
1-3信息分析技术
对常用的分析软件做简单介绍：
SPSS软件、DEA计算软件等。
2.参考书目
2-1信息分析
沙勇忠、牛春华等，信息分析，科学出版社，2009年第一版。
2-2计量经济学
古扎拉蒂，计量经济学（第三版），中国人民大学出版社，2000年林少宫翻译第一版。
2-3运筹学
魏权龄、胡显佑，运筹学基础教材，中国人民大学出版社，2008年第二版。
3.考核要求、方式
4-1期末考试：
闭卷，重点考察信息分析方法特别是计量方法、时间序列方法、层次分析方法、DEA方法的理解与应用。
4-2平时考核：
出勤、作业（含信息分析全程的课程论文）。
平时点名5次，全缺者取消考试资格。
4-3总评成绩：
期末卷面成绩
＋出勤
＋作业
。
第一节绪论
1.信息分析的内涵
1-1信息分析的概念：
是情报研究范围的扩展和社会信息化发展的结果，是针对特定的需求，对信息进行深度分析和加工，提供有用的信息与情报。
信息分析的本质是将信息转换为情报。
过程阐述一：
情报
过程阐述二：
信息利用
1-2信息分析与相关研究的关系
A.信息分析与科学研究：
信息分析是一种面向应用的科学研究，是科学研究的前提或基础；两者研究对象不同、研究目的不同、研究功用不同、研究性质不同。
B.信息分析与软科学研究：
两者都涉及到信息的分析和加工，都是为决策和行动提供依据和参考；软科学侧重于对策研究，信息分析的研究范围更为广泛，软科学研究以信息分析为基础，信息分析借鉴软科学的对策研究方法是一种趋势。
C.信息分析与咨询服务：
二者的基础活动都是信息的采集、加工、传递和反馈，都是为客户决策和行动提供智力支持服务，都是面向市场的商业信息活动；咨询服务更强调专业性，更注重咨询人员的专业经验和具体研究以解决客户实际问题。
信息分析正迅速融入咨询业而形成信息咨询业。
D.信息分析与竞争情报：
竞争情报是信息分析的组成部分，是面向企业的信息研究，竞争情报以市场竞争为内容，以竞争对手分析为核心，具有强烈的对抗性与针对性。
1-3信息分析的工作目标
A.从混沌的信息中萃取有用信息。
实现这一目标的常用方法有：
比较、鉴别、检索、相关分析等。
B.从表层信息中发现相关的隐蔽信息，实现这一目标的常用方法有：
内容分析、聚类分析、数据挖掘、知识发现等。
C.从过去和现在的信息中推演未来的信息。
实现这一目标的常用方法有：
特尔菲法、情景分析法、对策法等。
D.从局部信息推知总体信息。
实现这一目标的常用方法有：
统计学方法、系统辨识、内容分析等。
E.运用相关信息对事物的状态、性能和效果进行评价。
实现这一目标的常用方法有：
层次分析法、数据包络分析法等。
2.信息分析的领域
1-1按功能进行划分
综合性信息分析
1-2按工作领域划分
社会信息分析
3.信息分析方法论
3-1方法与方法论
A.方法论是方法的系统知识，它把方法作为直接对象从理论上进行系统研究和梳理，方法论研究方法的性质、作用和发展规律，研究不同方法之间的差别和联系，研究每一种方法在方法系统中的地位以及正确运用各种方法所需要遵循的基本程序和原则等。
B.方法是方法论的原材料，是方法论的基础；方法论是方法的理论概括和总结，是系统化了的方法体系，对具体的方法具有指导作用。
C.从方法论的角度来讲，研究方法是分层次的，按照其概括的普遍程度和适用范围的大小，按从高到低的水平，可以分为彼此不同但有紧密联系的三个层次：
哲学方法、一般方法、专门方法。
上层的方法作用范围更大，作用时间更长，但也越不具体；下层的方法作用范围更小、更专门，操作性更强。
演绎
3-2信息分析的方法来源
A.逻辑学的方法
B.系统分析的方法
C.图书情报学方法
D.社会学方法
E.数学统计学的方法
F.经济管理学的方法
3-3信息分析方法的体系结构
根据信息分析的理论追求和职业需要，对信息分析领域所积累的研究方法按照某种标准进行系统化和结构化。
另外，从技术手段来说，计算机辅助信息分析日益普遍。
信息分析方法
相关分析方法
内容分析法、引文分析法、因子分析法、聚类分析法、关联树法等。
预测分析方法
时间序列法、回归分析法、德尔菲法、情景分析法、马尔可夫法等。
评估分析方法
模糊综合评估法、层次分析法。
指数评估法、数据包络分析法。
其他分析方法
仿真法、动态规划法、博弈论方法、神经网络方法、社会调查法等。
4.信息分析职业人员的理想素质结构
4-1两类知识
显性知识与隐性知识：
前者通过学习获得，后者通过生活经验获得。
4-2两类思维
发散性思维与收敛性思维：
前者具有非习常性、无规范性，后者则遵循一定规则，具有可靠的程序。
4-3两类方法
定性方法与定量方法：
前者强调对所要研究的对象从整体上进行把握，认为研究应当是开放和多元的。
4-4必要的张力
在两类知识、两种思维、两类方法之间保持必要的张力，形成不偏倚、非极端的均衡结构。
信息分析需要科学与艺术相结合的双重素质。
定性方法
5.信息分析的发展趋势
5-1信息分析服务的市场化、产业化
5-2信息分析内容的专深化
5-3信息分析手段的现代化
第二节信息分析的工作流程
1.信息分析课题选题与规划
1-1课题选题
A.选题就是明确信息分析的对象、内容与目的。
B．选题来源：
从现实生活中选题（现实需要、社会热点难点问题、实践项目）；从理论研究中选题（弥补研究空白、开拓研究问题、过去研究不足）；从个人经历中选题（个人好奇心、个人兴趣）；从不同学派、观点的学术争论中选题；从学科渗透、交叉中选题；从直觉思维、意外发现中选题；建议或者指派。
C．选题原则：
必要性和可行性；综合性与针对性；及时性与预见性；科学性与创新性。
D．选题步骤：
课题提出；课题分析；初步调查；课题论证；课题选定；开题报告。
1-2课题规划
制定相应的研究计划，一般包括如下内容：
课题目的；调查大纲；预计成果形式；组织分工；完成时间与实施步骤；其他。
2.信息收集、整理与评价
2-1信息源
根据信息存在的三种形式，信息源可分为三个方面：
文献信息、口头和实物信息、网络信息。
2-2信息收集
信息收集原则：
全面系统性、针对适用性、真实可靠性、及时新颖性、计划预见性。
信息收集方法如下图所示：
搜索引擎
2-3信息整理
对收集到的繁杂无序的原始信息，经筛选、分类、归纳、排序，成为便于研究的形式表达并存储起来。
整理即序化过程，目的是减少信息的混乱程度。
基本方法有：
A.分类与筛选
B．阅读与摘录
C．序化处理
D．改编与重组
2-4信息评价
信息评价三个指标：
可靠性、先进性、适用性，可分别从多个角度进行评价。
针对上述指标，可考虑文献信息、口头和实物信息、网络信息评价的基本出发点。
3.信息分析
3-1浏览、阅读已搜集和整理的原始资料。
3-2创造最初的假设。
假设必须具体、明确，最好表达为5W1H的形式：
人物、事物、时间、地理位置、操作方法、动机。
比如：
在一定时间、地点范围内，消费者为追求效用最大化，消费商品总是按照等边际效用法则进行。
3-3再搜集、整理和评价信息。
目的是验证最初的假设。
3-4确定前提。
3-5验证假设并形成推论。
3-6形成最终的结论。
4.信息分析产品的制作与传播
4-1产品类型及制作。
三种类型：
系统资料类产品；动态报道类产品；研究报告类（题目、绪言、正文、结论、参考文献、附录）。
注意其内容及格式。
4-2信息分析产品的评价。
评价的必要性及主要评价指标（针对性、准确性、创造性、新颖性、加工度、产品制作水平、效益性等）。
4-3信息产品传播、利用与反馈。
两种传播方式（单向被动传播与单向主动传播）。
影响传播的因素（产品定价、市场因素、政府调控等）。
第三节信息分析建模
1.模型与模型方法的概念
1-1模型就是通过对问题现象的分解，利用我们考察得来的原理，吸收一切主要因素，略去一切不主要的因素所创造出来的一副图画。
模型是现实原型的一种抽象或模拟。
1-2由于研究对象的复杂性、不可分解性、不可逆性和难操作性，需要通过模型研究原型。
1-3模型方法就是主体通过构建模型来研究客体的方法。
2.模型的分类
2-1模型的第一种分类：
按照人们对实际问题的了解程度划分。
对实际问题的了解程度
2-2模型的第二种分类：
按照模型替代原型的方式划分。
历史模型
2-3模型的第三种分类：
按照建立模型目的划分。
控制模型
2-5模型的第四种分类：
按照模型的应用领域或所属学科划分。
其他
3.模型建立的一般过程
3-1信息分析建模需考虑的主要问题：
对实际问题的分析与理解；定量与定性方法的选择。
3-2信息分析建模基本步骤：
准备；简化与假设；模型表述；模型求解；模型的分析、检验与修正；模型的应用。
模型修正
4.信息分析典型模型SWOT模型。
4-1由美国旧金山大学HeinzWeihrich于20世纪80年代提出。
S代表企业长处或优势，W代表企业的弱点或劣势，0表示企业外部环境中存在的机会，T表示企业所面临的外部环境威胁。
SWOT模型用系统的思想将这些似乎独立的因素相互匹配起来进行分析，有利于对组织所处情景进行全面、系统、准确的研究，制定发展战略和计划。
4-2基本框架
内部因素
优势
劣势
外部
环境
机会
S0战略
WO战略
威胁
ST战略
WT战略
4-3SWOT战略与计划
SO战略：
增长型战略，依靠内部优势，利用外部机会。
WO战略：
扭转型战略，克服内部劣势，利用外部机会。
ST战略：
多种经营战略，依靠内部优势，回避外部威胁。
WT战略：
防御型战略，克服内部劣势，回避外部威胁。
升级会员 