大数据时代读书笔记文档格式.docx

1、样本=总体1. 通过异常量判断信用卡诈骗2. 大数据分析：不用随机抽样，而是采用所有数据。不是绝对意义而是相对意义。（Xroom信用卡诈骗，日本相扑比赛）3. 多样性的价值（社区外联系很多社区内联系很多）3. 混杂性而非精确性1. 葡萄树温度测量：数据变多，虽然可能有错误数据，但总体而言会更加精确。2. 包容错误有更大好处3. word语法检查：语料库算法发展4. google翻译：让计算机自己估算对应关系，寻找成千上万对译结论：大数据的简单算法好过小数据的复杂算法5. 大数据让我们不执著于也无法执着于精确 6. MIT的通货紧缩软件：即时的大数据7. 标签：不精确8. 想要获得大规模数据的好

2、处，混乱是一种标准途经9. 新的数据库：大部分数据是非结构化的，无法被利用10. Hadoop：与mapreduce系统相对的开源式分布系统，输出结果不精确，但是非常快相比于依赖小数据和精确性的时代，大数据因为更强调数据的完整性和混杂性，帮助我们进一步接近事情的真相。“部分”和”确切“的吸引力是可以理解的。但是当我们的视野局限在我们可以分析和确定的数据上时，我们对世界的整体影响就会产生偏差和错误。不仅失去了尽力收集一切数据和活力，也失去了从不同角度观察时间的权利。三、 不是因果是相关1. 知道是什么就够了，不需要知道为什么。1. 亚马逊放弃书评组，使用大数据预测人们的未来购书需求2. 2. 在

3、小数据世界，相关关系有用，但是大数据背景，相关关系大放异彩。通过找关联物，相关关系可以帮助我们捕捉现在和预测未来1. A和B经常一起发生，那么A发生时可以预测B发生2. 例子：沃尔玛把飓风用具和蛋挞放在一起3. 过时的寻找关联物的方法a） 原因：数据少且收集花时间b） 在建立，应用假想和选择关联物时容易犯错误c） 结论：我们不需要人工选择关联物3. 大数据的相关分析法更准确，更快1. 例子：FICO我们知道你明天会做什么2. 伊百丽：根据个人信用卡交易记录预测个人收入，防止逃税3. Aviva：根据生活方式数据预测疾病4. 美国零售商target：通过购买习惯预测是否怀孕4. 通过找出新种类数

4、据的相互联系解决日常需要：找到关联物并监控，我们可以预知未来1. 例子：UPS与汽车修理预测2. 新生儿健康监测：肉眼看不到，但是计算机能看到5. 当收集分析和储存数据的成本较高时，应当适当丢弃一些数据6. 数据的非线性关系1. 幸福的非线性关系7. 快速思维模式使人们偏向于用因果关系看待周围的一切，因此经常对世界产生错误认识。这也使大脑为了避免辛苦思考而产生的捷径。大数据会经常被用来证明我们习惯的思维方式是错误的。8. 证明因果关系的实验开销大，难于操作；相关关系很有用，不仅是因为能为我们提供新的视角，而且提供的视角都很清晰。一旦我们考虑因果关系，这些视角会被蒙蔽。9. 大数据并非是理论消亡

5、的时代。四、一切皆可量化1. 莫里的信息交换计划：总结所有船只的航海日志已获得好的航线，为第一根大西洋电缆奠定基础2. 坐姿研究与汽车防盗系统3. 数据化1. 把现象转变成可指标分析的量化形式的过程2. 计量和记录促成了数据：1. 阿拉伯数字2. 计数板3. 复式记账法3. 数字化与数据化的区别google的数字图书馆：开始使用扫描-数字化，进而光学识别-数据化。Google借此改进自己的翻译2. 文化组学：定量分析揭示人类行为4. 文字变成数据：人可以阅读，机器可以分析5. 方位变成数据：需要一套标准的标记系统和收集，记录数据的工具。1 始于古希腊2. 1884年，国际子午线会议3. 197

6、8年，全球定位系统4. 英国汽车保险5 UPS的最佳行车路线：减少左转6. 收集用户地理位置数据，以便进行忠诚度计划。或者可以预测交通情况6. 现实挖掘1. 处理大量手机数据，发现并预测人类的行为。2. 例子：预测流感隔离区域3. 例子：通过非洲预付费用户的位置信息和他们账户的资金，发现贫民窟是经济繁荣的跳板7. 沟通变成数据1. FaceBook：社交关系数据化2. 推特：情绪数据化。对冲基金正在分析微博的文本，以作为股市投资的信号。新推特频率可以预测电影票房微博与疫苗：人们对于疫苗的态度与他们实际注射预防流感药物的可能性呈现正相关8. 万物数据化1. 触觉地板：适时开关灯，确定身份，某人摔

7、倒之后是否站起来2. 人体传感器：监控健康状态4. 结论：世界的本质是信息和数据，大数据提供新视角。五、大数据的潜在价值captcha（验证码，全自动区分人类和电脑的图灵测试）与数据再利用。作者使用了新的验证码recaptcha，人们从计算机光学字符识别程序无法识别的文本扫面项目中读入单词并输出，知道他们都输出正确后才确定（用来破译数字化文本中不清楚的单词）2. 大数据时代，所有的数据都是有价值的。现在，我们能够以较低成本获取并存储数据。数据的真实价值就像漂浮在海洋中的冰山，绝大部分隐藏在表面之下。3 不同于物质性的东西，数据的价值不会随它的使用而减少，而且可不断被处理。意味着数据的最终价值远

8、远大于它的最初价值。在基本用途完成后，数据的价值仍然存在，数据的价值是其所有可能用途的总和。4. 例子：IBM与电力汽车动力系统的优化预测：大数据预测模型，甚至考虑天气预报5. 数据再利用：1 搜索关键词，搜索结果预测夏天流行色2. google保存语音翻译记录，开发自己的语音识别技术3. 移动运营商长期使用大数据微调网络性能4. 有些公司可能会收集到大量的数据，但是他们并不急需使用，也不擅长使用数据，但是别的公司可以借此探寻数据的潜在价值8. 重组数据 丹麦癌症协会与手机致癌调查：使用所有的手机用户信息和所有的中枢神经系统肿瘤信息。随着大数据的出现，数据的总和比部分更有价值，当我们将多个数据

9、集的总和重组在一起，重组总和本身的价值也比单个总和更大9. 可拓展数据1. Google街景和GPS采集，不仅将其用于基本用途，而且进行了大量的二次利用。例如，对Google自动驾驶汽车的运作10数据的折旧值1. 随着时间的推移，大多数数据都会失去一部分基础用途，不应用此破坏新数据2. 挑战：如何得知某些数据不再有价值3. 并非所有数据都会贬值。例子：Google希望得到每年的同比数据组织机构应收集尽可能多的使用数据并保存尽可能长的时间。同时也应该与第三方分享数据11. 数据废气：用户在线交互的副产品，包括浏览哪些页面，停留多久，输入信息等1. 数据再利用的方式很隐蔽2. 例子：Google的

10、拼写检查：搜集每天处理的查询中数据搜索框的错误拼写Google的过滤噪音技术：如果用户点击搜索结果靠后的链接，说明这个结果更加有相关性，Google会把这个页面的排名相应提升。4. 当用户指出了各种自动化程序的错误，实际上是训练了系统5. 例子：巴诺与数据快照，电子书阅读器捕捉人们阅读书籍的习惯6. 例子：Coursera通过捕捉学生犯的错误来提示未来犯错误者数据废气可以成为公司的巨大竞争优势，和对手的强大进入堡垒12. 开放数据1. 最大的数据收集者：政府，可以强迫人们提供信息，但是信息利用效率低下。最好允许私人运营部门和社会大众访问FlyOnTime网站，通过开放的数据分析航班延误可能性。

11、3. 给数据估值：从数据持有人在价值提取上所采取的不同策略入手，将数据授权给第三方三、角色定位：数据，技术与思维广泛收集数据，用来发现不正常，不合理的价格高峰。2. 思维转变的重要性3. 三种大数据公司1. 基于数据本身的公司：twitter大数据最值钱的是他本身，所以应该优先考虑数据拥有者例子：机票预订系统ITA不直接使用数据：担心暴露利润MasterCard通过大数据预测客户的消费习惯2. 基于技能的公司：咨询公司，技术供应商或者分析公司：Teradata埃森哲公司利用大数据检测汽车零件并节省费用微软分析公司利用大数据降低病人的再入院率3. 基于思维的公司：创新思维FlightCaster

12、飞机晚点预测prismatic分析新闻并排序4. 大数据先驱者一般有跨学科的知识5. 例子：google和amazon三者兼备6. 全新的数据中间商：从各个地方搜集数据，提取有用的信息进行利用，并不威胁数据拥有者的利益1. 社会需要定向广告例子：Inrix：分析各种汽车制造者的数据和用户的数据，提供卫星导航服务汽车制造商们本身数据量不够，自身也没有技术利用大数据，也并不介意数据会被中间商利用。同时可以提供失业率等相关数据Quantcast：收集用户访问信息来测评用户年龄等，之后发定向广告HCCI收集医疗保单，分析美国医疗费用上涨是否合理结论：1. 数据价值的转移：从技术到数据本身和大数据思维2

13、. 传统商业模式颠覆：交易数据而不是交易技术3. 传统专家的光芒会被统计和数据学家取代，因为后者只关心数据谷歌翻译团队的工程师都不会说出翻译的语言2. 真正的专家不会消亡，但是主导地位会改变3. 专业技能只适用于小数据时代，因为那是需要依靠直觉和经验指导，但是遭遇海量数据时，可以通过数据挖掘得到更多4. 数据和统计学知识将成为现代工厂的基础，人类的价值体现在交流上，以进行广泛而深刻的传播交互式游戏，会根据用户来改良，以数据为基础运作2. 例子：The-通过大数据来预测电影票房5. 大数据决定企业核心竞争力1. 数据规模决定价值劳斯莱斯通过大数据监测引擎，预测可能出问题的引擎3. 例子：苹果进军手机4. 大数据为小公司带来了机遇：能享受非固有资产规模的好处，低成本传播创新结果，只需要创新思维5. 大数据拥有者会想办法增加数据存储量6. 消费者成为数据拥有者并与中间商交易7. 大数据对中等规模的公司帮助不大：既没有灵活性也没有规模效应6.大数据撼动国家竞争力：西方世界优势减少四、大数据时代的管理1