用算法背后的道理指导自己生活中的决策.docx

1、用算法背后的道理指导自己生活中的决策用算法背后的道理指导自己生活中的决策 听过了很多道理，却依然过不好这一生。这是很多人 的困惑。这篇小文想讲的是，任何一场科技中的浪潮，都 会带来方法论上的变革。关于人生中的抉择，人们总是用 当前最热门科技中的概念去类比。正如所说： Sagan Carl Science is a way of thinking much more than it is a body of 。授人以鱼不如授人以渔，了解了方法论的变革，knowledge 才会带来元认知上的升级换代。 在过去，当我们站在人生选择的十字路口，我们会从古代 先哲的话中去寻找启迪，会听从当地宗教领袖的话

2、，到了 启蒙运动之后，社会的主流意见变成了听从你内心的声音。 然而，随着数据在我们的生活中占据了越来越重要的位置， 我们做决策时也需要拿出数据和图表，用量化的数据以及 算法来指导我们的决策，而不只是做你自己喜欢的事。 为什么我们不应该只追随自己的了？这是因为 voiceinner 当代心理学，及其衍生出来的行为经济学已积累了足够的 证据，说明人类会系统性的犯错误。关于这个话题，最著 名的论述就是思考，快与慢这本书，另一本值得看的 书是进化的乱乱脑是怎么让你不完美的。 另一方面，在这本书中，作tomorrow ofhistorybriefA 者指出，做出明智的决策，自我意识的存在不是必要条件，很

3、多的算法即将在未来 intelligent but highly Non-conscious 变得比我们更加了解自己。但我们有些时候却不愿相信算 法帮我们做出的决策，尤其在面对人生的关键选择时，例 如，你愿意你的终身大事被算法安排吗？当一个程序告诉 你，你应该和结婚，尽管你觉得更有魅力时，你会听 B A 程序的安排吗？要回答这个问题，最好我们先了解程序背 后的算法逻辑，否则在对算法一无所知的情况下做出的选 择，不会是一个。在不久的将来，算法chociewell-informed 将会或显或隐的影响你的选择，你准备好相应的心智模块 了吗？ 举一个具体的例子，假如一个非常优秀的人参加选秀节目， 已

4、知追求的他的人有有限个，例如位，选秀节目规定， 10 他不能脚踏两只船，即不能同时和两个人交往，如果在交 往之后他没有接受这个人，那么，以后也没有机会再选择 这个人作为对象。然后接着和下一个人交往。他该怎么办？ 对这个问题的回答，有两种思考方式，先说机器学习的方 式。一个做机器学习的人拿到这个问题，首先会做的是收 集数据，假设上面提到的选秀节目进行了期，那么要 100 收集的数据包括这一百期节目中每位男嘉宾的年龄，学历， 身高，职业等，还会收集台上发生的对话这样data structure 的，最后在通过对每位女嘉宾的事后访谈，data unstucture确定各位女嘉宾是否后悔自己的选择，是

5、否和男嘉宾有更 多的发展。之后将所有的这些数据放入多个模型中，目标 是找出一套规律来，来指导未来参加这个节目的女嘉宾， 让她们能做出让她们最不后悔的选择。不同的模型给出的 规律会各有不同，有的模型很简单，会告诉女嘉宾找和自 己年龄相差最小的，有些规则会很复杂，会告诉女嘉宾去 找又高又年轻的程序员但是却要比自己大岁到岁。（咳 3 1 咳） 另一种方法是传统的数学模型，关于上文提到的问题，有 一个现成的数学理论可以去对这个问题给出最优解。 是一个在金融衍生品定价中应用很广 TheoryStop Optimal 泛的理论，假设每个女嘉宾可以对男嘉宾给出一个唯一的 打分，但女嘉宾不清楚这届男嘉宾的整体

6、水平怎么样，需 要拿前几个去摸索一下自己应该把标准定的多高，又担心 久久不选择，错过了最好的那个，那么 Optimal Stop Theory 给出的答案是，在之后，女嘉宾应该不要犹豫，37% 37% 只要遇到一个比之前的选择都得分高的男嘉宾，该将就就 将就吧。（咳咳） 对于这个问题的数学建模，感兴趣的童 鞋可以自己去推算出上文提到来。在男嘉宾的数目不37% 同时，女嘉宾按应该采取的最优策略， Theory Optimal Stop 以及对应的有多少比例找到这一组中男嘉宾中最好的那个， 有的概率遇不到最好的那个这不是一个好消息，但从63% 另一方面来看，保证了不管男嘉宾有多 TheorySto

7、pOptimal 少个，女嘉宾总能有差不多的几率找到最好的那个。 将选秀节目中的场景反射到生活的时间之流中。我们每个 人也都会遇到或多或少几个追求者，也会在到底是该等待 唯一的那个人，还是就这么嫁了中彷徨。假设我们的平均 寿命是岁，那么告诉你可以在 33Theory Optimal Stop 90 岁前去你的选择，过了岁之后，再选择遇到的 explore 33 最好那个不迟。下次再遇到逼婚的，就可以给父母亲戚推 一推公式，告诉他们数学家已经证明了，再等几年是最优 的选择。（咳咳） 比较一下机器学习和传统的数学建模的方式，机器学习处 理的多维的，复杂的数据，其模型相比数学模型，需要更 少的假设条

8、件，其得出的结论，不会保证其一定是最优的。 而数学建模，首先假设了男嘉宾出现的次序和其质量是独 立的，更重要的是，其要求女嘉宾对每一个男嘉宾有一个 唯一的打分，如果真的能这样，生活中的选择就简单多了。 所以说，尽管机器学习有时会给出一些不那么靠谱的选择， 在面对现实的问题时，不过度的简化问题，是给出的解答 有用的一个必要条件。 不过，不管是那么方法得出的答案，数据指导的思考方式 要求你去做验证，要求你去质疑的假设，并看看将某些假 设做了修改后，答案又会变成怎样。比如上文提到的问题，如果假设在女嘉宾拒绝了男嘉宾后一次，男嘉宾还会接受 女嘉宾，那么女嘉宾的最优选择应该是什么了？又比如女 嘉宾能给男

9、嘉宾一个到之间的评分，而不是不清楚 0 100 这届男嘉宾的分数上下限的时候，又应该采取什么样的策 略了，数据时代，首先要说的质疑你的假设。关于验证你 的结论，最弱的证据是个人的，稍微强一些的storypersonal 是，即名人的传记访谈，因为第三方的视角会去study case 除掉自我记忆的和认知中的偏见。更好的证据是，Statistic 比如查一查结婚的年龄和离婚率是否相关，如果在到 4020 岁之间，排除其他因素，结婚年龄太早或者太晚的离婚率 很高，再通过问卷调查，得出对婚姻的满意程度，结果发 现按照当时的预期寿命，相应年龄结婚的伙伴满意度最高， 那么说明还是有一定道理的。 Theo

10、ry Optimal Stop 比统计更高级的验证是机器学习中最常用的 Cross 。举个例子，将已知的数 Validation CrossValidation 5 fold 据分成份，选份作为训练数据集，将这些数据丢给模 10 8 型，然后在剩下的两份数据上去检测模型的效果。然后重 复这个过程次，直到每份数据都做了一次测试数据了。 5 是为了保证训练出的模型不会把数据中噪 Validation Cross 音放大，然而其背后的思想则是我们对现实的认识的不完 全的，因此训练时数据少一些，是必然的。模型不能要求 麦克斯韦妖那样的全知全能，而要在部分可见的情况下给出相对靠谱的对整体的预测。这种对自

11、己的未知谦卑的态 度，让人想起了“认识你自己”这句古希腊的格言。如果 将机器学习的算法看成是一个认知策略，那么认识你自己 说的就是，即是将不同的算法结合起来，取长meta-learning 补短，从而更快得到（收敛出）更好的结果。机器学习的 方法框架和循环，实现模型，验证模型，分析模型的效果 和优缺点，在一轮轮的迭代中持续改进模型。 之后，想谈一谈上文案例反映的一个更深层次的权衡 （），。我们年轻的时候，总是忍Exploit tradeoff vsExplore 不住想去看一看世界，所谓的没有看过世界，哪来的世界 观，而当年纪渐长，就应有所立足，在某一个领域有所专 注，从而自己之前积累的见识，

12、这固然会让你觉得 exploit 生活不在像之前那样丰富多彩，新的刺激会减少，然而这 是生命的常态，如同熵增一样不可避免。要想生命之树常 青，除了认识到时间箭头不可逆带来的新朋友新经历越来 越少，就是要在自己横向的处理问题时把握好这个权衡， 做到既不，也不。带来 exploitexploit overexplore over over 的问题是，这个机器学习中的概念对应是生活中overfitting 的阴谋论或者对文本的过度解读。比如用一条线连接下图 的五个点。的答案是这样一条包含五个参数的弯 overfiting 弯曲曲的曲线，这条曲线虽然在这五个点上误差极小，但 当加入一个新的点之后，结果

13、就不那么好了。这里更好的解答应该是一条包含两个参数的直线。阴谋论将几个看似 不相关的事件用一个不那么简单直接的故事连接起来，在 阴谋论为何总是错的？中，对阴谋论有更深入的分析，感 兴趣的小伙伴可以点击查看。 犯了这种错误的小伙伴，总想着找出一个一招 exploit over 鲜吃遍天的法子来，在数据收集的还不够充分的时候，机 器学习的方法既可以放大数据中的规律，也可以放大其噪 音，只有更多的数据才能解决这个问题。比如下图中的下 一个图形该是哪一个，有两种可能的解答，这两种规律哪 一个才是我们真正关心的了？只有更多的数据才能回答。 的问题也许更多人更加熟悉，信息过载这个词 exploreover

14、 很多人会觉得陌生，然而当看到那数不清的朋友圈，每日 头条的诸多推送，你就会明白什么叫 information overload 了，关于这个问题，可以参考如果用刷朋友圈的时间读一 本书，能读多少本？和我应该删掉多少好友，屏蔽多少朋 友圈。让人成为只会读兵书的赵括马谡，让人 exploreover 们以为知道了很多碎片化的知识，却无法形成体系。 的一个解毒药是机器学习中定理， lunchfree exploreover No 我们在机器学习中衡量两个算法，到底孰优孰劣，该怎么 考虑？“没有免费的午餐定理”仿佛给了一个很令人 的答案：针对某一域的所有问题，所有算法的期 depressing 望性

15、能是相同的。注意，这里有两个关键词，某一域的“所有”，和“期望”性能。所以它并没有否认两个算法有 优劣之分，并且事实上还提供了一个视角让我们理解为什 么在机器学习中，我们可以选择算法的优劣性。 告诉我们，没有一个适用于所有问题的通用方 lunch free No 法。机器学习的诸多方法各有各的适用场景，需要使用者 因地制宜的去选择。这个定理还告诉我们，即使收集到了 全部的数据，我们也无法一锤定音的找到一个一成不变的 最优方案。这对从事机器学习人来说是个好消息，说明其 工作要被计算机取代，还需要一段时间，任何机器学习算 法成功的背后，都是很多人持续的选择和分析一点一滴堆 出来的胜利。 数据思维带

16、给我们的启示，除了用数据去支持你人生的决 策外，另一点是去关注和自己的平衡，不 explore exploit 要犯上面提到的两类错误。知道何时该停止试水的 Optimal ，无疑可以在这方面给予读者启迪。而另一方，Theory Stop 我们可以通过制度的设计来帮助大家去做出更好的选择。 的反脆弱（参考杀不死我的东西，使我变得更强 Taleb 大）中提到，说的是当game in the BetterRead Have anskin 你需要为你的言论买单时，你会更注重你发言的质量，更 加深思熟虑。而通过市场机制去将众多人的观点综合起来 的制度，就是这本书中提到的预测市场。比如 Superfor

17、cast 你想知道美国大选谁的胜率高，民调的结果不靠谱，因为很多选民会在投票时变卦，专家的意见更加不靠谱，专家 都有自己的偏见，那该听谁的？有这么一个市场，你可以 针对各种事情下注，从得冠军到石油价格的涨跌，这 NBA 个市场上你可以自由的交易自己的赌注。通过对这个市场 的观察，那么就可以得出最靠谱准确的预测来。这就是通 过市场的扩展秩序来发掘人群中的私人的隐形知识，同时 避免噪音的干扰。 如果能综合利用到更多人的观点，预测的准确度会不会提 高了，脑补这样一种未来，人们不止是为了接受信息付费， 还能为了传播观点承担风险。具体的举个例子，如果你写 了一篇，或者转发了一篇支持希拉里当下一任美国总统

18、的 文章，然后在发表时后台系统的自然语言处理系统识别出 了你文章中的观点，要求你付一笔钱，到时候如果希拉里 赢得了大选，你会按照出价时的赔率获得相应的赔偿，若 是你猜错了，你会损失这笔钱。或者你在这样的预测市场 上下了注，你写了篇文章解释你为什么要下注。这里的要 点是要想发出声音，你需要花钱，愿意将越多的钱用来做 风险投资，你的声音就越大，就会被置顶，被更多人听到。 这会不会通过金钱上的刺激，使你更加注重和 explore 之间的权衡，从而提高下一届朋友圈的信息水准， exploit 那些传播阴谋论的，会赌他们预测那末日即将到来，然后天下太平，他们失去了自己的赌注，从而只能发出更小的 声音。而

19、那些只收集信息的人，则失去了将自己的洞见变 现的机会。优胜劣汰，在这样的舆论生态圈中，活下去的 都会是智者，而无论是做投资的，亦或是普通人，都可以 从这样的预测市场中受益，就像我们从市场经济中获得了 高质量的物质资源，结合了自然语言处理的预测市场将会 为我们的注意力资源的合理分配提供一种可能性。 总结的 Take home messageALWAYS Test / Cross validationMIND tradeoff between explore vs exploitTAKE risk for your opinionMEDEL your life choiceAS problem i

20、n math/ machine learningQUESTION your assumptionNOT confuss over-interpretation with ruleREALITY need open mind thinking 如同古代的藏头诗，算法和数据思维也不是万能的，always ，。生命之树长青，reality not modelas questionasmindtake 只要你还愿意接受新的观点，新的数据。 感谢 深大王雄老师组织的南山深度学习读书会中提供的机 会，让我能够和更多的大牛请教分享自己的心得体会。 本文的标题是一本推荐的书参考读书 bylive Algorithm to 笔记 我们该不该自动化我们的决策。更多阅读 七年之痒信息格局论未来简史 读书笔记