Philip E. Tetlock 和 Dan Gardner 的超级预测

Dan Gardner Health Lifestyle Philip E. Tetlock Psychology Social Superforecasting

预测的艺术与科学

Superforecasting by Philip E. Tetlock and Dan Gardner

购买书籍 - Philip E. Tetlock 和 Dan Gardner 的 Superforecasting

超级预测这本书的主题到底是什么?

Superforecasting(2015 年)基于数十年的研究和政府赞助的大型预测锦标赛的结果,解释了如何提高预测的准确性,无论您是否试图预见股票的变化市场、政治或您的日常生活。

Superforecasting 书籍的目标读者是谁?

  • 对了解预测工作原理感兴趣的人
  • 能够批判性思考的思考者
  • 希望提高预测能力的商务人士

Philip E. Tetlock 和 Dan Gardner 是谁,他们是做什么的?

Phil Tetlock,宾夕法尼亚大学安纳伯格大学教授,是一位政治学家和心理学家,专门研究政治心理学。他是 Good Judgment Project 的创始人和主管,该项目是一项预测研究,已在同行评审期刊上发表了 200 多篇论文。
Dan Gardner 是住在纽约市的记者、作家和演说家。除了广受好评的《风险:恐惧的科学与政治》和《未来胡言乱语》一书的作者之外,加德纳还为世界各地的政府和公司(如 Google 和西门子)就各种主题发表演讲。

对我来说到底是什么?观看此视频,了解如何进行准确的预测。

预测和预测涉及广泛的主题,包括天气、股市、明年的预算以及谁将赢得本周末的足球比赛等等。然而,这些并不是我们做出预测的唯一主题。由于我们对预测的痴迷,当事件没有按照我们预期的方式展开时,我们会感到不安。那么,能否做出比现在更准确的预测?他们有能力。在几个月内,我们将能够生成根据每条新信息进行修剪和重新调整的超级预测,然后在预测事件发生后进行评估和改进。在这些笔记中,我们将了解产生最终预测的困难但迷人的技巧,这既困难又有趣。

在这里,您将了解为什么这位微软前 CEO 预计 iPhone 的市场份额;一位预报员如何预言亚西尔·阿拉法特的尸体解剖;以及为什么预测者群体在预测未来方面比个人更有效。

预测有一定的局限性,但不应以此为借口拒绝它。

预测是我们经常做的事情,无论我们是在计划我们的下一个职业发展还是做出金融投资决定。从本质上讲,我们的预测反映了我们对未来的希望。另一方面,预测受到限制,因为即使是很小的事件也可能产生意想不到的影响。我们生活在一个复杂的世界中,即使是一个人也可能造成灾难性的后果。以阿拉伯之春为例。突尼斯街头小贩穆罕默德·布阿齐兹(Mohamed Bouazizi)因受到腐败警察的羞辱而自焚。这是连锁反应的开始。

为什么一开始就难以预测此类事件,存在理论上的原因。美国气象学家爱德华·洛伦兹 (Edward Lorenz) 表示,对于地球大气等非线性系统,即使是微小的变化也可能产生重大影响。混沌理论(也称为蝴蝶效应)是解释这种现象的理论。根据一些估计,如果风向的变化小于零点几度,长期的天气模式可能会发生巨大变化,换句话说,巴西蝴蝶扇动翅膀可能引发龙卷风肆虐德克萨斯州。

然而,仅仅因为预测有其局限性,我们不应该完全放弃它。以 Edward Lorenz 的气象学领域为例。当天气预报提前几天发布时,它们可能被认为是相当准确的。为什么?原因很简单,天气预报员会在事件发生后评估其预测的准确性。通过将他们的预测与实际天气条件进行比较,他们可以更好地了解天气是如何运作的。但这种方法的问题在于,其他领域的人很少评估他们预测的准确性!为了增强我们的预测,我们必须首先提高其准确性,然后我们必须更加认真地将我们的预测与实际发生的情况进行比较。而且它需要对测量做出真正的承诺。

避免使用模棱两可的语言并力求尽可能具体。

仔细想想,衡量预测似乎是轻而易举的事:收集预测,评估其正确性,进行计算,瞧!然而,事情并没有那么简单。必须先了解原始预测的重要性,然后才能确定其是否准确。考虑微软首席执行官史蒂夫鲍尔默的案例,他预测 iPhone 将无法在当年 4 月获得相当大的市场份额。当你考虑到苹果市值的规模时,鲍尔默的预测似乎很荒谬,人们实际上嘲笑他。另一个重点是,苹果拥有美国智能手机市场 42% 的份额,这在整个行业中显然占有相当大的份额。但是等一下,让我们听听他的真实想法。

他说,是的,iPhone 可能会带来很多收入,但它永远无法占据全球手机市场的很大一部分(他的预测:在 2% 到 3% 之间) .相反,由他的公司微软开发的软件将逐渐占据市场主导地位。而且,或多或少,这个预测成真了。据 Garner IT 统计,2013 年第三季度,iPhone 在全球手机销量中的份额徘徊在 6% 左右,这远超鲍尔默的预期——但也没有那么多。与此同时,当时全球销售的绝大多数手机都在使用微软的软件。预测还应避免使用模棱两可的语言,而应依靠数字数据来提高准确性。

在预测时,习惯上使用模棱两可的术语,例如“可能”、“可能”或“可能”。然而,研究表明,个人对诸如此类的短语有不同的解释。为了正确传达概率,预报员应该使用百分比或其他数字度量来描述事件的可能性。当美国国家安全局和中央情报局等美国情报机构称萨达姆侯赛因隐瞒大规模杀伤性武器时,这一指控被证明是错误的,这对美国政府来说是灾难性的失败。如果这些情报机构计算的准确度和应用百分比更高,美国可能不会在 2003 年袭击伊拉克。伊拉克拥有大规模杀伤性武器的几率是 60%,但仍有 40% 的可能性萨达姆没有——温和地说,打仗的理由很薄弱——

如果您希望提高预测的准确性,请跟踪您的结果。

那么,我们如何才能避免犯下像 WMD 那样的灾难性错误?显然,我们需要提高预测的准确性让我们来看看实现这一目标的一些方法。最有效的方法是保持分数。为了实现这一目标,作者的研究团队创建了政府资助的 Good Judgment Project,在四年时间里吸引了数千名志愿者回答了超过 100 万个问题,从而使这本书得以出版。研究人员认为,通过利用评分,他们将能够提高预测准确性。

诸如“突尼斯总统下个月会逃到舒适的流放地吗?”之类的问题以及“欧元会在未来 12 个月内跌破 1.20 美元吗?”参与者给出了答案。之后,每个预测者对每个参与者的预测进行可能性评级,在阅读相关新闻后根据需要进行修改,并在预测时间到来时为每个预测分配一个 Brier 分数,该分数表明预测的准确性。 Brier 分数以 Glenn W. Brier 的名字命名,是最常用的确定预测准确性的方法。数字越小,预测越准确;例如,完美预测的得分为 151。随机估计将导致 Brier 得分为 0.5,而完全错误的预测将导致最高 Brier 得分为 2.0。

提出的问题会影响如何解释 Brier 分数。尽管您的 Brier 分数为 0.2,这似乎很好,但您的预测可能会是灾难性的!让我们假设我们正在做天气预报。如果亚利桑那州凤凰城的天气持续炎热和晴朗,预报员可以简单地预测炎热和晴朗的天气,并获得 Brier 分数为零,这显然比分数 0.2 好。在预测以不可预测的天气而闻名的密苏里州斯普林菲尔德的天气时,即使您的分数仅为 0.02,您也将被视为世界一流的气象学家。

超级预测者首先将问题分解成更小的部分,以便更好地理解它们。

是不是所有的超级预测者都是可以接触绝密情报的杰出思想家?一点都不。那么,您可能想知道,他们如何对未来做出如此精确的预测。为了解决一个主题,超级预测者必须首先将看似难以解决的困难分解为可管理的子问题。这被称为费米式推理。恩里科·费米 (Enrico Fermi) 是一位在原子弹开发中发挥关键作用的科学家,他能够非常精确地预测诸如芝加哥钢琴调音师的数量之类的事情,尽管他没有任何作品他可以使用的信息。

他通过区分已知和未知来实现这一点,这是超级预测者采取的第一步。例如,当巴勒斯坦解放组织的领导人亚西尔·阿拉法特因不明原因死亡时,很多人猜测他是被毒死的。但事实并非如此。然后,在 2012 年,研究人员在他的财产中发现了危险的大量钋 210——一种如果吸入可能会致命的放射性物质。正是由于这一发现,他被毒害的理论得到了广泛的支持,他的尸体在法国和瑞士都被挖掘出来并进行了检查。当被问及科学家是否会在亚西尔·阿拉法特 (Yasser Arafat) 的身体中发现更多的钋作为良好判断项目的一部分时,预报员给出了肯定的回答。志愿预报员比尔弗拉克以恩里科费米的方式解决了这个问题,打破了事实。

首先,弗拉克发现钋衰变很快,这意味着如果阿拉法特中毒了,鉴于他于 2004 年去世,很有可能在他的骨头中找不到钋Flack 对钋检测进行了研究,得出的结论是在某些情况下可以检测到它。后来,弗拉克考虑了阿拉法特有可能毒害他的巴勒斯坦对手的可能性,以及验尸报告被污染的可能性,以将他的死归咎于以色列。他预测在阿拉法特体内发现钋的概率为 60%。他是对的。因此,Flack 首先建立基本面,然后再进行更复杂的假设,而这正是优秀预测者会做的事情。

从外部视图开始,然后切换到内部视图以获得更精确的预测。

因为每种情况都不同,所以您应该避免过早做出决定和判断。为了有效地解决任何问题,有必要采取客观的观点,包括确定基准利率是多少。然而,这并不完全清楚。为了说明这一点,请考虑住在美国一个小房子里的意大利家庭的情况。他们有两份工作:父亲是簿记员,母亲一起在托儿所兼职。除了他们自己,他们孩子的奶奶也和他们一起住在家里。

如果您被问及这个意大利家庭获得宠物的几率有多大,您可能会尝试通过立即抓住这个家庭的特征或他们的生活环境来找出答案。但是,在这种情况下,您将没有资格成为超级预报员!超级预测者不会从检查细节开始。相反,她会首先找出拥有宠物的美国家庭的比例或“基本比率”。然后她会从那里走。在 Google 的帮助下,您可能会在几秒钟内找出这占人口的百分比。这是外面的景色。完成后,您将能够从内部看到事物。这将为您提供可让您适当修改基本费率的信息。

从意大利家庭的外部视角开始,提供了初步估计:根据示例,该家庭养宠物的概率为 62%。之后,您会更精确并修改您选择的数字。例如,您可以查看在美国养宠物的意大利家庭的百分比。锚定的概念是外部视角基本原理的核心。锚点是在进行任何修改之前绘制的第一个图形。另一方面,如果您从较小的细节开始,则您的预测更有可能与任何锚点或确切数字相距数千英里。

即使在得出最初的结论后也要继续保持最新状态,并根据新的事实调整你的预测。

过程开始后,我们已经看到了超级预测者如何开始工作,但是一旦您做出第一个预测,您就不能简单地坐下来看看自己是否正确。任何新知识都需要更新和修改您之前的判断。你还记得比尔弗莱克吗?根据最新消息,在预测亚西尔·阿拉法特体内会发现钋后,他密切关注新闻,并在他认为有必要时修改他的预测。瑞士研究小组随后声称需要进行更多的测试,结果将在稍后公布,尽管 Flack 的最初预测是在几年前做出的。由于 Flack 对钋进行了大量研究,他知道团队已经发现了钋,需要进一步测试以确定钋的来源。因此,Flack 将他的预测提高到 65%。

事实证明,瑞士队确实在阿拉法特的身体中发现了钋,因此弗莱克的最后布里尔得分为 0.36 分。鉴于问题的复杂性,这是一个出色的表现。但是,您必须谨慎行事。尽管新知识可能是有益的,但如果被误解也可能有害。例如,美国政府的情报高级研究计划活动(IARPA)询问,2014 年 9 月 15 日北极海冰是否会比前一年减少。超级预报员道格·洛奇得出的结论是,有 55% 的概率做出肯定的回应。另一方面,Lorch 收到了来自海冰预报网络的一个月前的报告,该报告对他的影响很大,将他的预测从 90% 提高到 95%,这是基于单个信息的重大转变。

当 2014 年 9 月 15 日最终到来时,北极冰层比前一年多。 Lorch 的第一个预测给出了 45% 的可能性发生,但在他的修正之后,可能性下降到微不足道的 5%。有必要将微妙的细微差别与不必要的信息区分开来,以便进行巧妙的更新。不要害怕改变您的观点,但在做出决定之前,请仔细考虑新知识是否有用。

分组工作可能有助于预测,但前提是正确完成。

也许您对“集体思考”这个词很熟悉。 “团队精神”一词是由心理学家欧文·贾尼斯 (Irving Janis) 创建的,他认为小组中的个人可能会通过下意识地产生干扰批判性推理的常见错觉来产生团队精神。干涉是由害怕冲突而只是彼此同意的人引起的。然而,偏离规范是真正价值的来源。独立的演讲和思考在任何团队环境中都是很大的优势,但在体育运动中更是如此。因此,The Good Judgment Project 的研究团队选择调查合作是否可以提高准确性。他们实现这一目标的方式是开发在线论坛,分配到各个组的预报员可以通过这些论坛相互交流。

一开始,研究团队就群体动态提供了见解,并警告在线群体不要落入群体思维的陷阱。第一年的调查结果出来了,他们表明,平均而言,集体工作的人比单独工作的人准确率高 23%。第二年,研究小组决定将超级预测者而不是普通预测者归为一组,他们发现他们的表现明显优于普通组。然而,该集团的动态也受到了影响。超级预报员伊莱恩·里奇 (Elaine Rich) 对结果表示不满。每个人都非常有礼貌,几乎没有反对意见或反驳的批判性辩论。为了纠正这种情况,这些组织不遗余力地表明他们接受了建设性的反馈。

精确提问,促使个人重新考虑他们的论点,是另一种提高协作绩效的技术。当然,这不是一个新概念,因为自苏格拉底和希腊人时代以来,伟大的导师就一直在练习精确提问。精确探究需要深入研究论证的细节,例如通过询问某个词的含义。即使在这个主题上存在很大的意见分歧,这种审问也揭示了结论背后的推理,这为进一步研究打开了大门

《超级预测》一书的完整摘要。

本书中最重要的一课是超级预测不仅限于计算机或天才。一种可训练的才能,它需要收集证据、记分、让自己跟上新的事实,并有耐心的能力。可以付诸行动的建议:跟上最新发展,让您在竞争中领先一步。超级预报员比常规预报员更频繁地了解对他们的预测很重要的新闻。密切关注变化的一个建议是为自己设置通知,例如通过使用 Google 快讯,让您随时了解情况。一旦有关于手头主题的新信息,这些将通过向您发送电子邮件的方式通知您。建议进一步阅读:马克·布坎南 (Mark Buchanan) 做出预测。预测是对当代经济理论的批判,它揭露了理论的主要缺陷。物理学家马克·布坎南 (Mark Buchanan) 仔细研究了支撑我们经济知识的基本科学假设,并利用敏锐的分析能力证明了它们的错误之处。在本书的第二部分,布坎南讨论了一些在他看来最终有助于改进当代经济理论的科学突破。

购买书籍 - Philip E. Tetlock 和 Dan Gardner 的 Superforecasting

由 BrookPad 团队根据 Philip E. Tetlock 和 Dan Gardner 的 Superforecasting 编写



较早的帖子 较新的帖子


发表评论

请注意,评论必须在发表前获得批准

Judge.me Review Medals