还真有神人善“预测” -- 如果他在胡同就好了

ctcld

摘要: 34岁的内特希尔沃凭着自己的数学模型准确预测了2012年美国大选全部50个州的选举结果。在大选日当天，他预测奥巴马将有90.9%的可能获得大半选举人票

　　他在2008年美国大选中曾准确预测了49个州的选举结果，而2012年的美国大选，他则准确预测了全部50个州的选举结果。34岁的内特希尔沃凭着自己的数学模型打败了所有时政记者、政党媒体顾问和政治评论员。公众沸腾了，媒体称他为超级极客、“算法之神”，并认为其成功让所有书呆子扬眉吐气。

　　准确预测美大选结果

　　内特希尔沃可以说是超级政治明星，他知道自己在说什么。在美国人看来，权威专家一直是拥有合适的发型、洁白的牙齿或者符合保守派观点的人。希尔沃完全不符合这些条件，他有的只是数据，许许多多的数据，而总统大选之夜证实了这些数据的准确性。

　　投票前，许多评论家都认为无法预计哪方会获胜。他们预计本次选举两名候选人的得票率将不相上下。但事实并非如此。结果证明奥巴马和罗姆尼完全不是旗鼓相当，正如希尔沃几个月来的预测。在大选日当天，他预测奥巴马将有90.9%的可能获得大半选举人票，如果按州计算，他准确预测了所有州的选举结果。

　　“你们知道谁是今晚（选举开票夜）的赢家吗？”全国广播公司节目新闻主播自问自答，“是内特希尔沃。”

　　“算法之神”受到狂热追捧

　　推特瞬间沸腾了，各大博客网站也为希尔沃沸腾了。希尔沃的处女作《信号和噪音：预测学的艺术与科学》的销量一夜间增长800%，排到了畅销榜第二位。媒体一致认为本次大选预测的成功并不只是希尔沃个人的胜利，它还使所有书呆子都扬眉吐气。希尔沃凭他的数学模型打败了所有时政记者、政党媒体顾问和政治评论员。

　　希尔沃一点也不像电视新星，也不像《华盛顿邮报》所说的言论界新宠，现年34岁的他反倒更像美剧《超人前传》中克拉克肯特变身前的形象。他谦逊而不招摇，当他低着头拖着步子走进屋里，他似乎对自己被采访而感到尴尬。

　　“整个事情变得有点疯狂，”他说，但他并不认为这种狂热与他有关，“我仿佛具有这种象征性力量，然而人们对我所做事情的推崇远超了我所应得的。我必须首先说明大家应该知道兼听则明，而不是把某个人的意见当成神谕。”

　　然而，这忠告似乎来得有点晚了。大选后的第二天当他出现在《每日秀》脱口秀节目时，节目主持人乔恩斯图尔特称他为“算法之神”，但他的成功故事同时也是个“屌丝逆袭”的故事。

　　选举前的数周，他的批评者们（大多数是不满他预测奥巴马将获胜的保守派们）不仅攻击了他的预测方法，还对他进行了人身攻击。UnSkewedPolls.com的迪安钱伯斯召集人们抵制希尔沃的“巫术数据”，宣称他神志不清并嘲讽他是个矮小瘦弱的娘娘腔。

　　不过从某些角度来说，人们的奉承似乎更难以应付。“奉承的话让我感到紧张，因为我确定我们将会出错。”这里的“我们”指的是他在2007年设立的提供以数据为主的时政分析的博客“FiveThirtyEight”（因538张选举人票总数得名）。2010年，他把博客转移到了《纽约时报》的网站上。

　　希尔沃那界面简陋的博客在大选前为《纽约时报》网站带来了20%的浏览量。如果说希尔沃不是“大数据”超人，那么他肯定是超级极客，也是极客界的偶像级人物。

　　用数学模型分析棒球

　　希尔沃一直是数据的爱好者。“我一直都被人称作书呆子。”他出生于在密歇根州，家乡的棒球队底特律猛虎在他6岁的时候赢得了美国职业棒球全国锦标赛的冠军，而他也是在那个时候接触了各种统计数据并爱上了数据。

　　从芝加哥大学获得经济学学位后，他在专门提供审计、税务和咨询等服务的毕马威公司当了4年顾问，接着，他开始迷上了网络扑克。那时候许多玩网络扑克的人对扑克并没有很多了解，而他却能从他们手中赢钱，这些钱足够让他辞掉工作靠玩扑克养活自己。

　　扑克就像希尔沃生命中的天然磁石，不仅教会了他抓住机遇，还使他明白机遇在人生中扮演怎样的角色。“玩扑克对我而言是最好的训练，我从中学会了怎样衡量新信息的作用，怎样辨别信息的重要性。我们的直觉在分析信息方面并不是十分在行，我们总是倾向于高估新信息的重要性。”

　　希尔沃说：“技巧和运气间存在着微妙而又模糊的关联。赢钱的时候是因为牌技好还是运气好？你永远也不知道。”希尔沃估算他自己当时从网络赌博中赢了有大概40万美元，这些钱足够他去追求他另一项爱好棒球。棒球这项体育运动正在不断地改变中，而希尔沃是最早发现这项运动有数据导向潜在可能性的少数人之一。他后来建立了Pecota网站，该网站建模分析预测美国职业棒球大联盟运动员的职业前景，后来他又把该网站卖给了《棒球简介》。

　　棒球预测就像一场保守的情报员与善于分析数据的新成员之间的斗争，这场斗争后来被迈克尔路易斯在畅销书《点球成金》中记录了下来，后来布拉德皮特主演了同名电影。2007年，希尔沃开始寻找新的契机。

　　担心会在未来影响选情

　　“我当时在寻找像棒球分析那样的，有庞大的数据库而且鲜有竞争者的新领域，就在那个时候我找到了政治这个领域。”起初，他使用笔名“Poblano”。几个月后，他开始使用真名。

　　希尔沃觉得自己当时将已有的数据套用贝叶斯理论，如此一来他将“小有优势”。美国政治领域原本就充斥着许多数据，而他所使用的贝叶斯理论也不是什么尖端科技。英国神父贝叶斯于18世纪初发现了计算有条件的事件发生可能性的贝叶斯理论。

　　希尔沃后来表示同意批评者的观点。他甚至不是唯一一个使用贝叶斯理论分析选情的人，其他分析师也同样有不错的准确度。就其属性来说，政治分析不过是平平无奇的数据分析，希尔沃不过是综合已有的民调结果。然而，希尔沃建模分析的关键却在于如何衡量某一数据的重要性。这些数据在历史上有何作用，又有怎样的偏向性，还有什么别的信息可以借鉴？

　　然而，在政治评论圈里，希尔沃的选情分析却是前所未有地准确。

　　希尔沃不会见说客、党派媒体顾问、竞选经理及新闻发言人之类的人。简而言之，他不是“体制内”的人。美英两国的政治报道就像一个类似垄断集团的体制。在英国，政治圈里弥漫的这种狼狈为奸的氛围是在议员报销丑闻后才受到质疑，而这丑闻则是政治圈外的记者最早曝光的。在美国，希尔沃将政治形容成“交易”。

　　“如果你表现良好，偶尔会得到独家消息，但这不过是许多既得利益间的游戏。我尽量回避和两边的竞选团队打交道，因为他们所给的信息大都是干扰性的噪音。”

　　有意思的是，竞选团队（尤其是奥巴马的团队）本身也清楚数据的重要性。据奥巴马团队的竞选经理吉姆梅西纳称，他们请了一位“首席专家”，目的是“量化一切”。数据告知他们应当关注哪些选民及如何吸引他们。由此看来，希尔沃的技能对竞选活动至关重要。

　　希尔沃认为“书呆子”才是他的“秘密武器”。“我总觉得自己是个局外人。我身边总有朋友，可是我总是有跟他们不一样的观点。我觉得这点很重要。”希尔沃渐渐开始担心：他的能力是否意味着将来他不仅能预测选举结果，还将影响选情。此外，他还担心失去旁观者的优势。“我获得各种机遇，不过我不希望自己堕落或者淹没在体制内。”

　　进军经济新闻预测领域

　　希尔沃正在寻找下一个目标一个拥有许多数据却没有太多竞争对手的领域。他认为经济新闻是一个不错的选择，而地方政府选举则是“难以预测”。几年前他曾经对纽约的社区进行过分析你可以通过自己所关注的因素（例如绿化空间和好学校）结合从市长办公室获得的数据得到个性化的居住社区选择分析。

　　希尔沃在成功预测了2008年美国大选结果（准确预测了50个州中49个州的选举结果）后签下了一份价值70万美元的出版合约，他在书的序言里坦言，与出版社签约的原因是希望他能写出一本“书呆子的胜利”之类的书。但当时没有人能料到他会有多大的成就。不过，当时就连希尔沃自己也不知道这本书会有什么样的反响。

　　“我当时以为这本书会像是介绍婚介网站那样运作之类的书籍。这本书里的确也提到了这些内容，但是更多的是介绍这当中的哲学原理。这本书是关于客观性和现实的主观性的交集。面对一堆数据时，我们经常处理得很糟糕。拥有更多信息并不意味着我们能更好地预测。”

hais

牛人

Diffusion

学游打算换头像了？两个人都玩poker

bububaba

是和学游兄挺像.

ctcld

bububaba 发表于 2012-12-9 06:59 PM
是和学游兄挺像.

我连他一个小指都不如。。。

lite1067

Best of the Month
Amazon's editors selected this title as one of our Best Books of the Month. See our current Editors' Picks.

rightonmoney

这玩意还用数学模型呢？我用大腿都知道结果了。

简而言之，这属于大腿问题，不需要用到大脑。

befriend

quickcow

prediction using baysian model

ranchgirl

quickcow 发表于 2012-12-9 11:24 PM
prediction using baysian model

Many people knows bayesian statistics, but only a few people do it really good.

ranchgirl

Nate Silver
Nathaniel Read "Nate" Silver is an American statistician, sabermetrician, psephologist, and writer. Silver first gained public recognition for developing PECOTA, a system for forecasting the performance ... Wikipedia
Born: January 13, 1978 (age 34), East Lansing
Books: The Signal and the Noise: Why So Many Predictions Fail-but Some Don't
Education: University of Chicago (2000), East Lansing High School, London School of Economics

ranchgirl

lite1067

rightonmoney 发表于 2012-12-9 09:47 PM
这玩意还用数学模型呢？我用大腿都知道结果了。

简而言之，这属于大腿问题，不需要用到大脑。

tell me how to use your 大腿 to correctly predict the election result for all 50 states.

ctcld

lite1067 发表于 2012-12-9 11:14 PM
tell me how to use your 大腿 to correctly predict the election result for all 50 states.

如果说一拍屁股就知天下股事，也不作为奇。。。厚厚

Kami

lite1067 发表于 2012-12-10 12:14 AM
tell me how to use your 大腿 to correctly predict the election result for all 50 states.

这事的确不用特别夸大，多半是卖书的需要，呵呵呵。其实50个州中，根据美国的政治分布情况，有一定变数的只是几个摇摆州，说50个或49个只是凸现小概率和难度，其实如果缩小到几个摇摆州，全猜对或者只错一个就不显得很牛了，在这么多个选情分析师中找出一个猜对的不是什么难事。纽约时报大选前出的一个蓝红图和选后的实际蓝红图几乎一模一样，以至于很多人更加认为美国大选是被操纵的，是事先布局好的，呵呵呵。

用统计作预测的关键是对变量和样本的选择。美国大选前无数的民意调查使得误差小了很多。

文中突出大家预测势均力敌对比他预测的90%的胜率，其实也是偷换概念。美国的政治现实就是基本上一半一半，这从最后的普选票数可以看出来。但是这个一半一半是有那么一半要稍稍多一些，而总统只有一个，这个稍稍多一些的一半赢大选的可能性自然是90%。势均力敌的大选和某方90%的机会当选不矛盾。