1

No siempre lo peor es cierto: estudios sobre historia de España Círculo de Lectores Carmen Iglesias Language: spanish File: EPUB, 1.99 MB 0 / 0

2

中华瑰宝：古典名著插图珍藏（共12册） 岳麓书社 蒲松龄, 沈复, 王国维, 孔子, 孟子, 曾子, 王应麟 Year: 2015 Language: chinese File: EPUB, 111.79 MB 0 / 0

人人都在说谎

——赤裸裸的数据真相





[美]赛思·斯蒂芬斯–达维多维茨 著

胡晓姣 张晨 左润男 译





中信出版集团





目录


序言

绪论

第一部分 大数据，小数据 1 你的直觉出错了



第二部分 大数据的力量 2 弗洛伊德是正确的吗

3 数据重构

4 数字吐真剂

5 放大数据

6 世界就是一个实验室



第三部分 大数据：请小心轻放 7 大数据，大框架？其力有何不能胜

8 数据越多，问题越多？哪些事情不可为



结论

致谢





谨以此书献给





我的父母双亲





序言





许多哲学家曾经猜想有一种“大脑可视仪”，一种可以将一个人的想法呈现在屏幕上的虚构工具。自那时起，社会科学家就一直在寻找可以解读人性的工具。在我作为实验心理学家的职业生涯中，形形色色的工具一时兴起，消失淡去，每一种工具我都尝试过，如评定量表、反应时间、瞳孔放大、功能性神经影像等。我甚至还研究过植入电极的癫痫患者，在两次病发的间歇期，他们很乐意参与语言实验来消磨时光。

然而，这其中却没有任何一种工具能提供大脑活动的直接影像，问题在于这涉及错综复杂的多方面荣誉的许多命题，这些命题即便对一名科学家而言也是难解之题，他要做出一种残忍的取舍。人类思维是一个复杂的命题，与伍迪·艾伦（Woody Allen）速读《战争与和平》不同，我们不仅仅认为“这本书讲述了一些俄国人的故事”。当然，在人们倾吐心声的时候，我们可以察觉到其意识流的丰富性，但独白并不是检验假设的理想数据集。另外，虽然专注于容易量化的方法，比如人们对文字的反应时间或看到图片时皮肤的反应，我们可以进行统计，但这样我们就将认知的复杂结构简化成单纯的数字了。即便是最复杂的神经影像学方法也只能告诉我们一个想法在三维空间中是如何展现出来的，却无法告诉我们这个想法是由什么组成的。

仿佛这个易操作性和丰富性之间的取舍还不够糟糕一般，许多研究人性问题的科学家当下正备受“小数定律”（Law of Small Numbers）的困扰。小数定律是阿莫斯·特沃斯基（Amos Tversky）和丹尼尔·卡尼曼（Daniel Kahneman）用来指代思维错误的术语，即人们错误地认为无论样本数量多么少，都能反映群族的特征。最具科学素养的科学家也有直觉出现严重偏误的时候。他们凭直觉推断完成一项研究需要有多少门学科的加入，可此前他们压根儿没有从一堆随机数据中排除异常及相悖的因素，也没有采集能代表全体美国人的数据，更不用说代表全人类了。若样本是以便利抽样的方式（比如给参与我们项目的大二学生发点儿零花钱）搜集而来的话，其可信度就更低了。

这本书介绍了一种研究思维的全新方式。尽管来自网络搜索和其他在线回应的大数据并非“大脑可视仪”，但赛思·斯蒂芬斯–达维多维茨表示，这些数据为窥视人类心灵提供了前所未有的机会。凭借网络对隐私的保护，人们敢于坦陈最奇怪的事，有时候（比如浏览婚恋网站或寻求专业咨询时）是因为这些事会对现实生活产生一定的影响，但更多的时候正是因为在网上坦陈这些事不会产生什么影响：人们可以卸下心防，放下些许希望或恐惧，同时也不会有人因此感到沮丧或不适。无论采取哪种方式，人们所做的都不仅仅是按下一个按钮或旋转一个把手那么简单，而是键入数万亿个字符来表达自己心中不吐不快、情绪万千的许多想法。更方便的是，人们以一种方便汇总和分析的形式规定了这些数据痕迹。这些人来自各行各业，可以参与那些不那么引人注目的实验，这些实验可以使刺激因素多样化，并且将多种反应制作成实时表格。这些人很乐意提供这些规模庞大的数据。

《人人都在说谎》一书远不止证明一个概念。斯蒂芬斯–达维多维茨的发现一次又一次地颠覆了我对自己的国家和族群的认知。特朗普意想不到的支持从何而来？1976年，安·兰德斯（Ann Landers）曾经问过她的读者有没有后悔生孩子，她震惊地发现多数人确实后悔过。当时她是否被不具代表性的自选样本误导了呢？互联网应该对21世纪第二个10年后期出现的那次多余起名的危机（即“过滤气泡”[1]危机）负责吗？是什么激发了仇恨犯罪？人们会通过笑话振作精神吗？尽管我一心认为没有什么可以令我吃惊，却还是被互联网披露的人类性需求（包括一定数量的女性每个月都会在网上搜索“和毛绒玩具滚床单”这一发现）惊到了。采用反应时间、瞳孔放大或功能性神经影像等工具的实验中没有一项能反映这样的事实。

每个人都会喜欢这本书。赛思·斯蒂芬斯–达维多维茨用他的好奇心和智慧为21世纪的社会科学指出了一条新道路。有这样一扇散发着无限魅力，能够窥视人类内心喜好的窗户，谁还需要大脑可视仪呢？

——斯蒂芬·平克（Steven Pinker），2017年


1 “过滤气泡”是指在算法推荐机制下，高度同质化的信息流会阻碍人们认识真实的世界。——编者注





绪论





改革概述


人们说，他必败; 无疑。

2016年美国共和党初选时，民意调查专家断定特朗普毫无胜算，毕竟特朗普曾冒犯过不少少数群体。民意调查结果显示，几乎没有任何一个美国人赞成这样的行径。

当时，大多数民意调查专家认为特朗普会在普选环节败北。很多拟投票的选民说，考虑到特朗普的言行，他们最终放弃投票。

但当时确实有一些迹象表明特朗普有可能赢得党内初选以及普选——这些迹象源于网络。



我是一名互联网数据专家，每天都会跟踪记录人们浏览网页时留下的数据痕迹。根据人们点击的频度，我努力解读他们真正想要的、真正要做的和他们的真面目。下面我来解释一下我是如何走上这条不寻常之路的。

说来话长（这样一讲，好像是几个世纪前的事了），事情要从2008年总统大选和那个社会科学界争论已久的问题说起：在美国，种族偏见到底有多大的影响？

奥巴马当年是以美国主要政党中第一位非洲裔美国总统候选人的身份参与竞选的。他赢得非常轻松。民意调查结果显示，种族并不是影响美国人投票的因素之一。例如，盖洛普民意测验公司（Gallup）在奥巴马初选前后进行了多次民意调查，结论是什么？美国选民多半不在意奥巴马是黑人。[1]选举结束后不久，加州大学伯克利分校的两位知名专家使用更加复杂的数据挖掘技术（data-mining techniques）研究了其他调查数据并得出了相似的结论。[2]

而且，在奥巴马任职期间，这也成了许多媒体和众多科研院所的共识。媒体和社会科学家80多年来一直用于了解这个世界的信息资源告诉我们，在判断奥巴马应不应该成为总统时，绝大多数美国人根本不在意他是黑人。

这个国家曾因奴隶制度和种族隔离法而长期备受诟病，如今貌似终于不再以肤色来评判一个人了。这似乎表明种族歧视在美国已经穷途末路了。事实上，有些专家甚至宣称我们已生活在后种族社会（post-racial society）了。[3]

2012年，当时还是一名经济学研究生的我，对生活感到十分迷茫，对经济学领域的研究也失去了热情，我自信（甚至有些自大）对世界的运作方式和人们在21世纪的所思所虑都有着深刻理解。涉及种族偏见问题时，基于对心理学和政治科学领域的了解，我相信显性种族主义（explicit racism）仅仅局限于极少数美国人——其中大多数人是保守的共和党人，且大都居住在南方诸州。

然后我发现了谷歌趋势（Google Trends）。

2009年，谷歌隆重推出一款数据挖掘工具——谷歌趋势，它可以告诉使用者任何一个词语或短语在不同时间、不同地点的使用频率。谷歌趋势的宣传定位是一种有趣的工具——也许是因为它可以让朋友之间讨论哪位明星最受欢迎，什么样的潮流一下子火了起来。这一工具最初的几个版本还包括一句幽默的警告：人们应该“不想借助这一数据撰写博士学位论文”。这句话立刻激发了我依靠这些数据完成学位论文的积极性。[4]

当时，对“正派”学术研究来说，谷歌搜索数据似乎并不是恰当的信息来源。与调查不同，谷歌搜索数据的创建并非用于帮助我们了解人类的心灵。人们发明谷歌，是为了了解世界，而非让研究人员了解人类，不过最终结果却是我们上网探求知识时留下的痕迹遭到了很大程度的暴露。

换句话说，人们搜寻信息这一行为本身就是信息。事实证明，他们何时何地搜寻真相、格言、笑话、地点、人物、事件或帮助，可以在很大程度上反映他们真实的想法、欲望、恐惧和职业，其程度之高是任何人都想象不到的。尤其是人们向谷歌坦陈“我恨我的老板”“我喝醉了”“我爸爸打了我”等心境时更是如此。

把词语或短语输入一个小小的白色长方形对话框这一日常行为总会留下关于真相的蛛丝马迹：这个细微的痕迹重复出现数百万次，最终一定会揭示许多深刻的现实问题。我在谷歌趋势输入的第一个词语是“上帝”，我了解到，使用谷歌搜索提及“上帝”一词最多的州有亚拉巴马州、密西西比州和阿肯色州，即《圣经》地带（the Bible Belt），而那些搜索大多发生在周日。这都不足为奇，但有趣的是，搜索数据可以揭示这样一种清晰的模式。我试着搜索了“尼克斯队”，结果显示搜索次数最多的地区是纽约市。这也是毫无疑问的。接着，我又输入了自己的名字，谷歌趋势提示我“很抱歉，搜索量不足”，无法显示结果。因此，我了解到只有在很多人做过相同的搜索之后，谷歌趋势才会提供数据。

谷歌搜索的功能不是告诉我们上帝在南方很受欢迎，不是尼克斯队在纽约市很受欢迎，也不是我在哪儿都不招人待见。任何一项调查都可以反映上述事实。谷歌数据的功能在于，人们会向这个巨大的搜索引擎倾吐他们不会告诉任何人的事情。

就以性（在本书后文中会深入探讨这个话题）为例。那些调查并不足以反映人们性生活的实际状况。我分析过综合社会调查的数据，这项调查被视为反映美国人行为的最具影响力和权威性的信息来源之一。[5]根据这项调查，谈及异性性行为时，女性会说她们平均每年有55次性行为，其中16%的情况下使用安全套。据此，每年安全套的使用量会多达11亿个。有异性性行为的男性则说，他们每年一共使用16亿个安全套。这两个数字本应是一致的。那么，谁说的是实话呢，男性还是女性？

结果显示他们都没有说实话。根据追踪消费者行为的全球信息与计量公司尼尔森市场调查公司（Nielsen）的数据，每年安全套的销量尚不足6亿个。[6]因此，人人都在说谎，唯一的不同就是说谎程度的大小。

事实上，说谎是一种普遍行为。未婚男性称他们每年人均使用29个安全套，这一数据合计要比美国已婚人士和单身人士这两个人群每年人均购买的安全套总和还要多。已婚人士也夸大了他们的性行为次数。平均而言，65岁以下的已婚男性告诉调查人员他们每周有一次性行为，只有1%的人说他们去年一整年都没有发生性行为。已婚女性称她们的性行为次数要少一点，但也不会少很多。

谷歌搜索为我们呈现了一幅婚内性行为的图像，虽然没那么生动，但我认为其更加确切。在谷歌上，网民对婚姻抱怨最多的就是没有性生活。“无性婚姻”的搜索量要比“不愉快婚姻”多3.5倍，比“无爱婚姻”多8倍。甚至连未婚情侣也会不时抱怨没有性生活。谷歌上“无性关系”的搜索量仅次于“虐待关系”。（需要强调的是，这个数据来源是完全匿名的。当然，谷歌不会公布任何有关特定个体信息搜索的数据。）

谷歌搜索也曾呈现过一幅有关美国的图像，这幅图像与那些调查勾勒出的后种族乌托邦图景有着天壤之别。我还记得自己第一次在谷歌趋势中输入“黑鬼”一词时的情形。我知道这样做很幼稚。鉴于该词有着极端负面的含义，当时我以为相关搜索量肯定很少。可我错了。在美国，“黑鬼”一词或其复数“黑鬼们”的搜索量与“偏头痛”“经济学家”“湖人队”这类词大致相同。我曾怀疑，是不是对说唱歌曲歌词的搜索影响了该结果？事实并非如此。说唱歌曲中使用的词语几乎都是“黑人”。那么，美国人搜索“黑鬼”一词的动机到底是什么呢？他们通常是为查找嘲笑非洲裔美国人的笑话才搜索该词的。事实上，对“黑鬼”的搜索中20%都包含“笑话”一词。其他常见的搜索还包括“愚蠢的黑鬼”和“我讨厌黑鬼”等。

每年这样的搜索有数百万次之多。许多美国人都曾在自己家中做过此类具有种族主义性质的查询。我研究得越多，得到的信息就越令人不安。

在奥巴马首次胜选之夜，大多数评论都在赞扬奥巴马或宣扬其当选的历史性意义，但约有1%的包含“奥巴马”一词的谷歌搜索包含“kkk”[7]或“黑鬼（们）”。可能这个百分比听起来不是那么高，但是请想想人们搜索这个家庭美满的年轻外来者、这个即将接手美国最具权势的职位的人所给出的万般非种族主义的理由吧。胜选之夜，在美国拥有超高人气的白人民族主义者网站——“风暴前线”（Stormfront）的搜索量和注册量要比平常多10倍。[8]在某些州，“黑鬼总统”的搜索量要多于“首位黑人总统”。[9]

这样一种黑暗及仇恨心理在传统媒体上已遁于无形，而在人们创建的搜索网站上则显露无遗。

那些搜索和一个种族主义并非主导因素的社会显得格格不入。2012年，我所知道的特朗普多以商人和真人秀演员的身份示人。同其他所有人一样，当时的我并不曾料到他在4年后竟会成为一名一本正经的总统候选人，但那些丑恶的搜索行径和一名经常迎合民众最卑劣倾向的候选人的成功并不违和。（比如他成功打压了移民，成功发泄了内心的愤怒和怨恨。）



谷歌搜索还告诉我们，我们关于种族主义盛行地区的很多想法是错误的。研究调查和传统观念都想当然地认为现代种族主义的重灾区主要是美国南方，并且支持者大多是共和党人，但事实上种族主义搜索率最高的地方包括纽约州北部、宾夕法尼亚州西部、俄亥俄州东部、密歇根州工业区和伊利诺伊州郊区，以及西弗吉尼亚州、路易斯安那州南部和密西西比州。谷歌搜索数据表明，种族主义的正确划分模式不是美国南方与北方，而是东部与西部，在密西西比州以西绝不会碰到这类事情，而且种族主义倾向也并不仅仅局限于共和党人。事实上，共和党人占多数的地区对种族主义的搜索频度并不比民主党人占多数的地区高。换句话说，谷歌搜索帮我们绘制了一幅美国种族主义新的分布图——这幅分布图看起来可能与你所想的大相径庭（见图0–1）。美国南方的共和党人也许更有可能承认自身的种族主义倾向，而很多来自美国北方的民主党人也持相似的态度。





图0–1 种族主义搜索量分布图





事实证明，4年后，这幅分布图对解释特朗普在政治上的成功意义重大。

2012年，我正是凭借自己此前依靠谷歌搜索数据开发而来的这幅种族主义分布图准确地重新评估奥巴马所代表的种族扮演的角色。数据一目了然。在美国种族主义搜索量很大的地区，奥巴马比白人民主党总统候选人约翰·克里（John Kerry）4年前的表现要差很多。这些地区的任何其他因素，包括教育水平、年龄、教会参与度、枪支持有状况，都无法解释个中缘由。种族主义搜索并不能预言任何其他民主党候选人会有糟糕的表现，唯独对奥巴马有用。

这样的结果意味着该因素影响极大。仅仅因为显性种族主义，奥巴马在全美就损失了将近4个百分点的支持率。这个数字要比基于任何调查所能预料的结果都高太多了。当然，凭借某些对民主党而言得天独厚的条件，奥巴马成功当选总统并顺利连任，但是和任何一个依靠传统数据源取得这一成功的人（也就是所有人）相比，他必须要克服更多困难。在流年不利的情况下，足够多的种族主义者会帮助民主党候选人赢得初选，甚至会使大选结果出现反转。

我的这项研究起初曾被5家学术期刊拒之门外。[10]现在回想起来，我依然觉得有些气恼。多位审稿人都说，他们无法相信有如此多的美国人怀有这样恶毒的种族主义思想。这种观点与人们一直以来的说法明显不符。此外，谷歌搜索似乎就是这样一个奇怪的数据集。

既然我们已经见证了特朗普的总统就职典礼，我的发现似乎就更具说服力了。



研究越深入，我就越清楚谷歌搜索网站有很多投票遗漏的信息，这些信息恰恰有助于在其他各主题下了解选举。

有些信息是关于最终谁会投票的。超过半数本不会投票的人在选举即将开始时告诉调查人员，他们想要参与投票，成心扰乱我们对投票结果的预估。然而，在选举开始的几周前，仅凭“如何投票”或者“去哪儿投票”的搜索结果就可以准确预测全美哪些地区将在投票站有大动作。

甚至还可能有关于选民会给谁投票的信息。仅凭人们的搜索内容，真的可以预测他们会为哪位候选人投票吗？很显然，我们不能只研究哪位候选人的搜索频率最高。加州大学洛杉矶分校的金融学教授斯图尔特·加布里埃尔（Stuart Gabriel）说，很多人搜索某位候选人是因为喜爱他，但是有几乎同等数量的人搜索某位候选人是因为讨厌他。我也发现了一条关于人们计划如何投票的惊人线索。有很大一部分与选举相关的搜索中都包含两位候选人的姓氏。2016年特朗普和希拉里·克林顿竞选期间，有些人搜索了“特朗普 克林顿 投票”，有些人则通过搜索“克林顿 特朗普 辩论”查找两人辩论的花絮。事实上，在对“特朗普”的搜索中，有12%包含“克林顿”一词；而在对“克林顿”的搜索中，包含“特朗普”一词的比例超过1/4。

我们发现，这些看似中立的搜索信息很可能会为我们提供哪位候选人更受选民支持的线索。

如何提供呢？当然是看候选人姓氏出现的顺序。我们的研究表明，在一条包含两位候选人姓氏的搜索中，选民更有可能将其支持的候选人姓氏放在前面。

之前的三次总统选举中，候选人在搜索中姓氏排在前面的概率越大，其得票率也就越高。更有趣的是，候选人姓氏的搜索顺序居然可以预见某一特定州将会支持谁。

候选人姓氏的搜索顺序似乎也包含投票可能遗漏的信息。2012年奥巴马和共和党候选人米特·罗姆尼（Mitt Romney）竞选期间，身为资深统计学家及记者的纳特·西尔弗（Nate Silver）就曾准确预测全美50个州的投票结果。我们发现，有些州的民众在搜索中常常把“罗姆尼”放在“奥巴马”之前，而罗姆尼在这些州的表现实际上要比西尔弗此前的预测好很多；在那些常把“奥巴马”放在“罗姆尼”之前进行搜索的州，奥巴马的表现也比西尔弗预测的好。

这一指标也可能包含投票遗漏的信息，因为选民要么是言不由衷、自欺欺人，要么是不愿向民意调查专员吐露自己的真实偏好。也许如果他们2012年称自己尚未决定，却一直在搜索“罗姆尼 奥巴马 投票”“罗姆尼 奥巴马 辩论”“罗姆尼 奥巴马 选举”，那么其实他们自始至终都打算把票投给罗姆尼。

那么，谷歌预测过特朗普会赢得选举吗？其实在了解如何利用谷歌搜索最精准地预测选举结果之前，我们还有很多工作要做，而我也需要更多研究人员的加入。这是一种新型科学，而且我们只有为数不多的选举数据可供分析。当然，我不是说我们眼下（或将来）可以将民意调查这一工具放心大胆地用来辅助选举结果预测。

但是，互联网上有多种征兆表明，特朗普的表现有可能比民意调查的预测要好。

大选期间，有线索表明选民可能更倾向于支持特朗普。非洲裔美国人告诉民意调查人员，他们中的大多数人很可能会反对特朗普，但是谷歌搜索中非洲裔美国人聚居区投票的信息量一路走低。可大选那天，因非洲裔选民投票率低而受损的人却是希拉里·克林顿。

当时甚至还有迹象表明摇摆选民（undecided voters）可能会选择支持特朗普。我和加布里埃尔发现，在美国中西部的几个关键州，“特朗普 克林顿”的搜索量要多于“克林顿 特朗普”，而这几个关键州本来是希拉里·克林顿十拿九稳的。事实上，特朗普之所以能赢得选举，就是因为赢得了那几个关键州的支持。

但我认为，特朗普在初选中一路高歌奏凯，也许可以证明他是位成功的候选人的主要线索，便是我在对奥巴马的研究中所发现的暗藏的种族歧视。谷歌搜索揭示出很大一部分美国人都有的黑暗和仇恨心理，而这些则是权威人士多年来一直忽略的部分。搜索数据显示，我们所生活的社会与那些学术界人士和新闻工作者（依据民意调查）所认定的那个社会有着天壤之别。数据显示，民众内心有着卑鄙险恶、提心吊胆而又迅速蔓延的愤怒情绪，亟待某位候选人代为表达。

人们常常说谎，对自己说谎，也对别人说谎。2008年，许多美国人告诉民意调查人员，他们早已不在意种族了。8年后，他们却把特朗普选为总统，而这位先生曾在其推特上转发过一条错误言论——黑人要为美国白人的大多数谋杀行为负责；他还曾在一次集会上为其支持者辩护，这些支持者此前殴打了一名参与“黑人的命也是命”的抗议者；他也曾在否认接受过三K党某前领导人的支持时支支吾吾。同是暗流涌动的种族主义，刺伤了当日的奥巴马，却成就了今天的特朗普。

总统初选之初，纳特·西尔弗曾高调宣称特朗普根本没有机会赢得大选。然而，随着选举的不断推进，形势也变得越来越明朗：特朗普得到了广泛的支持。于是，西尔弗决定查看数据，看自己能否搞懂当时是什么情况。特朗普怎么会表现如此抢眼呢？

西尔弗注意到特朗普表现极佳的那些地区共同构成了一幅奇怪的地图（见图0–2）。特朗普在东北部、中西部和南方地区都表现得很好，在西部地区却表现得非常糟糕。西尔弗找了很多因素试图解释这幅地图。是因为失业、宗教、枪支持有、移民率，还是因为特朗普反对奥巴马？

西尔弗发现，与特朗普在共和党内初选时的支持率相关度最高的因素居然是我在4年前的一项发现。[11]特朗普拥趸最多的地区就是“黑鬼”一词的谷歌搜索量最多的地区。[12][13]





图0–2 特朗普共和党内初选支持区域分布图





过去4年里，我每天都在分析谷歌数据。谷歌公司了解到我的种族歧视研究后，还聘我做了一段时间数据专家。而今，我继续作为专栏作家和数据记者为《纽约时报》考察这一数据。几年来的新发现所涉甚广：精神疾病、人类性行为、虐待儿童、人工流产、广告活动、宗教信仰、健康问题，等等。这些话题其实都很大，而这个几十年前并不存在的数据集，短短几年内便为我们提供了看待前述所有话题的全新视角，不可谓不惊人。经济学家及其他社会科学家一直在搜寻新的数据源，毫不客气地说，我确信谷歌搜索数据绝对是有史以来搜集到的人类心理数据集中最出色的一个！

然而，这一数据集并非互联网为当代人提供的了解世界的唯一一种工具。我很快就意识到还有其他数据金矿可挖。我下载了维基百科的全部内容，钻研了脸谱网上的所有资料，挖空了白人民族主义者网站“风暴前线”上的信息。此外，互联网上最大的色情网站之一也提供了全世界匿名人士的搜索和视频播放量的完整数据。也就是说，我早已深入了解现今所谓的“大数据”。不仅如此，我还采访了许多人，如学术界人士、新闻工作者和企业家等，他们也在探索这一新领域。对于他们的许多研究，本书会做讨论。

首先，我得承认我无法准确定义究竟什么是大数据。为什么？因为这本来就是一个模糊的概念。多大才算大？如果18 462个观测值是小数据，那么18 463个就算大数据吗？我更愿意采取一种包容性观点为其下定义：尽管我摆弄的数据大多来自互联网，但我也会考虑其他渠道。我们正在经历各种可用信息数量和质量的双重激增。很多新信息都是从谷歌网站和社交媒体流出的，其中一些是从前尘封于档案柜中的信息经过数字化之后形成的产品，还有一些源自那些致力于市场研究的新资源。本书中的一些研究完全没有使用大的数据集，而是使用一种全新的创造性数据研究法，这种方法在信息过剩的时代是至关重要的。

那么，到底为什么大数据如此强大呢？想想某一天散布在网上的所有信息吧——事实上，对于这样的信息有多少，我们是有一个确切数字的。在21世纪之初的平常日子里，人类每天可以产生2.5×1018字节的数据。[14]

这些字节就是线索。


一个女人在某个周四下午倍感无聊，便用谷歌搜索更多的“有趣的素笑话”。她查看邮件，登录推特，然后用谷歌搜索“黑人笑话”。

一个男人心情不大好，便用谷歌搜索“抑郁症状”和“抑郁故事”。他还玩纸牌游戏。

一个女人在脸谱网上看到朋友发布的订婚消息，而她还单身，于是她屏蔽了这位朋友。

一个男人先是用谷歌搜索国家橄榄球联盟和说唱音乐，然后又问了搜索引擎一个问题：“梦到男人和男人接吻正常吗？”

一个女人点击网站BuzzFeed上“15只最可爱的猫”的故事。

一个男人看到了同一个关于猫的故事，但他的屏幕上显示的是“15只最乖巧的猫”，他没有点击。

一个女人用谷歌搜索“我的儿子是天才吗”。

一个男人用谷歌搜索“如何让我的女儿减肥”。

一个女人正和6个最好的女性朋友度假，所有的朋友都在说她们玩得有多开心，只有她偷偷离开，用谷歌搜索“丈夫不在身边的孤单”。

前面那个女人的丈夫也在和6个最好的男性朋友度假。他偷偷溜出来，用谷歌搜索“妻子出轨的迹象”。




这些数据中有一部分包含原本不会被任何人接收的信息。如果把这些信息整合起来，使之保持匿名状态以确保我们永远不会知晓任何特定个体的恐惧、欲望及行为，再加上数据科学，我们就会对人类有一个新的认识——他们的行为、他们的欲望和他们的本性。事实上，尽管听起来有夸大其词的风险，但我越来越相信，数字时代日益普及的新数据将大大拓展我们对人类的理解。我们以为自己看清了一滴池水，可显微镜却为我们展示了更多；我们以为自己看尽了夜晚的天空，可望远镜却为我们展示了更多；我们以为自己看懂了人类社会，可如今的数字数据却为我们展示了更多。这些数据也许就是我们这个时代的显微镜或望远镜吧——有了它们，人们才有可能提出重大乃至具有革命性的见解。

发表这样的言论不仅有夸大其词之嫌，而且有另一重风险——赶新潮。很多人都曾对大数据的影响做过很高的评价，但是他们缺乏证据。

这导致为数众多的大数据怀疑者对更大数据集的搜索不予理睬。作家兼统计学家纳西姆·塔勒布（Nassim Taleb）曾写道：“我不是说大数据中没有信息，事实上它包含很多信息，但问题是，提取信息比大海捞针还难，而这也是主要问题。”[15]

因此，本书的主要目标之一，便是要就大数据能做什么这一问题提供一些缺失的证据。如果你愿意在海里捞针，本书就会告诉你如何才能在越来越广阔的海域里捞到那根针。我希望可以提供足够多的大数据案例，为人类心理及行为提供新的见解，如此一来，你就会逐渐看到真正具有革命性的事物的轮廓。

你现在可能会说：“等一下，赛思，你是说会有一场革命？！你这是在粉饰这些新的大数据集。到目前为止，你只用所有这些惊人的、非凡的、振奋人心的、开天辟地的数据主要告诉了我两件事：第一，美国有很多种族主义者；第二，人们（尤其是男人）夸大了他们的性行为次数。”

我承认，有时候新数据只是证实了显而易见的事情。如果你认为这些发现是显而易见的，等你读到本书第4章，我会向你展示谷歌搜索中条理分明而又无懈可击的证据，证明男人对自己的阴茎大小极为关注且有不安全感。等着吧，到那时你就会明白了。

可以这么说，证明那些你本就怀疑却缺乏证据的事情不可谓没价值，但怀疑某事是一回事，证明它又是另一回事。如果所有大数据能做的只是证实你的怀疑，那么这些数据也就不会那么具有革命性了。幸运的是，大数据能做的远不止于此。数据一次又一次向我证明，这个世界的运转方式与我之前的猜测恰恰相反！这里有一些例子，可能会令你感到更惊讶。

你可能会认为种族主义产生的主要原因是经济的不安全性和脆弱性。你可能会很自然地认为，一旦人们失去工作，种族主义就会加重。实际上，无论是种族主义搜索量还是“风暴前线”的会员数，都不会在失业之际走高。[16]

你可能会认为，在过度教育的大城市中，人们的焦虑程度最高，城市神经质就是一个著名的刻板印象，但是，用谷歌搜索“焦虑症”或“焦虑救助”的结果反映出，在教育水平较低、家庭平均收入较低、农村人口密度较大的地区，焦虑程度更高。[17]纽约州北部地区对焦虑的搜索率比纽约市更高。

你可能会认为，造成几十人甚至数百人伤亡的恐怖袭击过后，紧随而来的便是迅速蔓延的重度焦虑情绪。从定义来看，恐怖主义应该会引起恐惧感。我查看了反映焦虑的谷歌搜索，测试了一个国家自2004年以来在欧美国家所有重大恐怖袭击事件后的几天、几周和几个月内此类搜索的增长量。与焦虑有关的搜索平均增长量是多少呢？结果是，根本就没增长！

你可能会认为，人们心情低落时搜索笑话的概率更大。[18]历史上很多伟大的思想家都曾说过，人类总会用幽默来缓解痛苦。幽默感一直以来都被视为应对生活中的沮丧、痛苦和不可避免的失望的方法。正如卓别林所言：“笑声是滋补品，是缓解和去除痛苦的灵药。”

然而，在人们认为最不开心的周一，笑话搜索量却是一周中最少的，阴雨天的相关搜索量也是所有天气中最少的。重大悲剧发生时，例如2013年波士顿马拉松比赛期间，两颗炸弹造成三人死亡、数百人受伤后，笑话的搜索量也会骤降。实际上，人们在生活平顺（而非不顺）时搜索笑话的可能性更大。

有时一个新的数据集会展现我想都不曾想过的行为、欲望或担忧，很多性癖好就属于这种类型。例如，在印度以“我丈夫想要……”为开头的搜索中，数量最多的是“我丈夫想要我给他喂奶”，这一点过去你知道吗？[19]在印度，这类表达要比其他国家多得多。除此之外，在印度和孟加拉国，女人给男人喂奶这类色情描述的搜索量要比全球其他国家多4倍。[20]在看到数据之前，我是无论如何也不会想到这一点的。

男性对自己的阴茎大小耿耿于怀这一事实也许还可以理解，但女性对自己身体最大的不自信之处（按谷歌搜索来看）就很匪夷所思了。基于这项新数据，与男性介意自己的阴茎大小一样，女性可能担忧的是——卖个关子——自己的阴道是否有异味。女性与男性因对自己的私处心存隐忧而进行的搜索，在量上是基本持平的，只不过女性搜索率最高的是气味（以及如何改善异味）。在看到数据之前，我对此当然是一无所知的。[21]

有时新数据会体现我从前不曾考虑过的文化差异。例如，全世界男人对于妻子怀孕一事的反应截然不同。在墨西哥，与“我怀孕的妻子”相关的搜索词条中排名前两位的是“对怀孕的妻子说的情话”和“为怀孕的妻子作的诗”。[22]在美国，搜索量最多的词条包括“我妻子怀孕了，现在怎么办”和“我妻子怀孕了，我该做什么”。

尽管包含很多奇怪的事实和一次性研究，但本书绝非这些内容的简单拼凑。因为这些方法很新颖，而且只会变得更强大，所以我会提出一些观点，阐明这些方法该如何发挥作用，以及是什么令其具有开创性。当然，我也会坦承大数据的诸多局限。

不少人对数据革命的潜力怀有热情，但其中一些人的确有些跑偏。大多数倾心于大数据的人总会滔滔不绝地说这些数据集会变得多么多么巨大，这种对数据集大小的执着已经不是什么新鲜事了。在谷歌、亚马逊和脸谱网之前，在“大数据”一词出现之前，一场关于“大而复杂的数据集”的会议就曾在得克萨斯州达拉斯市拉开帷幕。而今，斯坦福大学统计学教授（也是我在谷歌工作时的同事）杰里·弗里德曼（Jerry Friedman）回想起1977年召开的那次会议。一位杰出的统计学家想站起来讲话，他会说自己已经积累了惊人的5GB[23]数据。又一位著名的统计学家紧接着会站起来说：“上一位发言者说有GB级的数据。那有什么，我有TB[24]级的数据！”换句话说，这场谈话的重点是你能积累多少信息，而不是你希望用这些信息来做什么，或者你打算回答什么问题。弗里德曼说：“当时我觉得很有趣，好像我们该记住的就是他们的数据集有多大。这样的事至今还在发生！”[25]

今天仍有很多数据科学家正在积累大量的数据集，却很少阐明其重要性。（尼克斯队在纽约很受欢迎的相关数据便是一例。）太多的企业被淹没在数据中，它们有TB级的数据，却很少有主见。我认为数据集的大小总会被高估。对此，还有一个很微妙却很重要的解释，即一种事物的影响越大，有必要观察它的次数就越少。你只需要触碰一次高温火炉就会意识到它很危险，但是你可能需要喝数千次咖啡才能确定它是否会让你头痛。哪个教训更深刻呢？显然是高温火炉，由于其影响很大，烫手的火炉会在你的意识中迅速闪过，只留下非常少的数据。

事实上，最明智的大数据公司常缩减其数据。在谷歌公司，很多重大决定都是基于其全部数据中极少量的样本做出的。[26]你不见得总是需要大量的数据才能得到重要的发现，你需要的是正确的数据。谷歌搜索如此有价值的一个主要原因不是这些数据的量有多大，而是人们对谷歌很诚实。人们会对朋友、爱人、医生、调查人员乃至他们自己说谎，但在谷歌网站，他们可能会分享令人尴尬的信息，比如他们的无性婚姻、心理健康问题、不安全感和对黑人的仇恨等。

最重要的是，为了从大数据中获得见解，问题必须问到点上。正如你不能随意用望远镜望向夜空就发现冥王星一样，你也不能下载一大堆数据就指望可以发现人性的秘密。你必须查找有希望的地方，比如在印度以“我丈夫想要……”为开头的谷歌搜索。

本书将会展示如何最合理地使用大数据，并详细解释大数据为什么会这么强大。与此同时，你也会了解我和其他人使用大数据得到的发现，包括：


•有多少男性是同性恋者？

•广告起作用了吗？

•为什么“美国法老王”（American Pharoah）是一匹著名的赛马？

•媒体有偏见吗？

•弗洛伊德式失言（Freudian slips）[27]是真的吗？

•谁逃税了？

•去哪儿上大学重要吗？

•你能掌控股市吗？

•哪里是抚养孩子最好的地方？

•是什么让一个故事人尽皆知？

• 如果你想要第二次约会，那么你应该在第一次约会时说什么？

……




在探讨这些话题之前，我们需要讨论一个更加基本的问题：我们到底为什么需要数据？为此，我会向各位介绍一下我的祖母。


1 Katie Fretland,“Gallup: Race Not Important to Voters,” The Swamp, Chicago Tribune, June 2008.



2 Alexandre Mas and Enrico Moretti,“Racial Bias in the 2008 Presidential Election,”American Economic Review 99, no. 2 (2009).



3 2009年11月12日，卢·多布斯（Lou Dobbs）在其节目上说，我们生活在一个“后党派及后殖民主义社会”。2010年1月27日，克里斯·马修斯（Chris Matthews）则在他的节目中称：“各种迹象都表明，奥巴马总统已经超越了种族。”其他例子参见Michael C. Dawson and Lawrence D. Bobo,“One Year Later and the Myth of a Post-Racial Society,”Du Bois Review: Social Science Research on Race 6, no. 2 (2009)。



4 我的数据有很大一部分都源于谷歌趋势。然而，由于该方法只允许比较不同搜索的相对频率，无法报告任何特定搜索的绝对数量，因此我常使用谷歌广告关键词（Google Adwords）加以辅助，这一搜索方式能准确报告每种搜索的频率。在大多数情况下，我也能够利用自己基于谷歌趋势的算法来锐化图片。有关这一点，我在我的博士学位论文《使用谷歌数据的论文》（Essays Using Google Data）和在《公共经济学》（Journal of Public Economics）上发表的论文《种族敌意对黑人候选人的影响：使用谷歌搜索数据的证据》（The Cost of Racial Animus on a Black Candidate: Evidence Using Google Search Data）中做过论述。我的博士学位论文、论文链接以及对本书提及的所有原始研究使用的数据和代码的完整解释都可参阅我的个人网站sethsd.com。——作者注



5 所有计算的详细信息请参见我的个人网站sethsd.com中标名为“Sex Data”（性数据）的文件，也可查阅网址http://gss.norc.org/获取综合社会调查的数据。



6 笔者获取的数据。



7 kkk即三K党，是美国历史最悠久、最庞大的种族主义组织。——编者注



8 笔者对谷歌趋势数据的分析。同样，我也获取了“风暴前线”全部用户的相关数据，相关讨论详见Seth Stephens Davidowitz,“The Data of Hate,”New York Times, July 13,2014, SR4。相关数据可从我的个人网站sethsd.com中标名为“Stormfront”的数据区下载。



9 笔者对谷歌趋势数据的分析。这一分析适用于肯塔基、路易斯安那、亚利桑那及北卡罗来纳等各州。



10 文章最终还是发表了，详见Seth Stephens-Davidowitz,“The Cost of Racial Animus on a Black Candidate: Evidence Using Google Search Data,”Journal of Public Economics 118 (2014)。关于这项研究的更多详情都能从该文中找到。此外，也可从我的个人网站sethsd.com中标名为“Racism”（种族主义）的数据区获取相关信息。



11 2016年2月28日的一条推文称：“我发现与支持特朗普相关性最强的就是在谷歌网站搜索n开头的单词，其他人也这样说。”也可参见Nate Cohn,“Donald Trump’s Strongest Supporters: A New Kind of Democrat,”New York Times, December 31, 2015, A3。



12 这也显示了谷歌搜索中含“黑鬼”一词的比例。要注意的是，我们测量的是谷歌搜索的百分比，因此，在人口众多或搜索量多的地区，百分比并不会高得离谱。请注意，这幅图与支持特朗普的地区分布图之间的某些差异提供了清晰的解释。特朗普之所以失去了得克萨斯州和阿肯色州的支持，是因为这两个州分别是他的两个对手特德·克鲁兹（Ted Cruz）和迈克·赫卡比（Mike Huckabee）的家乡。



13 这是大数据公司Civis Analytics 2015年12月的调查数据。受大选时间及选举形式的巨大影响，实际投票数据的作用会大打折扣。经《纽约时报》许可，这幅选举图可供转载。



14 “Bringing Big Data to the Enterprise,” IBM, https://www-01.ibm.com/software/data/bigdata/what-is-big-data.html.



15 Nassim M. Taleb,“Beware the Big Errors of ‘Big Data,’”Wired,February 8, 2013, http://www.wired.com/2013/02/big-data-meansbig-errors-people.



16 我仔细查看了美国受经济大萧条影响程度不同的地区的互联网种族主义变化情况。无论是谷歌对“黑鬼（们）”的搜索率还是“风暴前线”的会员数，我都对其进行了详细研究。相关数据可从我的个人网站sethsd.com中标名为“Racial Animus”（种族敌意）和“Stormfront”的数据区下载。



17 Seth Stephens-Davidowitz,“Fifty States of Anxiety,”New York Times, August 7, 2016, SR2.注意：尽管谷歌搜索的确提供了大得多的样本库，但这一模式仍与调查结果一致。例如，参见William C. Reeves et al.,“Mental Illness Surveillance Among Adults in the United States,”Morbidity and Mortality Weekly Report Supplement 60, no. 3 (2011)。



18 相关讨论参见Seth Stephens-Davidowitz,“Why Are You Laughing?”New York Times, May 15, 2016, SR9。相关数据可以从我的个人网站sethsd.com中标名为“Jokes”（笑话）的数据区下载。



19 相关讨论参见Seth Stephens-Davidowitz,“What Do Pregnant Women Want?”New York Times, May 17, 2014, SR6。



20 笔者对色情网站数据的分析。



21 相关讨论参见Seth Stephens-Davidowitz,“Searching for Sex,”New York Times, January 25, 2015, SR1。



22 Stephens-Davidowitz,“What Do Pregnant Women Want?”.



23 1GB，即230字节。——编者注



24 1TB，即240字节。——编者注



25 2015年10月27日，我对杰里·弗里德曼进行了电话采访。



26 Hal R. Varian,“Big Data: New Tricks for Econometrics,”Journal of Economic Perspectives 28, no. 2 (2014).



27 弗洛伊德式失言，是由精神分析学派创始人弗洛伊德提出的一个概念，指人们不经意地说出自己的真实感受，俗称“说溜嘴”。——编者注





第一部分

大数据，小数据





1 你的直觉出错了


如果你已经33岁，连续参加了好几个感恩节派对都没有带伴侣，那大家就会开始关心你的择偶问题了。几乎每个人都有自己的看法。

“赛思应该找一个疯女孩，和他一样。”我姐姐说。

“你疯了吧！他该找个正常的女孩，和他互补。”我弟弟说。

“赛思才不疯呢。”我母亲说。

“你是真疯了！赛思当然很疯！”我父亲说。

说话温柔又腼腆的祖母在整个晚餐过程中一言未发，此刻却突然发话了。在座的纽约人瞬间噤声，所有人的目光都集中在这个留着黄色短发、带着一丝东欧口音的小老太太身上。“赛思，你得找个好姑娘。她不用很漂亮，可得聪明伶俐，待人友善；她得懂社交应酬，这样你才能专心做自己的事；她得有幽默感，因为你也是个有趣的人。”

为什么这个老太太的建议会受到全家人的关注和尊重呢？88岁高龄的祖母比餐桌上其他人都见多识广。一直以来，她关注过许多婚姻，有成功的，也有不成功的。在过去的几十年里，她把成就幸福婚姻的特质做了分类。于是，就在这个感恩节餐桌上，针对择偶问题，祖母开始在她巨大的数据点集里搜寻答案。我的祖母就是一个大数据。

在本书中，我想简化数据科学。不管我们是否喜欢，数据正在我们的生活中扮演越来越重要的角色——其影响力将会越来越大。如今的许多报纸总有整版整版的内容在谈数据，许多公司都拥有专门负责数据分析工作的团队，许多投资人都愿意拿出几千万美元投资持有更多数据的创业公司。即使从未学过如何进行回归分析（社会科学家用来梳理多种因素影响的方法）或计算置信区间，你也会遇到大量数据——读书时会遇到，参加商务会议时会遇到，去饮水机那儿接水时听到的办公室八卦中也会遇到。

许多人对这一发展感到不安。他们惧怕数据，很容易在这个数字的世界中迷失自我，手足无措。他们觉得这种对世界的量化认知是少数左脑发达的天才的事，与他们无关。一旦碰到数字，他们就立马翻页、结束会议或转移话题。

我从事数据分析工作已有10年，且有幸同该领域的许多“大咖”合作过。在此期间，我学到的最重要的一课便是：好的数据科学远没有人们想象的那么复杂。事实上，最好的数据科学便是一种出乎意料的直觉。[1]

为什么数据科学可以凭直觉感知呢？数据科学的核心在于发现不同模式以及预测一个变量如何影响其他变量。人们一直在做这类事情。

只需看看我祖母给出择偶建议的方式就会明白这一点。她利用了自己大脑中的情侣关系大数据库，这个数据库在她近百年的生命中持续更新，包括她从她的家人、朋友及熟人那里听到的许多故事。首先，她把自己的分析限定在某个情侣关系样本中，这个样本中的男性和我有着很多共同特质——敏感、孤僻、幽默；其次，她把目光锁定在女性的重要特质上，比如是否善良、是否聪明、是否漂亮；再次，她把女性的这些重要特质和前述情侣关系中的某个重要特质联系起来，看看是否合拍；最后，她得出自己的结论。换句话说，她辨识出许多模式并且预测一个变量如何影响其他变量。我的祖母就是一位数据科学家。

你也是数据科学家。小时候，你注意到自己一哭，妈妈就会关注你，这就是数据科学。成年后，你发现如果总是抱怨，人们就会渐渐疏远你，这也是数据科学。当人们渐渐疏远你时，你会发现自己越来越不开心。当你越来越不开心时，就会变得越来越不友善。当你变得越来越不友善时，人们就更不愿意和你来往了。数据科学！数据科学！还是数据科学！

因为数据科学太出于本能了，所以我发现，几乎任何一个聪明点儿的人都可以理解最好的大数据研究。如果你无法理解某项研究，那问题或许在于研究本身，而不是你。

想要证明大数据科学的直觉性倾向吗？最近，我偶然发现一项研究，这项研究算得上过去几年展开的最重要的研究之一了，也是我见过的最具直觉性的一项研究。我想让你考虑的不仅是这项研究的重要性，而且包含其体现的本能和直觉特性。

该研究是由哥伦比亚大学和微软共同组成研究团队携手推进的。该团队希望发现什么样的症状可以预示胰腺癌。[2]这种癌症的存活率极低（只有3%的概率能活过5年），但如果发现得早，患者的存活率就会翻番。

研究人员用了什么办法呢？他们利用了必应和谷歌搜索引擎内数万名匿名用户的数据信息。他们总能锁定近来刚被确诊为胰腺癌患者的用户，因为这些用户曾有过明确的搜索，比如“刚刚被确诊为胰腺癌”或“医生说我患胰腺癌了，我还能有什么指望”。

接下来，研究人员对健康症状的搜索进行了研究，他们选取了少量后来被确诊为胰腺癌患者的用户和那些未被确诊的用户进行对比。那么，在短短几周或几个月内，什么样的症状可以预示一个用户将会被确诊为胰腺癌患者呢？

结果令人惊讶。事实证明，先后搜索“背部疼痛”和“皮肤发黄”这两个词条的用户最终都被确诊为胰腺癌患者，而只搜索“背部疼痛”的用户则不太可能得这个病；同样，搜索“消化不良”和“腹痛”这两个词条的用户都被确诊为胰腺癌患者，而只搜索“消化不良”则意味着此人不太可能罹患此病。研究人员可以识别5%~15%的案例，几乎没有误报。尽管这也许算不上很大的概率，但如果你是胰腺癌患者，即便只有10%的概率可以使你的存活率翻番，也算是上天的恩赐了。

详述该研究的论文对非专业人员来说可能就比较晦涩难懂了。论文中包含大量专业术语，比如KS –检验（Kolmogorov-Smirnov test），不得不承认连我都忘记它是什么意思了。（这是判断一个模型是否和数据准确匹配的方法。）

然而，请你注意，这项重要的研究从根本上来说是具有极强的本能性和直觉性的。研究人员研究了各种各样的医疗案例，并尝试将症状与特定疾病联系起来。你知道还有谁使用这种方法来弄清楚某人是否患了某种疾病吗？伴侣、父母，以及医生和护士。根据经验和知识，他们将发热、头痛、流鼻涕、胃痛等症状和各种疾病联系起来。也就是说，哥伦比亚大学和微软的研究人员通过利用每个人用来做健康诊断的自然且显而易见的方法，撰写了一篇具有开创性的研究论文。

先别急，咱们慢慢来。如我所说，如果最好的数据科学的方法通常既具有本能性又具有直觉性，那么一个关于大数据价值的根本问题就来了。如果人类天生就是数据科学家，如果仅凭直觉就能研究数据科学，那么为什么我们还需要电脑或统计软件呢？为什么我们还需要KS –检验呢？我们就不能相信直觉吗？不能像祖母那样，不能像医生或护士那样吗？

马尔科姆·格拉德威尔（Malcolm Gladwell）的畅销书《眨眼之间》（Blink）发行后激发了人们对上述问题的讨论。该书极力赞扬人类直觉的魔力。格拉德威尔在书中举了许多例子：一个人仅凭自己的直觉就可以辨别一座雕像是真是假，网球运动员在打到球之前是否会出差错，消费者愿意花多少钱，等等。《眨眼之间》里的主人公们没有人做回归分析或计算置信区间，也没有谁进行KS –检验，但他们通常都能做出准确的预测。许多人不由自主地支持格拉德威尔为直觉的辩护：他们相信自己的直觉和感觉。《眨眼之间》的“粉丝”或许要为我的祖母欢呼鼓掌了，因为她未借助电脑就为我提出了择偶建议；而对于我的研究和本书中其他借助电脑展开的研究，他们恐怕就不以为然了。如果说大数据（我说的是和电脑有关的大数据，不是我祖母那种）是一次革命，我们就得证明它比格拉德威尔所“神化”的直觉更具说服力。

哥伦比亚大学和微软的研究提供了严谨的数据科学与电脑相结合的明显例证，该例证告诉我们有些事仅凭直觉是永远无法了解的。这个例子也说明数据集大小的重要性。有时候我们的经验不足，无法通过直觉得出结论。你（或你亲密的朋友或家人）似乎不太可能见过足够多的胰腺癌病例，更不可能以此辨识消化不良伴随腹痛的症状和纯消化不良症状之间的差别。事实上，随着必应数据集的不断增大，研究人员在症状辨识（不仅限于这一种疾病）上会发现更多微妙的模式，即使是医生也有可能忽略这些模式的存在，这是不可避免的。

此外，尽管直觉也许常常让我们感觉很了解这个世界的运作方式，但这种感觉往往是不确切的。我们需要用数据使其清晰化。以天气影响心情为例。你可能会猜测，和70华氏度（约21摄氏度）相比，人们在10华氏度（约零下12摄氏度）的低温下更容易感到失落。其实，这种猜想是对的，但你可能猜不到这种温差产生的影响有多大。我查询过一个地区有关抑郁的谷歌搜索与很多因素（包括经济状况、教育水平和教堂活动参与度）之间的关联性。冬季气候产生的影响最为明显。[3]冬天，在温暖的夏威夷檀香山，抑郁的相关搜索频率比在寒冷的伊利诺伊州芝加哥低了40%。这个效果有多么显著呢？乐观地说，药效最佳的抗抑郁药物也仅能使抑郁症的发生率降低约20%。依据谷歌的数据判断，从芝加哥搬到檀香山对治疗“冬季抑郁”的功效可比药物治疗高出整整一倍啊。[4]

如果没有电脑精确分析的引导，我们的直觉有时甚至会犯下致命大错。我们可能会被自己的经历或偏见蒙蔽双眼。事实上，尽管我的祖母可以凭借她多年的经验给出比其他家庭成员更好的择偶建议，但对于是什么让爱情得以延续这一问题，她的观点依然是没有说服力的。比如，她总是跟我强调有共同好友的重要性。她相信她婚姻成功的一大秘诀是：几乎每个傍晚都和丈夫（也就是我的祖父）闲坐在纽约皇后区家中后花园里的草坪躺椅上，八卦着左邻右舍的鸡毛蒜皮。

尽管要冒着让我的祖母当替罪羊的风险，但数据科学的确证明祖母的理论错了。最近，一个计算机科学家团队对人类关系中最大的数据集脸谱网进行了分析。[5]他们观察了大量关系在某一时刻显示为“恋爱中”的伴侣，其中部分伴侣始终保持“恋爱中”的状态，而其他伴侣则将自己的状态改成了“单身”。该调查表明，有共同的好友圈其实是一个强预测器，预示着一段爱情长不了！也许每晚都和伴侣及一小撮固定的朋友闲逛真算不上一件好事，各自独立的社交圈也许才有助于巩固两性关系。

正如各位所见，在没有电脑帮助的情况下，我们的直觉有时确实让人眼前一亮，但直觉有可能酿成大错。我的祖母可能陷入了一个认知的泥沼：我们倾向于夸大个人经验的作用。用数据科学家的话说就是，我们总会给自己的数据加权，总是过于重视一个特别的数据点——我们自己。

因为祖母过于关注和祖父的饭后闲聊以及他们共同的朋友，所以很少考虑其他夫妻的情况。她完全忘记了她的妹妹和妹夫也总是在晚上聊起他们那一小撮共同好友，可仍然经常吵架，最后以离婚收场。她也完全忽略了我的父母（她的女儿和女婿）的婚姻状况。我的父母各有各的去处——父亲和朋友一起去爵士酒吧或去看球，母亲则和朋友出门吃饭或去剧院，他们的婚姻依然幸福美满。

人类总是痴迷于戏剧性的事情，依靠直觉时，我们还有可能为这种本性所误导。我们总会高估所有令人印象深刻的事物的作用。比如，一项调查显示，人们一致认为龙卷风致死人数多于哮喘[6]，但事实上，因哮喘失去生命的人数是因龙卷风失去生命人数的70倍。[7]因为哮喘致死人数不突显，也不会上新闻，而龙卷风会。

换句话说，当我们凭借自己的亲耳所闻或亲身经历来判定这个世界的运作模式时，通常都会出错。虽然最好的数据科学方法通常是具有直觉性的，但其结果多是反直觉的。数据科学采用既具本能性又具直觉性的人工流程（先发现模式，而后理解其内涵）并向其中注入更多功能，这样我们可能会看到这个世界的运作方式与我们之前想象的完全不同。这就是我在研究篮球运动员成材率的预测指标时所发生的事。



当我还是个孩子的时候，曾经有过一个梦想，也是唯一一个梦想：我长大了要当一名经济学家和数据科学家。不不，我不过是开个玩笑罢了。那时我其实超想做个职业篮球运动员，追随我的偶像——纽约尼克斯队前全明星中锋帕特里克·尤因（Patrick Ewing）的步伐。[8]

我有时候怀疑每个数据科学家的心中都有一个孩子，这个孩子一直在努力弄明白为什么他儿时的梦想没能实现，所以最近我做了一项关于“如何才能进入NBA（美国男子职业篮球联赛）”的调查，这也就不足为奇了。调查的结果出乎意料。事实上，这些结果再次证明了好的数据科学可以改变我们的世界观，也证明了数据和人类直觉有多么不一致。

我特别关注的问题是这样的：是在贫穷家庭长大的孩子更有可能进入NBA，还是在中产阶层家庭长大的孩子更有可能？

大多数人会猜测是前者。传统观念认为，在困境中（比如由单身的未成年母亲抚养）成长有助于培养必要的驱动力，以达到这一竞争激烈的体育运动的顶级水平。

费城一所高中的篮球教练威廉·埃勒比（William Ellerbee）在接受《体育画报》（Sports Illustrated）采访时表达了这一看法。“郊区的孩子打篮球往往是为了玩乐，”埃勒比说，“而内城的孩子则把篮球看作生死攸关的事情。”[9]唉，我在新泽西郊区长大，生活在父母双全的家庭；而当代最好的球员勒布朗·詹姆斯（LeBron James）却生在俄亥俄州阿克伦，由一位贫穷的16岁单身母亲抚养成人。

事实上，我发起的一项互联网调查表明，大多数美国人与我和埃勒比教练的想法是一样的：大多数NBA球员都出身寒门。[10]

这个传统观念是否正确呢？

我们来看看数据是怎么说的。虽然没有NBA球员社会经济学的综合数据来源，但是通过数据分析，通过利用大量资料源（篮球数据网站basketball-reference.com、族谱网站ancestry.com、美国人口普查等数据），我们可以弄清楚什么样的家庭背景最有利于一名篮球运动员进入NBA。你会发现，这项研究所覆盖的数据源十分广泛，有的十分庞大，而有的则比较小；有的来源于线上，有的则来源于线下。有的新数据源实在令人振奋，如果它们能帮上忙，一名优秀的数据科学家是不会只参考那些旧数据源的。获得答案的最佳方式是将所有可用数据都结合起来。

第一个相关数据就是每名运动员的出生地。我记录了20世纪80年代美国每个县出生的黑人男孩和白人男孩的数量。随后，我又记录了其中有多少人成功进入了NBA。我将这一数字和每个县的平均家庭收入做了对比，还掌握了各县的种族人口统计数据（这是另一本书的主题），最后我发现黑人进入NBA的可能性比白人大40倍。

数据显示，如果一个孩子出生在富裕的县，他就有更多的机会进入NBA。例如，一个在美国最富裕的县出生的黑人孩子，与一个在美国最贫穷的县出生的黑人孩子相比，进入NBA的机会要多出两倍多；而对一个白人孩子来说，若出生在最富裕的县，其进入NBA的概率比出生在最贫穷的县大60%。

这些数据表明，与人们的普遍看法不同，NBA中出身贫寒的运动员实际上数量极少。然而，这个数据并不完美，因为美国许多富裕的县、区，如纽约（曼哈顿），也有许多类似哈勒姆这样的贫困区。所以，艰苦的童年仍有可能帮助你进入NBA。我们还需要更多的线索、更多的数据。

于是，我又调查了NBA球员的家庭背景。这些信息是从新闻报道和社交网络中找到的。这种方法相当耗时，所以我把分析限定在20世纪80年代出生的100个得分最高的非洲裔球员中。与美国的普通黑人相比，NBA超级明星球员中有未成年母亲或未婚母亲的比例低了约30%。也就是说，最杰出的NBA黑人球员的家庭背景表明，舒适的成长环境更有利于获得成功。

尽管如此，不论是县级的出生数据还是作为特定样本的那些球员的家庭背景都无法提供所有NBA球员童年的完美信息。所以，我还不能完全相信与单亲家庭及贫困家庭相比，在双亲的中产阶层家庭中会诞生更多NBA球星。在这个问题上，我们提供的数据越多越好。

后来我又想起了一个数据点，这个数据点可以为个人背景调查提供有效线索，是由罗兰·弗赖尔（Roland Fryer）和史蒂芬·列维特（Steven Levitt）这两位经济学家在一篇论文中提出的——黑人的名字能够体现其社会经济背景。[11]弗赖尔和列维特早在20世纪80年代就在加利福尼亚州对人们的出生证明做过研究，他们发现，在非洲裔美国人中，贫穷、未受过教育的单身母亲倾向于给孩子起一个不同于受过教育的中产阶层已婚父母给孩子起的名字。

富裕家庭的父母倾向于给孩子取一个常见的名字，如凯文、克里斯和约翰，而那些贫困家庭的单身母亲则更有可能给孩子取一个独特的名字，如诺肖恩、尤尼克和布雷昂谢。出身贫寒的非洲裔美国孩子得到一个标新立异的名字的概率接近同年出生的其他孩子的两倍。

那么NBA球员的名字又是什么样的呢？是更像中产阶层家庭出身还是更像在贫寒人家长大的呢？还是以20世纪80年代为例，在加利福尼亚州出生的NBA球员中有一半的人和一般黑人男性一样拥有特别的名字，这是统计上的显著差异。

总有人认为NBA是属于贫民窟那帮孩子的联盟，你认识这样的人吗？让他仔细听听下一场比赛的广播，注意一下是不是常常听到“拉塞尔运球躲过德怀特，试图将球滑过约什伸出的手臂，最后传到凯文的手中”。如果NBA真的是出身贫寒的黑人的联盟，那他听到的可能大不相同，肯定会有更多人取一个像勒布朗这样的名字。

截至目前，我们已经搜集了三份不同的证据：出生地、得分王母亲的婚姻状况和球员的名字。三份证据都不够完美，但都印证了相同的结果——社会经济地位越高，意味着进入NBA的可能性就越大。也就是说，传统的观念是错误的。

20世纪80年代，约有60%的非洲裔美国人出生时父母处于未婚状态。[12]据我估计，在那10年里出生并且进入NBA的非洲裔美国人中，绝大多数人的父母都处于已婚状态。换句话说，NBA中身世背景像勒布朗·詹姆斯那样的人并不多，更多的人像克里斯·波什（Chris Bosh）一样——由得克萨斯州的一对夫妇抚养长大，父母从小培养了他对电子产品的兴趣，或者像克里斯·保罗（Chris Paul）一样，他是北卡罗来纳州刘易斯维尔市一对中产阶层夫妇的二儿子，2011年，他和他的家人还一起参加了《家庭问答》（Family Feud）节目。[13]

数据科学家的目标是了解世界。一旦发现了反直觉性的结果，我们就可以运用更多的数据科学知识来解释为什么世界并非我们看到的那样。例如，为什么出身中产阶层家庭的人打篮球比出身贫困家庭的人更具优势？原因至少有两个。

第一个原因是穷人往往个子比较矮。很早以前，学者就知道童年时期的医疗保健和营养补给会对成年后的健康状况产生重要影响。这就是现在发达国家普通人的平均身高比一个半世纪前高4英寸（约10厘米）的原因。[14]数据表明，由于童年时期医疗保健条件差且营养不良，家庭贫困的美国人普遍较矮。[15]

数据还可以告诉我们身高对进入NBA的影响。仅凭直觉你也一定会知道，身材高大可以让一个有抱负的篮球运动员如虎添翼。将球场上普通球员的身高与看台上普通男性球迷的身高做个对比，就会明白这一点。NBA球员的平均身高约为6英尺7英寸（约200厘米），普通美国男性的平均身高约为5英尺9英寸（约175厘米）。[16]身高有多重要呢？NBA球员有时会谎报自己的身高，反正也没有美国男性身高分布的完整记载。如果对这个身高分布做一个粗略的数学估算，再看看NBA的球员身高数据，很容易就可以确定身高的巨大影响，其影响也许比我们预想的还要大。据我估算，身高每增加1英寸（2.54厘米），进入NBA的概率便会翻番。这个规律适用于所有美国男性。身高5英尺11英寸（约180厘米）的男子进入NBA的概率是身高5英尺10英寸（约178厘米）的男子的两倍，身高6英尺11英寸（约211厘米）的男子进入NBA的概率是身高6英尺10英寸（约208厘米）的男子的两倍。数据还显示，在身高不足6英尺（约183厘米）的男性中，每200万人中大约只有一人能进入NBA；而在身高超过7英尺（约213厘米）的人中，据我和其他人估计，每5人中就有一人可以进入NBA。[17]

这下你知道了吧，数据证实了我的“球星梦”幻灭的原因——不是我在郊区长大，而是我只有5英尺9英寸高，还是个白人（更别提速度慢了）。况且，我还很懒；体力不好；投篮姿势糟糕；球到了我的手上，我还不时会紧张得要死。

来自贫困家庭的孩子很难进入NBA的第二个原因，是他们有时缺乏一定的社交技能。通过对数千名学龄儿童的数据研究，经济学家发现，一般来说，中产阶层的双亲家庭培养的孩子更可靠、更自律、更执着、更专注，也更有组织性。[18]

那么，社交技能的匮乏是如何让一份前景看好的篮球事业偏离正常的发展轨道的呢？

我们来看看道格·伦（Doug Wrenn）的故事，他曾被视为20世纪90年代最有职业前途的球星之一。他的大学教练，康涅狄格大学的吉姆·卡尔霍恩（Jim Calhoun）教练（他曾经训练过多位未来的NBA球星）称道格·伦是所有曾经与他合作过的人中跳跃能力最强的。[19]然而，道格的成长并非一帆风顺。[20]他从小同单亲母亲相依为命，在西雅图最乱的社区之一“血巷”（Blood Alley）长大。在康涅狄格大学，他一直与周围的人发生冲突。他嘲笑队友，质疑教练，还不顾队规穿着宽宽大大的衣服参加训练。他甚至还做出在鞋店行窃、谩骂警察等违法行为。卡尔霍恩教练实在忍无可忍，最后把他从球队开除。

后来，道格在华盛顿大学又获得了一次机会，可是在那儿，他仍然无法和人们友好相处，葬送了自己的前途。因为上场时间和投篮时机选择等问题，他和教练大打出手，这支球队也将他踢了出去。再后来，道格在NBA选秀大会上落选，在低级别联赛中游走，和母亲住在一起，最后因袭击他人而入狱。“我的职业生涯完了，”2009年道格接受《西雅图时报》（Seattle Times）采访时说道，“我的梦想，我的抱负，全完了。道格·伦死了，那个篮球运动员，那个小伙子，死了。一切都结束了。”[21]凭道格的天分，他本来不仅能成为一名NBA球员，而且有可能成为一名伟大的，甚至是带有传奇色彩的球员，但他从未养成一名球员所需的性情，因此就连大学校队都没能待住。如果曾经拥有更加稳定的童年生活，或许他早就成为下一个迈克尔·乔丹了。

当然，迈克尔·乔丹也有令人印象深刻的垂直跳跃能力，但强大的自我意识和极强的竞争能力使他的性格与道格有所不同。乔丹儿时也是一个很难搞定的孩子[22]，12岁时曾因打架斗殴被赶出学校，但他至少有一样东西是道格不具备的：一个稳定的中产阶层家庭的成长环境。他的父亲是通用电气的设备主管，母亲是一位银行家。[23]在乔丹选择自己事业的道路上，他们都曾给予过乔丹帮助。

事实上，乔丹一路走来一直都有家人的引导和帮助，所以他才可以避过一个极具竞争力的伟大篮球天才很可能躲不过的陷阱。[24]在乔丹被学校开除后，他的母亲就一直带着他去上班。母亲不允许乔丹离开车半步，他只能坐在停车场的车里看书。在乔丹被芝加哥公牛队征募后，他的父母和兄弟姐妹轮番去探望他，确保他没有为名利所诱惑。

《西雅图时报》上有句话很少有人注意到：乔丹的篮球职业生涯没有像道格那样走向终结，他的职业生涯是以他步入篮球名人堂之际的一场演说结束的，当时可谓万众瞩目。[25]在演说中，乔丹说，他一直努力“关注生活中美好的事物——你知道人们是如何看待你的，你又是如何尊重他们的……而公众又是如何看待你的。停一停，想想你做的事情。这一切都是我的父母教会我的”。

数据告诉我们，乔丹感谢他中产阶层的已婚父母是绝对正确的。数据还告诉我们，在比较贫困的家庭中和比较贫困的社区里的确有NBA级别的人才，可他们进不了NBA。这些人有天赋，也有野心，但从来没有培养出成为超级篮球巨星所需的性情。

不论我们凭直觉能够感知到什么，这种视篮球为“生死大事”的绝境似乎依旧无助。类似道格·伦这样的故事可以帮助我们说明这一点，数据也证明了这一点。

2013年6月，勒布朗·詹姆斯在赢得他的第二个NBA总冠军（后来他又赢得了第三个）后，在电视上接受采访。“我是勒布朗·詹姆斯，”他说道，“来自俄亥俄州的阿克伦，我来自城内贫民区，我甚至都不应该出现在这里。”[26]随后推特和其他社交网络上对他的批评排山倒海。詹姆斯这样一个天赋异禀的篮球天才，年纪很小时就被视为篮球的未来，他怎么可以公然宣称自己是个失败者呢？事实上，任何一个出身贫寒的人，无论其运动天赋如何，成功的机会都很渺茫。换句话说，詹姆斯的成就其实比起初看起来更加超凡。数据同样也证明了这一点。


1 我指的是我熟悉的数据分析领域的知识，即尝试解释并预测人类行为的数据科学，而非类似无人驾驶技术等人工智能。尽管这些方法确实使用从人脑中发现的各类工具，却并不容易理解。



2 John Paparrizos, Ryan W. White, and Eric Horvitz,“Screening for Pancreatic Adenocarcinoma Using Signals from Web Search Logs: Feasibility Study and Results,”Journal of Oncology Practice (2016).



3 关于这项研究的讨论参见Seth Stephens-Davidowitz,“Dr. Google Will See You Now,”New York Times, August 11, 2013, SR12。



4 大爆料：完成这项研究之后不久，我就从加利福尼亚搬到了纽约。使用数据来学习你应该做什么通常很简单，但做起来实在太难了。——作者注



5 Lars Backstrom and Jon Kleinberg,“Romantic Partnerships and the Dispersion of Social Ties: A Network Analysis of Relationship Status on Facebook,” in Proceedings of the 17th ACM Conference on Computer Supported Cooperative Work & Social Computing(2014).



6 Daniel Kahneman, Thinking, Fast and Slow (New York: Farrar,Straus and Giroux, 2011).



7 1979—2010年，年均有55.81名美国人死于龙卷风袭击，4 216.53名美国人死于哮喘。参见Annual U.S. Killer Tornado Statistics,National Weather Service, http://www.spc.noaa.gov/climo/torn/fatalmap.php和Trends in Asthma Morbidity and Mortality, American Lung Association, Epidemiology and Statistics Unit。



8 我最喜欢的有关尤因的视频集锦是“Patrick Ewing’s Top 10 Career Plays,” YouTube video, posted September 18, 2015, https://www.youtube.com/watch?v=Y29gMuYymv8和“Patrick Ewing Knicks Tribute,” YouTube video, posted May 12, 2006, https://www.youtube.com/watch?v=8T2l5Emzu-I。



9 S. L. Price,“Whatever Happened to the White Athlete?”Sports Illustrated , December 8, 1997.



10 这是我在2013年10月22日进行的谷歌消费者调查。我的问题是：“你认为大多数NBA球员的出生地是哪里？”两个选项分别为“贫民区”和“中产阶层区”，59.7%的受访者选择了“贫民区”。



11 Roland G. Fryer Jr. and Steven D. Levitt,“The Causes and Consequences of Distinctively Black Names,”Quarterly Journal of Economics 119, no. 3 (2004).



12 Centers for Disease Control and Prevention,“Health, United States, 2009,” Table 9, Nonmarital Childbearing, by Detailed Race and Hispanic Origin of Mother, and Maternal Age: United States,Selected Years 1970–2006.



13 “Not Just a Typical Jock: Miami Heat Forward Chris Bosh’s Interests Go Well Beyond Basketball,” Palm Beach Post.com,February 15, 2011, http://www.palmbeachpost.com/news/sports/basketball/not-just-a-typical-jock-miami-heat-forward-chris-b/nLp7Z/; Dave Walker,“Chris Paul’s Family to Compete on ‘Family Feud’,” nola.com, October 31, 2011, http://www.nola.com/tv/index.ssf/2011/10/chris_pauls_family_to_compete.html.



14 “Why Are We Getting Taller as a Species?”Scientific American,http://www.scientificamerican.com/article/why-are-we-getting-taller/. 有趣的是，美国人的个头不再增高了。Amanda Onion,“Why Have Americans Stopped Growing Taller?” ABC News, July 3,2016, http://abcnews.go.com/Technology/story?id=98438&page=1.我曾经认为，NBA外籍球员数激增的原因之一就是其他国家的球员与美国球员的身高差距在不断缩小。1946—1980年，美国人的身高不断增长，因此NBA联盟中出生于美国、身高7英尺的球员人数增长了16倍。在美国人不再长个儿后，这一数值开始趋于平稳。与此同时，身高7英尺以上的外籍球员数量则大量增长。我发现，国际球员人数增长最多的一直是来自各国的超高球员，他们大多来自土耳其、西班牙和希腊，这些国家近年来对儿童健康和成人身高的关注度显著提高。



15 Carmen R. Isasi et al.,“Association of Childhood Economic Hardship with Adult Height and Adult Adiposity among Hispanics/Latinos: The HCHS/SOL Socio-Cultural Ancillary Study,”PloS One 11, no. 2 (2016); Jane E. Miller and Sanders Korenman,“Poverty and Children’s Nutritional Status in the United States,”American Journal of Epidemiology 140, no. 3 (1994);Harry J. Holzer, Diane Whitmore Schanzenbach, Greg J. Duncan,and Jens Ludwig,“The Economic Costs of Childhood Poverty in the United States,”Journal of Children and Poverty 14, no. 1 (2008).



16 Cheryl D. Fryar, Qiuping Gu, and Cynthia L. Ogden, “Anthropometric Reference Data for Children and Adults: United States,2007–2010,”Vital and Health Statistics Series 11, no. 252 (2012).



17 Pablo S. Torre,“Larger Than Real Life,”Sports Illustrated, July 4,2011.



18 Tim Kautz, James J. Heckman, Ron Diris, Bas Ter Weel, and Lex Borghans,“Fostering and Measuring Skills: Improving Cognitive and Non-Cognitive Skills to Promote Lifetime Success,” National Bureau of Economic Research Working Paper 20749, 2014.



19 Desmond Conner,“For Wrenn, Sky’s the Limit,”Hartford Courant, October 21, 1999.



20 道格·伦的故事参见Percy Allen,“Former Washington and O’Dea Star Doug Wrenn Finds Tough Times,”Seattle Times, March 29,2009。



21 道格·伦的故事参见Percy Allen,“Former Washington and O’Dea Star Doug Wrenn Finds Tough Times,”Seattle Times, March 29,2009。



22 Melissa Isaacson,“Portrait of a Legend,” ESPN.com, September 9, 2009, http://www.espn.com/chicago/columns/story?id=445701 7&columnist=isaacson_melissa.有一本乔丹传记写得很棒，参见Roland Lazenby, Michael Jordan: The Life (Boston: Back Bay Books, 2015)。



23 Barry Jacobs,“High-Flying Michael Jordan Has North Carolina Cruising Toward Another NCAA Title,”People, March 19, 1984.



24 Isaacson,“Portrait of a Legend.”



25 Michael Jordan’s Basketball Hall of Fame Enshrinement Speech,YouTube video, posted February 21, 2012, https://www.youtube.com/watch?v=XLzBMGXfK4c. 乔丹演说中最有趣的部分不是他对父母的感激，而是他仍然感觉有必要指出其职业生涯早期的点滴小事。或许只有终生都痴迷于这些点滴小事，才有可能成为有史以来最伟大的篮球运动员吧。



26 “I’m Le Bron James from Akron, Ohio,” YouTube video, posted June 20, 2013, https://www.youtube.com/watch?v=XceMbPVAggk.





第二部分

大数据的力量





2 弗洛伊德是正确的吗


我最近看到有人把一个走在街上的人称作“penistrian”。你抓到我说的点了，对吧？是“penistrian”，而不是“pedestrian”（行人）。这是我在一个大型排印错误数据集中看到的。一个人看到有人在走路，于是写下“penis”（阴茎）一词。这一定意味着什么，对吧？

一名男子梦到他走上圣坛迎娶妻子时口中还吃着香蕉，这是我在一个人们用以记录自己梦境的应用程序的大型数据集中看到的。一个男人想象着在自己结婚时嘴里还吃着生殖器形状的东西，这也一定意味着什么，对吧？

西格蒙德·弗洛伊德的理论是正确的吗？自从他的理论第一次进入公众视野以来，人们对这个问题最诚实的回答都是耸耸肩。只有奥地利裔英国哲学家卡尔·波普尔（Karl Popper）对这一问题做出了明确回答，他高调宣称我们无法验证弗洛伊德的理论。也就是说，没有任何办法可以验证这些理论的真伪。

弗洛伊德可以说那个写“penistrian”的人想要表达自己可能被压制的性欲。这个人可以回答说她并没有想要表达什么或者她就是很容易犯拼写错误，比如把“pedestrian”写成“pedaltrian”。这就是男女两性间的对话情境。弗洛伊德可以说那个梦到结婚时还在吃着香蕉的男子是在背地里想着男性生殖器，这表明他想要结婚的对象是男人而不是女人。那个男子可以回答说他只是碰巧梦到了一根香蕉，他也可能梦到走上圣坛时在吃苹果。这就是两位男性之间的对话情境。过去我们没有办法将弗洛伊德的理论应用于实际测试中。

现在有办法了。

数据科学证实弗洛伊德的许多理论是毫无根据的——这门科学将他的许多著名理论应用于测验中。我们从梦中的生殖器符号开始吧。运用有案可查的许多梦境的大型数据集，我们可以很快注意到阴茎形状的物体在梦中出现的频率。食物是这项研究的重点关注对象。食物会出现在许多梦中，许多食物的形状都和阴茎相似——香蕉、黄瓜、热狗等。然后，我们可以估量一下是什么因素让我们梦到某些特定食物的次数多于其他食物，比如多久食用一次这些食物，大多数人觉得它们的味道怎么样，以及这些食物是否具有和阴茎类似的性状。

我们可以测试两种食物在梦中出现的次数是否相同，这两种食物同样受欢迎，但其中一个形似阴茎。如果形似阴茎的食物出现在梦中的频率并不比另一种食物高，那么生殖器符号在人们的梦中就不是重要因素。借助大数据，弗洛伊德的这一理论也许真的可以被证伪。

我得到了应用软件Shadow（影子）的数据，这款软件要求用户把他们的梦记录下来。我对其中数万个梦境中出现的食物进行了编号。

总的来说，是什么让我们梦到食物呢？主要的预测指标就是我们消费这些食物的频率。最常出现在梦中的物质是水。排在前20的食物包括鸡肉、面包、三明治和米饭——显然都与弗洛伊德的性压抑说无关。

食物在梦中出现频率的第二个预测指标是人们对其味道的喜爱程度。人们最常梦到的两种食物（巧克力和比萨）都非常美味，但也与弗洛伊德的性压抑说无关。

那么形似生殖器的食物情况又如何呢？这些食物在梦中出现的频率会出人意料吗？答案是否定的。

香蕉是人们梦中出现频率第二高的水果，但也是生活中食用频率第二高的水果。所以，我们不需要弗洛伊德来解释我们为何会频频梦到它。黄瓜是人们梦中出现次数排名第七的蔬菜，也是生活中食用频率排名第七的蔬菜。这再一次证明食物的形状不见得能解释它们为何会潜入我们的梦境。热狗在梦中出现的频率远远低于汉堡，即使对人们食用更多汉堡的现状加以控制，情况也是如此。

总体来看，在对所有水果和蔬菜进行回归分析后，我发现对一种食物而言，因形似阴茎而出现在人们梦境中的可能性并不如其受欢迎程度来得大。[1]弗洛伊德的这一理论是可以被证伪的——至少，根据我对数据的研究，这个理论是错误的。

接下来，再来看看弗洛伊德式失言。弗洛伊德假定人们用失误（口误或笔误）来表达自己的潜意识，通常和性相关。可以使用大数据来检验这一理论吗？有这样一种办法：看看我们的失误（失言）是否有性的倾向。如果我们深埋的性欲望在失言中露出尾巴，就应该有大量包括“penis”（阴茎）、“cock”（大鸟）和“sex”（性）等字样的错误出现。

这就是我要研究微软研究人员搜集的那4万多个打字错误的数据集的原因。[2]这个数据集中包含人们打错字后立即纠正的错误。在这几万个错误中，有很多人的错误和性有关，有前文中提到的“penistrian”，还有人输入“sexurity”而不是“security”（安全），输入“cocks”而不是“rocks”（岩石），但也有很多“毫无邪念”的拼写错误，比如“pindows”“fegetables”“aftermons”“refriderator”[3]等。

那么，和性相关的失言次数有什么非同寻常之处吗？

为了找到答案，我首先使用了微软的数据集来模拟人们错误替换特定字母的频率。我计算了用字母s替换字母t和用字母h替换字母g这两种情况的频率。其次，我创建了一个模拟人类犯错方式的计算机程序，我们可以称之为Error Bot。Error Bot以与微软研究中相同的频率用字母s替换字母t、用字母h替换字母g等。我用这个程序对人们在微软研究中同样的错词进行了操作。也就是说，Error Bot试图拼出“pedestrian”“rocks”“window”“refrigerator”，但是它像人类一样，用字母t替换了字母r，拼出了“tocks”；它也像人类一样，用字母c替换了字母r，拼出了“cocks”。

通过比较Error Bot和粗心的人类，我们能了解到什么呢？在以人类替换字母的方式制造出数百万个错误之后，Error Bot犯了许多弗洛伊德性质的错误。它把“seashell”（贝壳）拼成“sexshell”，把“lipstick”（口红）拼成“lipsdick”，把“luckiest”（最幸运的）拼成“fuckiest”，此外还有许多其他类似的错误。重点来了，毫无潜意识的Error Bot和人类一样，也会犯与性相关的错误。这个研究警示我们，就像许多社会学家常说的一样，我们还需要做更多的研究。也就是说，这种与性相关的错误并不是人们故意为之的，而是无意间发生的。

换句话说，虽然某种思维理论认为人们会通过自己的失误透露内心秘不可宣的欲望，但对那些犯下“penistrain”“sexurity”“cocks”这类拼写错误的人来说，不见得这些错误和一些禁忌就存在某种联系。典型的拼写错误频率完全可以解释人们的“手滑”。人们会犯很多错误。如果你犯的错误足够多，最终你也会开始说“lipsdick”“fuckiest”“penistrain”这类单词。如果一只猴子一直打字，它最终也会打出“to be or not to be”（生存还是死亡）这样的文字。如果一个人一直打字，她最终一定会打出“penistrian”这样的单词。

弗洛伊德关于失误可以揭示人们潜意识需求的理论被证实是毫无根据的——并且根据我的数据分析，这个理论根本就是错误的。

大数据告诉我们，香蕉就是香蕉，“penistrain”也只是“pedestrian”的错误拼写罢了。



那么，弗洛伊德所有的理论都是无稽之谈吗？不完全是。第一次接触色情网站的数据时，我有一个意外发现，这些数据确实有点儿弗洛伊德的意思。事实上，这是我在数据调查期间发现的最令人惊讶的事情之一：大量访问主流色情网站的人都在搜索乱伦主题的图片。

男性搜索排名前100的词条中有16个在搜索乱伦主题的视频。男性对乱伦的搜索多是关于母子的场景，那么女性呢？女性搜索排名前100的词条中有9个是对乱伦主题的视频搜索，这些搜索具有相似的内容，只不过提及的家长和孩子的性别通常是调转的。因此，女性对乱伦的诸多搜索是以父女场景为主的。

至少在这个数据中不难找到弗洛伊德俄狄浦斯情结（恋母情结）的微弱回声。他假定几乎所有人在童年时期都有和异性家长发生性关系的欲望，但这一欲望在之后被抑制住了。真希望这位维也纳心理学家在世的时间能长一些，如此他便可以将自己的分析技巧用在色情网站的数据上了，这些数据中体现的似乎就是成年人对异性家长的兴趣，那种几乎没有受到任何压制的、毫不掩饰的兴趣。

当然，色情网站数据无法确切地告诉我们，在观看这些视频时，人们真正幻想的人是谁。他们真的是在幻想和自己的父母做爱吗？谷歌搜索可以提供更多的线索，确实有很多人有这样的欲望。

仔细想想“我想和……做爱”这一形式的所有搜索就会明白。[4]补全这一搜索最常见的词汇就是“妈妈”。总的来说，这种形式的搜索中超过3/4是有关乱伦的，这并非特定措辞的结果。以“我被……吸引”这一搜索形式为例，承认乱伦欲望的补全方式甚至占据了主导地位。现在我承认（弗洛伊德可能要失望了），这些并不是很常见的搜索：在美国，每年有数千人承认他们对母亲的爱慕。我们也不得不告诉弗洛伊德一个坏消息，谷歌搜索有时会偏向那些禁忌话题，这一问题在本书后文中会做进一步的讨论。

话说回来，人们还有很多不恰当的爱慕表达，我本该预料到相关搜索会在搜索中反复出现。老板？员工？学生？医生？病人？妻子的闺密？女儿的好友？妻子的妹妹？铁哥们儿的妻子？这些坦诚的欲望都不能与妈妈相比。结合色情网站数据，或许这真的意味着什么吧。

弗洛伊德一直认为，一个人的性偏好是受其童年经历影响的，这一观点也得到了谷歌和色情网站数据的支持。这些数据显示，男性保留了很多与童年有关的性幻想。根据妻子对丈夫的搜索数据，在排名靠前的成年男性恋物癖中，有一些是希望穿着尿布让妈妈哺乳。如前文所述，这种情况在印度尤甚。此外，色情漫画（生动而细致地刻画了青少年喜欢的剧集中那些人物的性爱场面）在很大程度上非常受欢迎。[5]或者再仔细想想男性在色情片中最常搜索的女性职业。年龄在18~24岁之间的男性最常搜索的就是保姆。25~64岁之间和65岁及以上的男性同样如此。对每个年龄段的男性来说，老师和啦啦队队员始终排在前四。[6]显然，儿时的生活似乎对成年男性的性幻想产生了巨大的影响。

到目前为止，我还没能运用这所有全新的成人性行为数据来准确地了解性偏好是如何形成的。在接下来的几十年中，我和其他社会科学家将会创造出新的、可验证的成人性行为理论，并用实际数据进行测试。

我已经可以预测到一些基本的主题，这些主题定将成为基于数据的成人性行为理论的一部分。这一理论明显和弗洛伊德所说的那个假设（那个特定的、定义明确的、普遍意义上的童年阶段和性压抑说）不是一回事。根据我对色情网站数据的初步研究，我十分肯定对成年人性行为的最终定论会体现弗洛伊德强调的一些关键主题，童年将发挥重要作用，妈妈也是。

10年前，我们可能还无法以这种方式分析弗洛伊德的理论。当然，在弗洛伊德还活着的80年前肯定更加不可能。那么，让我们来看看为什么这些数据来源有所帮助吧。这项实践有助于我们了解为何大数据会如此强大。

请记住，我们已经说过，单纯的一堆堆数据，其本身并不会自动生成任何见解。数据大小本身被高估了。那么，为什么大数据又如此强大呢？为什么它又可以掀起一场“如何看待自己的革命”呢？我认为，大数据有四大独特功能，对弗洛伊德的这一分析提供了一个很好的例证。

你可能已经注意到，我们关于弗洛伊德的讨论一开始就在严肃地探讨色情内容，而且本书后文中我们还会多次利用色情资料。意外的是，社会学家很少使用色情数据，大多数人更愿意依靠他们职业生涯中建立起来的传统调查数据集。稍微反思一下，广泛使用色情内容（以及随后生成的搜索和观点数据）是我们了解人类性行为的能力最重大的进步……好吧，事实上这可能才是最重要的。数据一直以来都是叔本华、尼采、弗洛伊德和福柯垂涎若渴的东西。在他们的有生之年，这些数据是不存在的。几十年前，这些数据仍不存在。现在，它们出现了。有关各种主题的独特数据来源为我们打开了一扇窗，通往过去仅存在于我们猜测中的领域。提供新型数据是大数据的第一大功能。

色情数据和谷歌搜索数据不仅是全新的，而且是可信的。在前数字时代，人们在人前掩饰着自己羞于启齿的想法。在数字时代，他们在人前仍然将这些想法隐藏起来，但没能瞒过互联网，尤其是谷歌和色情网站这种保护他们隐私的网站。作为一种数字真相的精华，这些网站起着重要的作用——使我们可以发现乱伦的广泛关注度。大数据使我们终于可以看到人们真正想要的和真正在做的，而不是他们嘴上说想要的和想做的。提供可靠的数据是大数据的第二大功能。

因为现在有了如此多的数据，所以即便只有一小群人也可以提取有意义的信息。比如，我们可以把梦到黄瓜的人数与梦到西红柿的人数进行比较。允许我们放大人群子集是大数据的第三大功能。

大数据有一个更令人印象深刻的功能——我在对弗洛伊德的短期研究中没有使用这项功能，但可能在未来的某项研究中会加以运用：它允许我们进行快速且受控制的试验。这样一来，我们不仅可以测试相关性，而且可以测试因果性。这些测试现阶段大多用于商业，但它们定将成为社会科学家的强大工具。允许我们进行许多因果试验是大数据的第四大功能。

现在是解开大数据功能之谜的时候了，让我们一起来探索大数据的重要性和奥秘吧。


1 我按照阴茎形状将食物编号，前提是它们的长度得明显大于宽度，而且大体得是圆柱形的。因此，我把黄瓜、玉米、胡萝卜、茄子、南瓜和香蕉算了进来。数据及编号详见我的个人网站sethsd.com。



2 数据库可从https://www.microsoft.com/en-us/download/details.aspx?id=52418自行下载。研究人员让亚马逊旗下的机械土耳其人网站（Amazon Mechanical Turk）用户描述图像，分析用户的击键记录，并记录用户改正单词的时间。更多细节详见YukinoBaba and Hisami Suzuki,“How Are Spelling Errors Generated and Corrected? A Study of Corrected and Uncorrected Spelling Errors Using Keystroke Logs,” Proceedings of the Fiftieth Annual Meeting of the Association for Computational Linguistics, 2012。数据、编号和研究的进一步说明参见我的个人网站sethsd.com。



3 “pindows”是“windows”（窗户）的错误拼写，“fegetables”是“vegetables”（蔬菜）的错误拼写，“aftermons”是“afternoons”（下午）的错误拼写，“refriderator”是“refrigerator”（冰箱）的错误拼写。——编者注



4 完整数据（警告：表格）如下





“我想和……做爱”





5 例如，在谷歌网站对各类流行动画片的搜索中，“色情”是最常见的词汇，如下。





卡通动画片遇见色情

（有关各类卡通动画片最常见的谷歌搜索词汇）





6 根据作者的计算，列出男性搜索色情内容中最常见的女性职业，按男性的年龄划分。





女性在男性色情内容搜索中扮演的角色（按男性的年龄划分）





3 数据重构


每个月某个特定周五的早上6点，曼哈顿大部分街道上都空无一人。街边的商铺全部歇业，这些商铺临街的正门都安装着坚不可摧的钢铁防盗门，楼上的公寓漆黑又安静。

另一边，位于曼哈顿下城的全球投资银行高盛集团的楼层却灯火通明，电梯将数千名员工带到办公桌前。早上7点，大部分员工已经就位。

在其他任何一天的这个时间点，你怎么描述曼哈顿下城的昏昏欲睡都不为过。在这个周五的早晨，这里却是能量“爆棚”、兴奋躁动的。因为在这一天，将会对股市产生巨大影响的信息即将送达。

数据发布几分钟后，多家新闻网站就会相继对其进行报道。在得到信息的几秒钟后，高盛集团和其他数百家金融公司就会对这些信息展开激烈的讨论、辩论与解析。现如今金融领域的许多实际行动都发生在毫秒之间。高盛集团和其他金融公司支付了数千万美元的光纤电缆费用，以缩短信息从芝加哥传输到新泽西的时间，然而这个时间仅仅缩短了4毫秒（从17毫秒缩短到13毫秒）。金融公司拥有基于数据读取信息和交易的特殊算法，这一切也全都发生在几毫秒之间。[1]这个重要的信息发布之后，市场瞬息万变。

所以，究竟是什么样的重要数据对高盛集团和其他数百家金融公司如此有价值呢？

月失业率。

这一数据对股票市场影响深远，许多金融机构都竭尽所能缩短获得和分析数据的时间，加快做出反应的速度。然而，这一数据却来自劳工统计局的电话调查，也就是说，信息公布时本身已经滞后三个星期（或者说20亿毫秒）了。

你可能会感到奇怪，更会觉得惊讶，多家公司不惜斥资数百万美元就为让信息流动时间缩短几毫秒，为何美国政府却要花费如此长的时间来计算失业率？

事实上，在艾伦·克鲁格（Alan Krueger）担任奥巴马总统2011年经济顾问委员会主席期间，他日常的主要工作之一就是尽早公布这些关键数字，但他没能成功做到这一点。[2]“要么是劳工统计局没有资源，”他总结说，“要么是他们还活在20世纪。”

显然，政府丝毫没有加快公布数据的步伐，那么有没有办法能以更快的速度得到一个粗略的失业统计数字呢？在这个高科技时代，人们在互联网上的每一次点击几乎都被记录在某个地方——我们真的要等上几周才能知道有多少人失业吗？

前谷歌工程师杰里米·金斯伯格（Jeremy Ginsberg）在工作中受到启发，发现了一种潜在的解决方案。金斯伯格注意到，同失业数据一样，健康数据的公布也被政府拖延了。尽管医生和医院尽早拿到流感数据将会有利于病情的控制，可疾病预防控制中心依然需要一周的时间才能发布流感数据。

金斯伯格怀疑患有流感的人可能会进行与流感相关的搜索。也就是说，他们会向谷歌汇报自身的症状。他认为这些搜索可以对目前的流感患病率进行合理准确的预测。事实上，诸如“流感症状”和“肌肉酸痛”等搜索已被证明是检测流感传播速度的重要指标。[3][4]

与此同时，谷歌的工程师创建了一项服务——谷歌相关（Google Correlate），为外部研究人员提供了针对众多领域（不仅仅是卫生领域）展开试验所需的多种同类型分析手段。研究人员可以随时查看他们正在跟踪的任何数据集，并查看谷歌搜索与该数据集相关度最高的内容。

例如，利用谷歌相关，我和谷歌首席经济学家哈尔·瓦里安（Hal Varian）两个人就能告诉人们哪些搜索和房价最密切相关。[5]当房价上涨时，美国人倾向于搜索“80/20抵押贷款”“新房建设商”“升值率”等短语；当房价下跌时，美国人往往会搜索“空卖过程”“溺水屋”“抵押贷款债务减免的税收豁免”等短语。

谷歌搜索能否像房价和流感的晴雨表一样，成为失业率调查的试纸呢？仅仅依靠谷歌搜索，我们能否得知有多少人失业，能否在政府核对出调查结果之前统计出可靠数据呢？

有一天，我将2004—2011年的美国失业率输入谷歌相关中。

你认为在那段时间里数万亿次的谷歌搜索中，与失业率最为紧密相连的搜索是什么呢？你可能会认为是“失业办公室”或类似的内容吧。这类搜索频度很高，但不是最高的。那么，“新工作”呢？也很高，但也不是最高的。

在我搜索的过程中，出现频率最高的词不是这些词，而是“骚货”！没错，最常见的搜索就是色情网站！这个结果乍看起来也许奇怪，但恐怕失业人士确实花了大把时间在这类网站上。很多人只能待在家里，孤独又无聊。另一类高度相关的搜索（属于家长指导级别）是“蜘蛛纸牌”。这样一来各位就不会感到惊讶了，这群失业人士手中确实有大把大把的时间。

我并非想通过这一分析表明追踪“骚货”或“蜘蛛纸牌”这类词条是预测失业率的最佳途径。因为失业人员的具体消遣可能随着时间的推移而变化（比如，另一个色情网站同样在最高相关度的搜索中），并且这些高频词本身并不能提起大多数失业人士对它们的兴趣。我发现，与消遣相关的综合性搜索可以追踪失业率，并能成为预测失业率的完美模板的一部分。

这个例子说明了大数据的第一个功能——提供新型数据。通常，大数据的价值不在于它的大小，而在于它可以为你的研究提供新的信息，提供过去从未有人搜集到的信息。

在谷歌出现之前，有些休闲活动的信息是可以获取的，例如电影票的销售情况。这些信息可能会提供一些线索，告诉我们人们有多少闲暇时间。现在有这样一个机会去了解有多少人在玩纸牌游戏或看色情片，这个机会可是前所未有的，更是影响巨大的。在这种情况下，这些数据可能有助于我们（至少在政府学会尽快展开和梳理一个调查之前）更快地了解经济状况。



美国加利福尼亚州山景城谷歌园区内的生活与高盛集团曼哈顿总部截然不同。上午9点，谷歌的办公室内空无一人。如果有工作人员在，那他们可能正在吃免费早餐——香蕉蓝莓煎饼、炒蛋白、纯黄瓜汁。有些员工可能不在园区内：他们可能在博尔德或拉斯维加斯参加外场会议，或在去塔霍湖公费滑雪旅行的路上。到了午餐时间，沙坑排球场和草地足球场上满满的都是人。在谷歌的墨西哥餐厅，我吃到了最美味的卷饼。

这个全球最大、最具竞争力的科技公司为何看起来如此轻松舒适和慷慨大方？谷歌利用大数据以一种其他公司前所未有的方式打造了一个自动化的资金流。谷歌公司在本书中起着至关重要的作用，因为谷歌搜索是迄今为止大数据的主要来源，但重要的是要记住，谷歌的成功是建立在对一种新型数据的搜集之上的。

如果你的年纪够大，曾在20世纪使用过互联网，那么你可能还记得当时的各种搜索引擎，如MetaCrawler、Lycos、AltaVista等。你可能还记得，这些搜索引擎通常不是很可靠。有时，如果你运气足够好，它们可以找到你想要的东西，但一般情况下是找不到的。如果你于20世纪90年代后期在最受欢迎的搜索引擎中输入“比尔·克林顿”，排位最高的搜索结果中包括一个随机网站，这个网站称“比尔·克林顿就是个人渣”；搜索结果中可能还会有一个嘲讽克林顿的冷笑话网站。这些显然都不是和美国当时的总统最相关的信息。

1998年，谷歌出现了，其搜索结果无疑比所有竞争对手都更准确。1998年，如果你在谷歌上搜索“比尔·克林顿”，你将获得他的个人网站、白宫电子邮件地址和互联网上关于他个人最详尽的传记。[6]谷歌就像在变魔术一样。

谷歌创始人谢尔盖·布林（Sergey Brin）和拉里·佩奇（Larry Page）究竟有哪些不凡之举呢？

其他搜索引擎为其用户定位到他们搜索的词出现频率最高的网页。如果你正在查找有关比尔·克林顿的信息，那么这些搜索引擎会在整个互联网上找到提及比尔·克林顿次数最多的网页。这个排名系统并不完善，原因有很多，其中一个就是很容易被钻空子。比如，一个笑话网站在某个不起眼的角落插入一连串“比尔·克林顿”，其关联度就会比白宫的官方网站高得多。（1998年，如果你在一个出现在谷歌之前的受众较广的搜索引擎上搜索“汽车”，就会被彻底淹没在色情网站中。这些色情网站经常在白色背景上用白字输入“汽车”这个词来欺骗搜索引擎。[7]于是，它们从一些本欲购买汽车但被色情内容分散了注意力的人身上获得不少额外点击量。——作者注）

布林和佩奇的做法是找到一种方法来记录远比简单地计算单词出现次数更有价值的新型信息。网站在分辨搜索主题时通常会链接到它们认为最有助于理解该主题的网站。例如，提到比尔·克林顿时，《纽约时报》可能会将点击他名字的读者链接到白宫的官方网站。

创建这些链接的每个网站在某种程度上都会给出一个它认为和比尔·克林顿最相关的信息。布林和佩奇可以将所有这些信息整合到每个主题上，这样就可以一次性搜集到来自《纽约时报》、数百万个Listservs（邮件用户清单服务）、数百位博主和互联网上其他人的判断。[8]如果很多人认为对“比尔·克林顿”这一搜索而言，最重要的链接是他的官方网站，那么这个网站很可能就是大多数搜索“比尔·克林顿”的人都想浏览的。

这类链接是其他搜索引擎甚至都没有考虑过的数据，它们对既定主题最有用的信息的预测能力是惊人的。有一点需要搞清楚，谷歌并非仅靠搜集更多的数据称霸搜索引擎界，而是凭借找到更精准的数据类型做到了这一点。谷歌在推出后不到两年的时间内，通过其链接分析功能，成为互联网上最受欢迎的搜索引擎。今天，布林和佩奇的总资产已超过600亿美元。

与谷歌一样，所有人都试图使用数据来了解世界。大数据革命并不在于数据的量，而在于数据的质。

互联网不是唯一一处可以搜集新数据的地方，并且在网络上获取优质数据也可能会带来破坏性后果。本书主要讨论的是网络上的数据如何帮助我们更好地了解人类。不过，下一节却与网络数据毫无关系，事实上是与人类毫无关系，但这部分内容有助于阐明本章的要点：新的非常规数据的巨大价值。其中传达的原理也有助于我们理解这场以数字为根基的数据革命。





以身体为数据


2013年夏，一匹红褐色的马“坐”在纽约州北部的一个小谷仓里，它比一般的马体型大些，有着黑色的鬃毛。它是位于美国纽约州东部疗养胜地萨拉托加斯普林斯的法西–蒂普顿公司（Fasig-Tipton）的8月精选周岁马拍卖会上要被拍卖的152匹马中的一匹，也是当年要被拍卖的1万匹周岁马之一。

有钱人砸大笔的钱在某匹赛马身上时，都希望能得到为这匹马起名的殊荣。因此，像大多数上了拍卖会的马一样，这匹红褐色的马还没有名字，人们暂且用它的谷仓号85号来指代它。

85号想要在这次拍卖会上脱颖而出几乎毫无胜算。它的血统还不错，但还不够好。它的雄性亲畜（父亲）“尼罗河先锋”（Pioneer of the Nile）曾经是一匹顶级赛马，但“尼罗河先锋”的其他孩子此前并没有多少赛马佳绩。85号的外观也有一些问题。例如，它的脚踝处有一道划痕，一些买家会担心它可能受过伤。

目前85号的所有者是埃及啤酒大亨艾哈迈德·扎耶特（Ahmed Zayat），他来到纽约州北部想要卖掉这匹马，同时再买几匹马。

和几乎所有的马主一样，扎耶特聘请了一个专家团队来帮助他选马，但他聘请的专家与其他马主聘请的专家略有不同。在这样的活动中，你看到的典型选马专家都是中年男子，大多来自肯塔基或佛罗里达的乡下，文化水平不高，但有从事赛马行业的家庭背景。然而，扎耶特聘请的专家来自一家名为EQB的小公司。EQB的负责人杰夫·塞德（Jeff Seder）可不是一个老派赛马界人士，而是一个出生于费城的怪人，他毕业于哈佛大学，有一大堆学历证书。

扎耶特曾经与EQB合作过，所以对其流程十分熟悉。塞德的团队需要几天时间对数匹马进行评估，然后会推荐5匹左右给扎耶特来替换85号。

可是这次和往常不太一样。塞德的团队向扎耶特反馈，他们无法满足他的要求。在当天出售的其余151匹马中，他们无法为他提供任何推荐。相反，他们提出了一个意想不到的强烈请求：扎耶特绝不能卖掉85号。EQB称，这匹马不仅是该次拍卖中最棒的马，而且是全年最好的马，甚至可能是十年难遇的好马。团队恳求他：“就算卖掉你的房子，也别卖这匹马。”[9]

第二天，一个自称因卡尔多·布拉德斯托克（Incardo Bloodstock）的人花30万美元悄然无息地买走了85号。后来人们才知道，这个布拉德斯托克就是艾哈迈德·扎耶特当时的化名。应塞德的请求，扎耶特买回了自己的马，这几乎是史无前例的事情了。（拍卖规则使扎耶特无法轻易买回自己的马，因此只能进行匿名交易。）拍卖中，有62匹马比85号价高，其中有两匹卖出了超过100万美元的高价。

三个月后，扎耶特终于为85号选定了名字：美国法老王。18个月后，在纽约市郊区一个气温75华氏度（约24摄氏度）的周六晚上，美国法老王成为30年来首个三冠王。

杰夫·塞德在85号身上看到了哪些别人看不到的东西？这个哈佛大学毕业生为何如此善于相马呢？

在佛罗里达州奥卡拉一个6月炙热的午后，我第一次见到了时年64岁的塞德，当时距离美国法老王赢得三连冠已有一年多了。[10]这场赛事为期一周，是专为两周岁马举办的一场展示，以拍卖会收尾，与扎耶特2013年买回自己的马的那场赛事几无差别。

塞德有着梅尔·布鲁克斯（Mel Brooks）般低沉的声音，头发浓密，走起路来一蹦一跳的，辨识度极高。他身着卡其色的背带裤和黑色衬衫，衬衫上印着公司的标识，耳朵上戴着助听器。

在接下来的三天里，他向我讲述了他的人生故事，以及他是如何越来越善于相马的。他走了不少弯路。在本科以优等生成绩毕业于哈佛大学后，塞德在哈佛大学继续攻读法学学位和商科学位。26岁时，他曾在纽约市花旗集团（Citigroup）担任分析师，但他并不快乐，而且疲惫不堪。有一天，他坐在列克星敦大街公司新办公室的中庭，仔细地端详一幅描绘乡间旷野的壁画。这幅画让他想起了自己对乡村和马的热爱。回到家，看着镜子里那个西装革履的自己，他意识到自己注定不会成为一名银行家，也无法在纽约生活。第二天早上，他便辞去了工作。

塞德搬到了宾夕法尼亚的乡下，在全身心投入自己相马的爱好之前，他曾尝试过纺织和运动医学等多领域的工作。赛马的数字很不精准。在奥卡拉拍卖会上展出的1 000匹两周岁马中，只有最受全美瞩目的那一匹（也许是5匹）最终会赢得比赛，拿到丰厚的奖金。其余的马又会如何呢？大约1/3速度太慢；1/3会受伤——绝大多数是因为四肢无力承受全速奔跑时的巨大压力[11]（每年都有数百匹赛马在美国的赛道上死亡[12]，多半是因为腿骨断裂[13]）；剩下的1/3可能患有人们所说的巴特比综合征（Bartleby syndrome）。巴特比是赫尔曼·梅尔维尔（Herman Melville）的杰出短篇小说中描写的代笔者，他不再工作，并以“我宁可不”来回应其雇主所提出的所有要求。许多赛马在竞技生涯的初期清楚地意识到如果它们不愿意就可以不跑。它们一开始可能会跑得很快，但是在某些时候，它们很容易就放慢速度或直接停下来。为什么要尽可能快地围着这个椭圆形跑，特别是还要忍受马蹄和跗关节的剧烈疼痛？于是它们选择“我宁可不”。（我知道巴特比综合征“患者”有一个弱点，不管是马还是人都有的弱点。）

有如此多的不利因素，马主如何才能选到一匹能赚大钱的马呢？过去，人们认为预测一匹马能否成功的最好办法是分析它的血统。作为一名相马专家，这意味着在任何人想要了解任何一匹马时，你得快速说出它父亲、母亲、祖父、祖母及兄弟姐妹的所有信息。例如，如果一匹大体型马的母方血系中有很多大体型马，代理人就会说“它体型如此庞大是有据可循的”。

但是，有一个问题。血统固然重要，却仍然只能作为赛马成功的很小一部分原因。想想那些“年度赛马”称号（赛马界最受瞩目的年度大奖）获得者的兄弟姐妹就明白了。这些马具有最佳血统——与世界上最好的马匹有着相同的家族史，但其中3/4以上都没有赢得大型比赛。[14]数据告诉我们，预测赛马成功的传统方式还有很大的进步空间。

实际上，血统预测性不强并不奇怪。想想人类吧。想象一下，一个NBA球队的老板根据球队成员的血统，在球员们10岁的时候就买下这支他未来的球队。他可能会聘请一名代理人来测试“魔术师”约翰逊的儿子埃尔文·约翰逊三世。[15]这名代理人可能会说：“目前看来，他的体型十分不错。遗传自约翰逊，有这样的体型是一定的。他应该会有远大的志向、无私的精神，体型好，速度快。他应该性格外向，为人友善，步伐矫健，风度翩翩。值得下这个注。”可惜的是，14年后，这位老板只会得到一个身高6英尺2英寸（约188厘米，对职业篮球运动员来说并不高）的《E!》栏目时尚博主。埃尔文·约翰逊三世或许在设计球服方面可以提供很多建议，但在球场上可帮不上什么忙。

除了这位时尚博主外，NBA球队老板可能还会像许多马主选马一样，忙不迭地签下迈克尔·乔丹的两个儿子杰弗里·乔丹和马库斯·乔丹，而他们后来不过是表现平平的大学生球员而已。倒霉的要数克利夫兰骑士队了，他们的领军人物勒布朗·詹姆斯的母亲身高只有5英尺5英寸（约165厘米）啊！[16]或者假定一个国家根据家族血统甄选领导人，那我们很可能会受小布什这样的领导人领导了。（不好意思，实在没忍住！）

除了血统外，赛马代理人还会考虑其他信息。例如，他们会分析两周岁马的步态，并以眼观马。在奥卡拉，我花了好几个小时和各种代理人聊天，通过长时间的交谈，我确信这些人实际的关注点完全没有共性可言。

除了这些收拾不住的矛盾和不确定性外，有些赛马买家好像钱多得没处花一样，留给我们的就是一个效率超低的市场。10年前，153号两周岁，跑得比任何一匹马都快，在大多数代理人眼里，它十分漂亮，而且有一个非常好的血统——它是有史以来最好的两匹赛马“北方舞蹈家”（Northern Dancer）和“秘书处”（Secretariat）的后裔。一位爱尔兰亿万富翁和一位迪拜酋长都想买下这匹马。双方陷入一场竞标战，而后很快就演变成一场脸面之战。由于数百名惊愕的赛马界人士在一旁观战，双方给出的标价越来越高，最后这匹两周岁马的售价高达1 600万美元，这是迄今为止最高的竞马价格。153号被命名为“绿色猴子”（The Green Monkey），后来只跑了三场比赛，挣了1万美元，就退役了。[17]

塞德对传统的相马方式毫无兴趣，他只对数据感兴趣。他计划要测量赛马的各种属性，看看其中哪些与它们的表现相关。值得注意的是，塞德在万维网面世5年之前就制订了他的计划，但他的策略在很大程度上是基于数据科学的。他的经验对任何使用大数据的人而言都十分受用。

多年来，塞德的追求给他本人带来的只有挫败感。他曾经测量过马的鼻孔大小，构建了世界上第一个（也是最大的）赛马鼻孔大小及其最终收益的数据集，结果发现鼻孔的大小并不能预测赛马能否成功。他曾经给马做心电图，检查它们的心脏；他曾经砍下死马的四肢，测量它们快速抽动的肌肉体积；他曾经在谷仓外面握着一把铁锹测定马粪的大小；他也曾经坚持认为在比赛前减掉过多的体重，赛马的速度会变慢。然而，所有这些与赛马的成功并无半点关系。

后来，在12年前，他取得了第一次重大突破。彼时塞德决定测量马匹内脏的大小。凭借当时的技术根本不可能完成这项工作，于是他自己组装了一部便携式超声波仪器。结果令人振奋。他发现，心脏的大小，尤其是左心室的大小，是赛马成功的重要预测指标，也是最重要的变量。另一个重要的器官是脾脏：脾小的马几乎一分钱都赚不了。

塞德还有更多的发现。他将数千段赛马比赛的视频资料数字化，发现某些步法确实与比赛成功相关。他还发现，一些两周岁马在开跑0.125英里（约200米）后会发出呼哧呼哧的喘息声。这样的马有时会卖到100万美元，但是塞德的数据告诉他，这样的马是不会赢得比赛的。于是他派了一名助理坐在终点线附近，排除掉那些开跑不久就喘息的马。

在奥卡拉拍卖会上，1 000匹马中大概只有10匹能通过塞德的所有测试。他完全忽略血统，除非血统会影响马匹的售价。“血统告诉我们，一匹马可能有那么一丝机会是一匹好马，”他说，“但是如果我能看出它是一匹好马，又何必在意它的出身呢？”

一天晚上，在奥卡拉，塞德邀请我到他入住的希尔顿酒店房间去。在房间里，他向我讲述了他的童年、家庭和事业，给我看了他妻子、女儿和儿子的照片。他告诉我在费城念中学时，他是学校里仅有的三个犹太学生之一。他入学的时候身高4英尺10英寸（约146厘米）（念大学时长到了5英尺9英寸）。他告诉我他最喜欢的马叫宾奇·皮兹万斯基。塞德买下了这匹马，并以一名同性恋骑手的名字为它命名。他觉得即使宾奇不是最成功的马，也一定是每场比赛都全力以赴的马。

最后，塞德向我展示了一份文件，其中包含他当年记录的85号的所有数据，这份文件成就了他职业生涯中最成功的预测。他这是在透露自己的秘密吗？或许是吧，但他说他不在乎。对他来说，与保守自己的秘密相比，证明自己是正确的才更重要。他想向全世界证明，这20年来，为了了解马，砍马腿、铲马粪、装配超声波仪器等都是值得的。

表3–1是85号的一些数据。





表3–1 一周岁马85号（后称“美国法老王”）的百分位数





很显然，这就是塞德和他的团队对85号如此痴迷的原因，它的左心室大小的百分位数竟然有99.61！

不仅如此，这匹赛马的其他所有重要器官，包括心脏和脾脏在内，也都大得异乎寻常。塞德发现，一般来说，赛马的左心室越大，在比赛中成绩就越好，但是，如果左心室如此之大，其他器官却很小，则可能是患有疾病的征兆。美国法老王所有关键器官的大小都高于平均水平，左心室更是超大。数据表示，85号是十万里挑一甚至百万里挑一的好马！

数据科学家可以从塞德的项目中学到什么呢？

首先，或许也是最重要的一点，如果你想尝试使用新的数据来革新一个领域，那么最好是进入一个旧方法不见效的领域。被塞德击败的那些沉迷于血统的赛马代理人为该领域留下了很大的改进空间。被谷歌打败的那些痴迷于数据的搜索引擎也为该领域留下了进步空间。

谷歌试图用搜索数据预测流感的做法有一个弱点，即只要使用上周的数据和简单的季节性调整，就已经能够非常准确地预测流感了，而目前人们对应该添加多少搜索数据到这个简单又强大的模型中仍然争论不休。[18]在我看来，谷歌搜索在测量健康状况的领域取得突破的可能性更大，因为该领域现有的数据较少，长远来看，类似谷歌性病（Google STD）这样的内容或许比谷歌流感更有价值。

其次，试图做预测时，不必太担心模型的工作原理。塞德无法向我透彻地解释为什么左心室大小对预测马匹成功如此重要，也无法准确地说明脾脏的价值。也许有一天，马心脏病学家和血液学家将会解开这些谜团，但现在这个问题无关紧要。塞德在做的是预测工作，而不是解释工作。在预测工作中，你只需要知道什么东西有用，无须知道为什么。

例如，沃尔玛通过其所有店铺的销售数据了解什么产品应该上架。2004年，在飓风“弗朗西斯”袭击美国东南部之前，沃尔玛准确地猜测到，当飓风即将来临时，人们的购物习惯可能会改变。他们通过分析以前飓风来袭时的销售数据了解人们可能想要购买什么。答案是什么？草莓馅饼。[19]在飓风前几天，这种产品的销售速度比正常情况下快7倍。

根据他们的分析，沃尔玛满载草莓馅饼的卡车在95号州际公路上驶向飓风途经的地区。事实证明，这些馅饼确实卖得不错。

为什么是馅饼？可能是因为它们不需要重新冷藏或烹饪吧。为什么是草莓味？没有头绪，但是当飓风袭来时，显然人们会购买草莓馅饼。所以，在飓风来临的前几天，沃尔玛会照例在货架上摆上一盒又一盒的草莓馅饼。这种联系的原因并不重要，重要的是联系本身。也许有一天，食品科学家会弄清楚飓风和以草莓酱为馅料的糕点之间的关系，但是，在等待解释的期间，沃尔玛仍然需要在飓风来临前在货架上摆上草莓馅饼，并为晴好的天气储存脆米棒。

普林斯顿大学经济学家奥利·阿申费尔特（Orley Ashenfelter）的故事也明确阐释了同样的道理。塞德之于马，好比阿申费尔特之于红酒。

十多年前，阿申费尔特十分沮丧。此前他一直从法国波尔多地区购买大量红葡萄酒。有时候这种酒味道很棒，配得上它的高价，但更多的时候不尽如人意。

阿申费尔特想知道，为什么他花同样的价钱买来的酒，味道却相去甚远？

有一天，一位记者朋友，同时也是一名葡萄酒鉴赏家告诉阿申费尔特一个小诀窍，确实有一种方法可以确定一瓶酒的好坏。这位朋友告诉他，关键要看酿酒所用的葡萄生长季节的天气。

阿申费尔特对此产生了浓厚的兴趣。他试图弄清楚这一说法是否属实，这样一来他便可以每次都买到好葡萄酒了。他下载了波尔多地区30年来的天气数据，还收集了葡萄酒的拍卖价格。在葡萄酒初售多年后的拍卖会上，拍卖行会告诉你这瓶葡萄酒的来龙去脉。

结果十分惊人。葡萄酒的质量好坏在很大程度上可以简单地通过葡萄生长季节的天气解释。

事实上，葡萄酒的质量可以分解为一个简单的公式，我们可以称之为葡萄栽培第一定律：


价格=12.145 + 0.001 17×冬季降水量+ 0.061 4×平均生长季节气温– 0.003 86×收获季节降水量




那么，为什么波尔多地区的葡萄酒质量是这样的情况呢？葡萄栽培第一定律的原理是什么呢？阿申费尔特对葡萄酒公式做过一些解释——热量和早期的灌溉是葡萄正常成熟的必要条件。

他的这一预测公式的确切细节远远超出了所有理论的范畴，即使是这一领域的专家也不可能完全理解。

为什么1厘米的冬季降水量平均可以为一瓶成品红葡萄酒增加0.1美分的价格呢？为什么不是0.2美分？为什么不是0.05美分？没有人可以回答这些问题，但如果这里的冬天有额外的1 000厘米降雨，你应该愿意为一瓶葡萄酒多付1美元。

的确，尽管阿申费尔特不知道为什么他的回归运算会那样运行，但可以用它来购买葡萄酒。据他说这个公式“非常好用”[20]，他喝的葡萄酒质量得到了明显的提高。

如果你的目标是预测未来（什么样的葡萄酒好喝，什么样的产品会大卖，什么样的马跑得快），不必太担心你的模型为什么会那样运行，只要得到的数字是正确的就可以了。这是杰夫·塞德那个关于马的故事的第二个启示。

从塞德成功预测潜在的三冠王的经验中得到的最后一个启示是，在确定什么是数据时，你必须抱有开放而又灵活的心态。在塞德之前，传统的赛马代理人并非不知道数据。他们也会仔细检查比赛次数和血统图表。塞德的天才之处在于，他会寻找他人从未关注过的数据，还会考量非传统的数据来源。对一位数据科学家来说，一个全新的独特视角是一定会带来回报的。





文字数据


2004年的一天，两位有着媒体专业背景的年轻经济学家（时为哈佛大学在读博士生）正在阅读马萨诸塞州新近关于同性婚姻合法化的一项法庭判决。

马特·根茨科（Matt Gentzkow）和杰西·夏皮罗（Jesse Shapiro）这两位经济学家注意到一件有趣的事：两家报纸采用完全不同的措辞来报道同一新闻事件。以保守著称的《华盛顿时报》（Washington Times）给新闻报道加了这样的标题：同性恋者在马萨诸塞州“结婚”。著名的自由派报纸《华盛顿邮报》（Washington Post）则报道称“同性伴侣”大获全胜。

不同的新闻机构会偏向不同的方向，不同的报纸在报道同一新闻时也会有不同的侧重点，这都不足为奇。事实上，多年来根茨科和夏皮罗都在思考他们能否运用自己的经济学知识来帮助自己理解媒体偏好。为什么有些新闻机构采取一种更加自由的观点，而其他新闻机构却采取一种更加保守的观点呢？

这两位确实不知道该如何解决这个问题，他们不知道如何才能系统而客观地衡量媒体的主观性。

关于同性婚姻的报道，让根茨科和夏皮罗觉得有趣的不是新闻机构对其报道的不同，而是如何不同——其原因可归结为选词的巨大差异。2004年，《华盛顿时报》使用了“同性恋者”一词，还带着轻蔑老套的口吻用它来描述同性恋者；而《华盛顿邮报》使用的则是“同性伴侣”一词，强调同性爱情只是爱情的另一种形式。

两位学者想知道语言到底是不是理解偏好的关键点。自由派和保守派一直都使用不同的短语吗？报纸文章使用的词语能转换成数据吗？这能揭示美国报纸的什么内情？我们能推断出一家报纸是自由派还是保守派吗？我们能找到其中的原因吗？2004年，这些并非悬而未决的问题。美国报纸上数十亿的单词早已不用再囿于新闻报纸和缩微胶卷的形式。某些网站现在能记录美国几乎每家报纸的每个报道里的每个单词。根茨科和夏皮罗可以把这些网站研究透彻，从而快速测试出文风能够衡量报纸偏好的程度。而且，这项工作也可以帮助他们加深人们对新媒体运作方式的理解。

在论述他们的发现之前，让我们暂且放下根茨科和夏皮罗的故事，放下他们想要量化报纸文风的目的，先来谈谈各领域的学者如何使用这种新型数据（文字）来更好地了解人性。



当然，语言一直都是社会科学家感兴趣的话题。然而，过去研究语言通常需要精读文本，将大量文本转化成数据在那时是行不通的。现在，有了电脑和数字化技术，从大量文件中列出词语成了一件容易的事，语言也因此成了大数据分析的目标。谷歌网站使用的链接由文字组成，我研究的谷歌搜索也是如此。文字在本书中常常起到重要的作用，但是语言对大数据革命极其重要，它值得拥有属于自己的一席之地。事实上，现在语言使用得太多了，因而有了“文本数据”这一专门研究领域。

这一领域的一项重大进步就是词频统计器谷歌Ngrams的出现。几年前，埃雷兹·艾登（Erez Aiden）和让–巴蒂斯特·米歇尔（Jean-Baptiste Michel）这两位年轻的生物学家为了探索关于某些词语用法的传播途径，吩咐他们的研究助手在多篇布满灰尘的古老文本里逐个数单词。一天，艾登和米歇尔听说谷歌公司有一个新项目，要将世界上大部分的书籍数字化，这两位生物学家不约而同地立即断定，文字数字化将成为了解语言历史的更加简单的途径。

艾登告诉《探索》（Discover）杂志：“我们意识到自己的研究方法过于陈旧。很显然，我们无法与数据化这一强大的力量抗衡。”因此，他们决定与谷歌公司合作。有了谷歌搜索引擎的帮助，他们创建了一项服务，可以在数以万计的数字化书籍中搜索特定词语或短语。这项服务会告诉研究人员某个词语或短语在1800—2010年中每一年出现的频率。

那么，从词语或短语在不同年份出现在书中的频率，我们能了解到什么呢？我们可以了解到香肠的受欢迎程度在缓慢提升，而比萨的受欢迎程度在最近几年出现了快速增长（见图3–1）。





图3–1 香肠和比萨在1800—2010年的受欢迎程度





除此之外，通过搜索，我们还可以获得很多重要得多的信息，例如，谷歌Ngrams可以告诉我们民族认同感是如何形成的。艾登和米歇尔的力作《可视化未来》（Uncharted）为我们提供了一个有趣的例子。

先问一个简短的问题：你认为现在的美国是一个统一的国家还是一个分裂的国家？如果像大多数人一样，你就会因高度的政治极化现象而说现在的美国是一个分裂的国家，你甚至可能会说美国这个国家从古至今一直是分裂的。毕竟这个国家现在被打上了有色标码：红色州拥护共和党，蓝色州支持民主党。在《可视化未来》一书中，艾登和米歇尔发现了一个有趣的数据点，揭示了美国历史上的分裂状况有多么严重。这个数据点就是人们谈论国家时所用的语言。

请注意我在前段文字中说到美国分裂状况时使用的词语。我曾写过这么一句话：“现在的美国是一个分裂的国家。”我把“美国”视作“一个”国家，这是理所当然的，因为这既符合语法又符合使用标准。我确信你之前肯定没注意到这一点。

然而，美国人并非一直这样说。建国初期，当时的美国人是用“美利坚合众国”（United States）一词来表达“合众国”这一复数概念的。例如，约翰·亚当斯（John Adams）在1799年的《国情咨文》演讲中就曾提到“美利坚合众国与英国陛下签订的诸项条约”。如果本书写于1800年，我可能会说：“现在的美国是分裂的国家。”这一语言使用上的细微差别对历史学家来说一直都具有极强的吸引力，因为这表明曾经有那么一刻美国不再将自己视为各州的集合体，而是开始作为一个国家出现。

那么，这是什么时候发生的事呢？《可视化未来》一书告诉我们，历史学家也不确定是什么时候，因为没有系统的方法能够测试这一时间点，但是很多人一直猜测转变的原因是美国内战，即南北战争。事实上，美国历史学会前主席、普利策奖得主詹姆斯·麦克弗森（James McPherson）曾直言不讳地说：“南北战争见证了美国从各州集合体到单一国家的转变。”

但事实证明麦克弗森错了。谷歌Ngrams向艾登和米歇尔提供了一种系统的方法来检验这一点。他们可以查看美国书籍在历史上每一年“美利坚合众国”（The United States are...）与“美国”（The United States is...）使用频率的对比。在南北战争之前，两种说法的转换相对平缓；在南北战争完全结束后，这种转换才开始急速加快（见图3–2）。





图3–2 “美利坚合众国”与“美国”在美国书籍中的使用频率





南北战争结束15年后，“美利坚合众国”的使用量仍然要比“美国”多，这也表明当时美国在语言方面仍然是分裂的，因为军事胜利要比思想转变发生得更快。



一个国家的统一就先说到这儿。那么，男性和女性如何统一呢？关于这一点，文字也能发挥作用。

例如，通过男性和女性首次约会时说话的方式，我们就能预测他们会不会还有第二次约会。

这项研究是由斯坦福大学和西北大学跨专业团队的科学家发起的，他们分别是丹尼尔·麦克法兰（Daniel McFarland）、丹·朱夫斯凯（Dan Jurafsky）和克雷格·罗林斯（Craig Rawlings）。他们研究了数百位异性速配约会者，并试图查明什么因素可以预测男女双方对彼此有感觉并想有第二次约会。[21]

首先，他们使用了传统数据，询问了约会者双方的身高、体重和爱好，并且测试了这些因素是如何与同某人擦出浪漫火花联系起来的。一般来说，女性更喜欢高大并且愿意分享爱好的男性，男性则更喜欢苗条并且愿意分享爱好的女性。这没什么新鲜的。

其次，科学家也搜集了一种新型数据。他们让约会者随身带上录音机，随后对约会的录音做了数字化处理，这样就能够记录男女双方使用的词汇、笑声和说话的语气了。他们据此可以测试男女双方如何表示对对方有感觉，也可以测试约会双方是如何赢得对方好感的。

那么，这些语言数据告诉了我们什么呢？它们告诉我们男性（女性）如何表达自己对女性（男性）的好感。男性有一种表现方式非常明显：他会对女性讲的笑话做出相应的回馈。另一种方式则隐晦一些：说话时，他会把声音大小控制在一定范围内。一项研究表明，女性常会把男性单调的声音视为阳刚之气，这也暗示如果男性对一名女性感兴趣，他们可能会下意识地夸大自身的阳刚之气。

科学家发现女性会通过改变声音大小、讲话更加温柔和采取更简短的轮流谈话表达自己对男性的兴趣。同样，基于女性使用的特定词汇，我们也有可以展现女性兴趣的线索。当女人使用诸如“大概”或“我猜”这类模棱两可的表达时，就表明她们不大可能喜欢正在约会的男人。

男同胞们，如果一名女性就某个话题不做正面回答（如果她“有几分”喜欢她的饮料或“有点儿”冷或“可能”想另点开胃菜），你就可以肯定她“有几分”“有点儿”“可能”不喜欢你了。

当女人谈论她自己时，她才有可能对你感兴趣。结果表明，对一个想找女朋友的男人来说，从一个女人口中能听到的最漂亮的词就是“我”了，因为这是她感到舒服的一个标志。如果一个女人使用具有凸显自我性质的表达时，比如“你知道吗”和“我的意思是”这样的说法，就说明她可能喜欢正与她约会的男人。为什么呢？因为科学家发现这些表达能够吸引听者的注意，这些字眼友好、温暖，而且说明一个人正希望与对方产生联系，你懂我的意思，对吗？

那么，男女双方又该如何交流才能让约会对象对自己感兴趣呢？数据告诉我们，男性可以采用多种说话方式来增加女性喜欢自己的概率。女性喜欢听从她们意见的男性。可以想见，如果一名男性能对一名女性讲的笑话做出相应的反应，并且没有把话题转到自己想聊的事上，而是一直谈论她发起的话题，那么这名女性就很有可能对男方产生好感。（我正在研究的一个理论是：大数据证实了已故的伦纳德·科恩（Leonard Cohen）所说的一切。例如，伦纳德·科恩曾为他的侄子追求女性提出如下建议：“仔细听女人说话，然后继续听下去。当你觉得自己快听不下去的时候，再忍着听一会儿。”[22]这个建议似乎和科学家的发现大致相似。——作者注）女性也喜欢表达支持和有同情心的男性。如果一名男性说“那太棒了”或“那简直太酷了”，那么他更有可能获得女性的青睐。同样，如果他使用“那肯定很难”或“你一定很伤心”这样的表达，也会有相同的效果。

对女性来说，这里会有一些不好的消息，因为数据好像证实了有关男性的一个令人不快的事实。在男性如何回应女性方面，对话发挥的作用非常小，女性的外貌才是预测男性是否会对其产生好感的最重要因素。即使是这样，仍然有一个词，女性可以用来略微增加男人喜欢她的概率，而这个词我们早已讨论过了，它就是“我”。男人更可能喜欢总是谈及自己的女人。正如前文所述，如果女性在一次约会中多次谈及自己，这说明她也对约会的男性有好感。因此，如果首次约会时男女双方谈了很多关于女方的事，那肯定是一个超棒的征兆。女性传递出感到舒适的信号，并且可能会对这位男性没有独占整个对话表示欣赏，而男性则喜欢不拘谨的女性。如此一来，第二次约会就八九不离十了。

最后，约会记录透露了一个约会的大忌：问号。如果约会中有人不断提问，那么男女双方都不太可能对对方产生好感。这似乎是有违直觉的，你或许认为提问就代表着感兴趣，但在第一次约会时不是这样的。第一次约会时，大多数问题都是因为无话可说。“你有哪些爱好啊？”“你有几个兄弟姐妹？”这些问题是对话停滞时人们才会说的话。完美的初次约会可能在行将结束时有一个简单的提问：“你愿意再次和我约会吗？”如果这是约会中唯一的提问，那么答案很可能就是“我愿意”。

男性和女性不仅在追求异性时说话方式不同，而且他们的说话方式总体来看就是不同的。

一个心理学家团队分析了脸谱网帖子中使用的数十万个单词，检测了男女双方对于每个单词的使用频率。[23]由此他们就可以断定，在英语语言中哪些是最男性化的单词，哪些又是最女性化的单词。

唉！这些用词偏好其实很多时候是很明显的。例如，与男性相比，女性谈论“购物”和“我的发型”的频率更高，男性说起“足球”和“游戏机”的频率则要比女性更高。也许根本就不需要一个研究大数据的心理学家团队来告诉你这些。

然而，有些发现更有趣。可能因为男性不善于未雨绸缪，所以女性比男性更常使用“明天”一词。为单词“so”添加字母“o”是最具女性化的语言特点之一。女人使用的最不符合语法习惯的单词有“soo”“sooo”“soooo”“sooooo”“soooooo”。

可能是因为儿时总和时不时就爆粗口的女性待在一起，所以我总觉得说脏话的概率在性别上是平衡的，可事实却并非如此。男性比女性使用更频繁的词是“狗屁”“放屁”“他妈的”“王八蛋”等。

我喜欢这个研究的原因是，新数据告知我们早就存在但我们不一定知道的模式。男性和女性的说话方式一直都不同，但是数万年来，一旦某个声波在时空中消逝，它的数据便会消失。现在，这一数据不仅可以保存在电脑中，而且可以被用来进行分析处理。

考虑到我本人的性别，我或许会说：“过去，文字常他妈的玩消失，如果真他妈的有人在意的话，现在我们可以不看球赛、不玩游戏，而是去学这个破玩意儿。就这么回事，如果有哪个蠢货这么他妈在意的话！”

说话方式不同不仅仅限于男性和女性之间。随着年龄的增长，人们也会使用和以前不一样的词汇。这甚至可以为我们提供一些人类衰老过程的线索。年少时爱喝酒，20多岁时忙工作，而立之年以后开始祈祷。

有一个强大的文本分析新手段好像叫情绪分析。如今科学家可以判断一个特定文本的篇章有多么开心或多么失落。

如何判断呢？许多科学家团队都曾邀请很多人对英语语言中数以万计的积极或消极的词语进行编码。根据这一方法，最积极的词语有快乐、爱和棒极了，而最消极的词语则有伤心、死亡和沮丧。如此一来，他们就建立了一大套情绪词汇的索引。

运用这一索引，他们就能测量一段文本篇章中词汇的大致情绪。如果有人写道，“我很快乐，也有人爱，因此感觉很棒”，情绪分析就会将这一句话按极快乐文本编码；如果有人写道，“一想到世上有人死亡，有人沮丧，我就很伤心”，情绪分析则会将其按极伤感文本编码。其余文本篇章的情绪则在这两者之间。

所以，为文本情绪编码时你能了解到什么？脸谱网的数据科学家已经透露了一个激动人心的可能性——他们可以评估一个国家每天的国民幸福指数！如果人们的状态信息趋于积极，那么我们就认为这个国家在这一天是快乐的；如果人们的状态信息趋于消极，那么我们就认为这个国家在这一天是不快乐的。

在脸谱网数据科学家的发现中有这么一项：圣诞节是一年中最快乐的日子之一。现在，我对这项研究心存怀疑，而且对整个项目都持怀疑态度。一般而言，我认为很多人在圣诞节会偷偷伤心，因为他们很孤单，或者与家人发生争执。更多的时候，我不相信脸谱网的状态更新，原因我会在下一章中具体描述——也就是说，我们在社交媒体上呈现的生活通常是一派谎言。

如果你在圣诞节孤身一人，感到难受，你真的想要通过发帖说自己有多不开心，打搅你所有的朋友吗？我猜很多人圣诞节都过得不开心，但他们依然会在脸谱网上发帖称自己非常感激这“奇妙、精彩、神奇、快乐”的生活，然后他们就被贴上了大幅提高美国国民幸福指数的标签。如果真想要了解国民幸福指数，我们应该更多地使用脸谱网状态更新以外的资源。

尽管如此，但总体而言，圣诞节是一个快乐的日子这一发现，似乎也有一定的道理。谷歌的搜索和盖洛普民意调查都告诉我们，圣诞节是一年中最快乐的日子之一。与城市神话相反，自杀率会在节日期间下降。即使有些人在圣诞节无人相伴，十分伤心，也有更多的人是快乐的。

如今，当人们坐下来阅读时，大多数时间都在浏览脸谱网上的状态更新，但是就在不久以前，人们还会阅读故事，有时候还会沉浸书海。对于这一点，情绪分析也会教给我们很多。

由加州大学伯克利分校信息学院的安迪·里根（Andy Reagan）领导的一个科学家团队，下载了数千个书籍和电影字幕文本。[24]他们随后为每个故事编码，确定这些故事是开心还是悲伤的。

以《哈利·波特与死亡圣器》（Harry Potter and the Deathly Hallows）为例。在里根领导的科学家团队看来，图3–3是随主要情节变化而变化的故事情绪。





图3–3 《哈利·波特与死亡圣器》中的故事情绪


注：由@HEDONOMETER团队和@ANDYREAGAN提供可视化分析，STRAY-CATS-@HOTMAIL.COM网站的基尔希负责插图。




请注意，情绪分析检测的许多情绪起伏是与主要事件相对应的。

大多数故事的结构都很简单。以莎士比亚的悲剧《约翰王》（King John）为例，在这出戏剧中，没什么好事发生。英国国王约翰被迫宣布退位。他因不服从教皇而被逐出教会。紧接着就爆发了战争。他的侄子死了，很可能死于自杀。其他人也死了。最终，约翰国王被一个早已心存不满的僧侣毒害而死。

图3– 4是随剧情发展而作的情绪分析图。

换句话说，仅仅依靠文字，电脑就可以检测事情逐渐恶化到最严重程度的过程。





图3–4 《约翰王》的剧情发展情绪分析图





或者以电影《127小时》（127 Hours）为例。以下是这部电影的基本情节：


一位登山爱好者到美国犹他州峡谷地国家公园徒步旅行。一开始还有其他旅行者做伴，但后来他就与他们分开了。突然间他失足滑倒，撞到了一块巨石，巨石压住了他的右手和手腕。他尝试了各种方法来挣脱巨石，但都失败了。他越来越沮丧。最终，他砍断手臂，成功逃了出来。后来，他结了婚，组建了家庭，但仍旧喜欢登山，尽管他现在每次离家去登山时都要留下一张便条。




图3–5是随电影情节推进而作的情绪分析图，制作者依然是里根团队的科学家。





图3–5 《127小时》情节推进情绪分析图





那么，我们从数千个此类故事的情绪变化中了解到了什么呢？

电脑科学家发现，相当多的故事都符合以下6种相对简单的结构中的一种。借用里根团队的一幅图来看，这些结构如下：


由穷变富（情绪上升）

由富变穷（情绪下降）

陷入绝境，然后成长（情绪先下降，后上升）

伊卡洛斯式（情绪先上升，后下降）

辛德瑞拉式（情绪先上升，后下降，再上升）

俄狄浦斯式（情绪先下降，后上升，再下降）




可能还有一些细微之处与这个简单的总结不符。例如，尽管在情绪低落过程中情绪会暂时上升，《127小时》依旧属于陷入绝境，然后成长的故事。大多数故事的整体结构符合六大类别之一，但《哈利·波特与死亡圣器》是个例外。

我们还能回答很多其他问题。例如，故事结构如何随时间的推移发展变化？故事会随时间的推移变得越来越复杂吗？在他们所讲的各种类型的故事中，文化会有所不同吗？人们最喜欢什么类型的故事？不同的故事结构会同时吸引男性和女性吗？会同时吸引不同国家的人吗？

最终，文本数据可能会提供我们一些前所未有的看法，帮助我们了解观众的真正需求，而这些需求与作者或高管认为的观众需求有所不同。已经有线索指向了这一方向。

我们来看看沃顿商学院的乔纳·伯杰（Jonah Berger）教授和凯瑟琳·L.米尔科曼（Katherine L. Milkman）教授的研究，他们的研究主题是人们会分享什么类型的新闻报道。[25]他们测试过到底是正面报道还是负面报道更有可能登上《纽约时报》邮件分享频度最高的名单。他们下载了近三个月以来《纽约时报》上刊登的所有文章。运用情绪分析方法，两位教授将这些文章的情绪进行了编码。正面报道的例子包括“满眼新奇的新来者爱上了这座城市”和“慈善托尼奖”。诸如“韩星自杀：网络谣言之过”和“德国：幼年北极熊饲养员之死”这类报道毫无疑问就是负面的。

两位教授也有报道排版位置的信息。是在主页吗？在右上角？左上角？他们也有故事刊登时间的信息。上周二晚上？周一早上？

他们可以比较两篇报道（一篇是正面的，另一篇是负面的）在相似的时间段刊登在《纽约时报》相似的位置，看哪篇更有可能被分享。

那么，哪篇会被分享呢？正面的还是负面的？

答案是正面的报道。正如作者总结的那样：“故事越积极向上，文本内容就越有可能得到传播。”

我们注意到，这似乎与新闻界习以为常的至理名言（人们会被暴力和灾难性的报道吸引）截然相反。新闻媒体可能确实向我们展示了很多负面的新闻报道。编辑室里有句俗话是这么说的：“只要新闻见红，报道就能走红。”然而，沃顿商学院这两位教授的研究表明，人们真正想要的可能是更多的正面报道。于是可能会产生一句新俗话——“只要新闻正能量，报道分享就看好”，尽管这句真的不那么上口。



关于伤心和快乐的文本就先说这么多。来看另一个问题，如何分辨哪些词汇是自由党偏向，哪些是保守党偏向呢？这一偏向又向我们展现了现代新媒体的哪些方面呢？这个问题有点儿复杂，也把我们的思绪拽回到根茨科和夏皮罗的研究上。还记得吗，他们就是前文提到的那两位发现同性婚姻在不同报纸上描述不同的经济学家，他们很想知道能否使用语言揭露政治偏好。

这两位雄心勃勃的年轻学者做的第一件事就是审查《美国国会议事录》（Congressional Record）。因为《美国国会议事录》早已实现了数字化，所以他们可以下载2015年每一位民主党国会议员和每一位共和党国会议员使用的每一个单词。这样他们就能查看某些短语更有可能由民主党人使用还是由共和党人使用。

有些短语确实是这样的。表3–2中列举的是几个例子。





表3–2 民主党人和共和党人的用词偏好





这些语言差异存在的原因是什么？

有时民主党人和共和党人会使用不同的短语描述同一概念。2005年，共和党人试图削减联邦遗产税，他们倾向于将遗产税描述为“死亡税”（听起来就像对刚刚过世的人强制征税），民主党人则将其描述为“地产税”（听起来像在对富人收税）。无独有偶，共和党人试图将社会保障金转移到个人退休金账户里，对他们而言，这是一次“改革”；然而，对民主党人而言，这更像一次耸人听闻的“私有化行为”。

有时语言上的差异只是反映了强调重点的不同。共和党人和民主党人可能都对民权运动英雄罗莎·帕克斯极为敬重，但是民主党人提到她的频度要比共和党人高。同样，民主党人和共和党人可能都认为伊拉克前领导人萨达姆·侯赛因是一个罪恶的独裁者，但为了证明伊拉克战争是正当合法的，共和党人便反复提及这位伊拉克前领导人。同理，“劳工权”和关心“贫民”是民主党人的核心原则，“私有财产权”和削减“政府开支”则是共和党人的核心原则。

这些语言使用频度的差异也是非常明显的。例如，2005年共和党国会议员使用“死亡税”一词365次，而使用“地产税”一词仅仅46次。对民主党国会议员来说，正好相反。他们使用“死亡税”一词仅仅35次，但对“地产税”一词的使用则达到了195次。

许多学者意识到，如果这些词汇能告诉我们一位国会议员是民主党人还是共和党人，那它们也能告诉我们一家报纸是激进的还是保守的。正如共和党国会议员更有可能使用“死亡税”这一说法来劝服人们抵制这一用法一样，保守派的报纸可能也会做同样的事。相对自由的《华盛顿邮报》使用“地产税”的频率比“死亡税”高13.7倍，但是保守的《华盛顿时报》对这两种表达的使用次数几乎是一样的。

多亏了互联网带来的奇迹，根茨科和夏皮罗才能对全美多家报纸使用的语言进行分析。这两位学者使用的是newslibrary.com和proquest.com两家网站，这两家网站共同对433家报纸进行了数字化处理。他们随后计算了1 000个这类带有政治色彩的短语在报纸上的使用频率，以测试报纸的政治倾向。通过这种方法，他们测试出最自由的报纸是《费城每日新闻》（Philadelphia Daily News），而最保守的则是《比林斯（蒙大拿州）公报》［Billings（Montana） Gazette］。

对众多媒体的偏好有了第一次全面衡量之后，你就能回答那个也许算作新闻界最重要的问题了：为什么有些出版物偏激进，而其他的却偏保守呢？[26]

两位经济学家很快就找到了一个关键因素：特定地区的政治倾向。如果一个地区总体上是自由开放的，比如费城和底特律，那么当地的主流报纸就会倾向于自由。如果一个地区更偏向保守，如比林斯和得克萨斯州的阿马里洛，那么当地的主流报纸则会倾向于保守。换句话说，这一证据明确表明了各家报纸都倾向于“想读者所想”。

你或许以为报纸的所有者会对其新闻报道的倾向施加影响，但是一般来说，一家报纸的所有者对其新闻报道的政治偏好的影响比我们想象的要小。各位请注意，当同一个人或同一家公司在不同的市场都拥有报纸时会发生什么事呢？以纽约时报公司为例。在大约70%的人口都支持民主党的纽约市，这家公司拥有根茨科和夏皮罗验证为自由派的《纽约时报》。在大约70%的人口都支持共和党的南卡罗来纳州斯帕坦堡，这家公司旗下的《斯帕坦堡先锋报》（Spartanburg Herald-Journal）则偏向保守。当然，也有例外情况：鲁珀特·默多克（Rupert Murdoch）的新闻集团拥有的就是人人都认为很保守的《纽约邮报》（New York Post）[27]。总体而言，有发现表明市场对报纸倾向的决定作用要比报纸所有者大得多。

这项研究深刻影响了人们对新闻媒体的看法。很多人（尤其是马克思主义者）都认为美国新闻业由富人或致力于影响大众的企业控制着，以此让大众接纳他们的政治观点。然而，根茨科和夏皮罗的研究表明，这并不是报纸所有者的主要动机。相反，美国报纸的所有者主要是为大众提供他们想要的报道，如此他本人就可以越来越富有了。

哦，还有一个问题——一个很大的、颇具争议的，甚至是更具煽动性的问题。平均而言，美国的新闻媒体偏左还是偏右？整个媒体业平均而言是偏自由还是偏保守？

根茨科和夏皮罗发现各家报纸整体偏左。一般的报纸在词汇的使用上更接近民主党国会议员而不是共和党国会议员的风格。

保守派的读者可能会说：“看，我早就和你说过了！”很多保守人士很久以来一直都在怀疑许多报纸已经有了偏好，目的就是操纵大众支持左翼的观点。

但作者们不这么认为。事实上，自由主义的偏向目前很好地适应了报纸读者的需求。平均而言，报纸的读者有点儿左倾（这一点他们有数据为证）。因此，报纸一般会稍微左倾，为读者提供他们需要的观点。

这里没有阴谋，有的只是资本主义。

根茨科和夏皮罗的研究结果显示，新闻媒体和世界上所有其他行业的运作方式如出一辙。超市总会搞清楚人们喜欢什么口味的冰激凌，然后将这样的冰激凌摆满货架；同理，新闻媒体也会获悉人们想看到哪些观点，然后将这些观点融入报纸的每条新闻中。夏皮罗告诉我：“这就是生意。”[28]将新闻、分析、观点这类复杂的事物细分和量化为基本的组成部分——词之后，你就会明白这个道理。





图片数据


长久以来，学术界人士或商界人士想要获取数据时，会进行调查，那些数据清一色来源于问卷调查中的数字或选项。而今的情势已然不同，那个规整的、清晰的、简单的、基于调查的数据时代已经结束了。在这个新时代，我们生活中留下的杂乱痕迹已经变成了数据的主要来源。

我们已经了解到文字是数据，点击量是数据，链接是数据，错别字是数据，梦中的香蕉是数据，人的语气是数据，喘息声是数据，心跳是数据，脾脏大小是数据。我认为，搜索是最具启发性的数据。

事实证明，图片也是数据。

文字曾经局限于那些摆放在落满尘埃的书架上的书籍和刊物中，而今已经实现了数字化；同样，图片也已经从相册和纸箱中解放出来，转换成数位，存入云端。文本可以给我们上历史课，例如向我们展示人们说话方式的变化；同样，图片也能给我们上历史课，例如向我们展示人们拍照方式的变化。

以一项具有独创性的研究为例，这项研究是由布朗大学和加州大学伯克利分校的4位电脑科学家组成的团队发起的。他们利用了数字化时代的发展：许多高中已经电子扫描了其历史年鉴，可以在线获取。纵观网络，研究人员发现了949本1905—2013年间美国高中的扫描版年鉴，其中包括数万张毕业生照片。[29]运用电脑软件，他们能够从每10年的所有照片中创造一张大众脸。也就是说，他们能勾勒出人们的鼻子、眼睛、嘴唇和头发的一般位置与形状。图3–6是一个多世纪以来的大众脸，按性别分类。





图3–6 一个多世纪以来的大众脸





注意到什么了吗？美国人（尤其是美国女性）开始微笑了。他们从20世纪初的几乎面无表情到最后满脸笑容。

那么，到底是什么改变了这一状况？美国人因此更加开心了吗？

答案是否定的。其他学者帮忙回答了这一问题。变化的原因，至少对我来说是很吸引人的。当照片刚刚问世时，人们认为它们就像绘画一样。那时，根本没有东西能与之相提并论。因此，照片中的人复制了绘画中的人。[30]因为人们无法为绘画保持微笑长达数小时，所以他们就摆出一副严肃的表情。照片里的人也用了相同的表情。

那最终是什么让她们做出改变的呢？当然是商业、利润和市场。20世纪中叶，柯达，一家美国影像公司，因人们拍摄的照片数量有限而倍感挫败，因此制定了一个策略来鼓励人们拍摄更多照片。不久，柯达公司的广告就将照片与幸福联系在一起，目的就是让人们养成习惯，只要想向其他人展示自己玩得多么开心，就拍张照。所有那些面带笑容的年鉴照片都是柯达公司成功的广告宣传的结果［你在脸谱网或照片墙（Instagram）上看到的大多数照片也是如此］。

照片作为数据，能告诉我们的信息远不止高中毕业生何时开始说“茄子”。意外的是，图像居然能向我们展示经济状况。

以一篇题目很具煽动性的学术论文《从外部空间衡量经济增长》为例。一篇论文有这样一个标题，我一定会读它。这篇论文的作者J.弗农·亨德森（J. Vernon Henderson）、亚当·斯托里加德（Adam Storeygard）和戴维·N.韦尔（David N. Weil）开始筹划这篇论文是因为注意到，在很多发展中国家，衡量GDP（国内生产总值）的现有方法效率不高。这是因为很大一部分经济活动都是暗箱操作的，而衡量经济产出的政府部门没有充足的资源。

几位作者的想法有悖常理吗？他们能够基于这些发展中国家的夜间灯光亮度来协助估算其GDP，而他们的信息则来自一颗每天绕地球14圈的美国军用卫星拍摄的照片。[31]

为什么夜间灯光亮度会成为测量GDP的准确手段呢？在全球那些非常贫穷的地区，付电费是特别吃力的事。因此，当经济状况不好的时候，很多家庭和村庄会大大减少夜间的用电量。

1998年亚洲金融危机发生时，印度尼西亚的夜间用电量急剧下降。在韩国，1992—2008年夜间用电量增长了72%，与此相对应，同时期韩国经济表现非常强劲。在朝鲜，同一时期的夜间用电量则在下降，与此相对应的是当时朝鲜的经济表现十分低迷。

1998年，马达加斯加岛南部发现了很多红宝石和蓝宝石，伊拉卡卡小镇从一个卡车驿站发展成为重要的贸易中心。在1998年之前，伊拉卡卡连一盏灯都没有！在那之后的5年里，伊拉卡卡小镇夜晚的灯光数量发生了爆炸式的增长。

三位作者承认他们夜间灯光的数据远远算不上衡量经济产量最完美的方法。仅仅依靠卫星在夜间检测到的灯光数量，你无法准确了解一个国家的经济状况。他们不建议对发达国家使用这一方法，因为在发达国家，比如美国，现有的经济数据更加准确。而且公正地说，就算在发展中国家，他们也发现夜间灯光这一数据的作用和官方数据差不多，但如果把两者结合起来，就能比单独用其中一种信息进行预估的结果更准确。也就是说，你可以利用从外太空拍摄的照片来提高对发展中国家的认知。

约瑟夫·赖辛格（Joseph Reisinger），一位嗓音温柔的电脑科学博士，与研究夜间灯光的作者一样，对发展中国家经济状况相关的现有数据集颇感失望。赖辛格注意到，在2014年4月，尼日利亚政府将过去可能遗漏的新兴产业考虑在内，更新了对GDP的预估，该预估值比原来高出90%。[32]

“尼日利亚是非洲最大的经济体，”赖辛格说道，声音逐渐大了起来，“可对那个国家，我们对想了解的事情连最基本的方面都没有碰触到！”[33]

他想找到一种方法，能够更加清晰地看到经济表现。他的解决方案为如何重新定义数据的组成和这样做的价值提供了典范。

赖辛格创立了一家名为Premise的公司，聘用了一群来自发展中国家的工人，还给他们配备了智能手机。这些职员需要做什么工作呢？很简单，就是拍一些有趣的，可能会产生经济影响的事物。

这些工人可能会在加油站外面拍照，也可能会给超市里的水果摊位照张相。他们对同一个地方一次又一次地拍照。照片则发回Premise公司，由第二组雇员即电脑科学家将这些照片转换成数据。从加油站的线路长度到超市里的苹果数量及这些苹果的成熟度，再到苹果摊上贴的价格标签，Premise公司所有的分析人员都能将其编码保存。基于对各种活动所拍的照片，公司就可以着手对经济产出和通货膨胀进行合并研究了。在发展中国家，加油站的线路过长在很大程度上说明这个国家的经济发展遇到了麻烦，超市里的苹果数量很少或没有成熟也可以说明这一点。Premise公司那些在中国实地拍摄的照片帮助他们在官方数据发布之前就先发现了中国2011年的食品通货膨胀和2012年的食品通货紧缩状况。

Premise公司把这些信息卖给银行或对冲基金，也与世界银行进行合作。

和许多好点子一样，Premise公司的好点子就是不断给予。世界银行近来对菲律宾地下香烟经济的规模很关注，尤其想知道菲律宾政府最近为打击生产香烟而不纳税的制造商所做的努力（包括随机抽查）是否有效。Premise公司有什么好主意吗？将大街上见到的香烟盒拍下来，看多少香烟盒上贴有印花税标识，因为所有合法的香烟都需要贴印花税标识。他们发现，这一地下经济的规模2015年时还很庞大，而到了2016年便急剧缩小。菲律宾政府做出的努力也起到了作用，尽管要看清很隐蔽的事情（如非法香烟）需要新数据。

正如我们所见，在数据时代，数据的构成因素被普遍重构，在新的信息里我们也有了很多洞见。了解到是什么导致了媒体的偏好，是什么成就了完美的第一次约会，发展中国家的经济状况是怎样的，这一切只是开始而已。

迄今为止，人们已经凭借新数据大赚特赚，布林和佩奇两位先生豪入几百亿美元不过是个开始，这一点绝非偶然。约瑟夫·赖辛格自己一个人做得也不赖。许多观察家估计，Premise公司现在的年收入可达数千万美元。多位投资者最近向Premise公司注入了5 000万美元[34]，这意味着有些投资者已经将Premise公司视为全球照片拍摄和销售行业中最具价值的企业之一，其名气堪比久负盛名的《花花公子》（Playboy）了。

换句话说，对学者和企业家来说，运用现有的各种新型信息，从广义视角思考数据的定义，此举具有巨大的价值。今天，一名数据科学家一定不能把自己局限于狭窄的或传统的数据观内。今天，超市流水线的照片是宝贵的数据，超市摊位的货物充足与否是数据，苹果的成熟度是数据，外太空拍摄的照片是数据，嘴唇的上扬弧度是数据，所有的一切都是数据！

有了所有这些新数据，我们终能看破谎言。


1 Matthew Leising,“HFT Treasury Trading Hurts Market When News Is Released,” Bloomberg Markets, December 16, 2014; Nathaniel Popper,“The Robots Are Coming for Wall Street,”New York Times Magazine, February 28, 2016, MM56; Richard Finger,“High Frequency Trading: Is It a Dark Force Against Ordinary Human Traders and Investors?”Forbes, September 30, 2013, http://www.forbes.com/sites/richardfinger/2013/09/30/high-frequencytrading-is-it-a-dark-force-against-ordinary-human-traders-andinvestors/#50875fc751a6.



2 2015年5月8日，我通过电话采访了艾伦·克鲁格。



3 最初发表的论文为Jeremy Ginsberg, Matthew H. Mohebbi, Rajan S.Patel, Lynnette Brammer, Mark S. Smolinski, and Larry Brilliant,“Detecting Influenza Epidemics Using Search Engine Query Data,”Nature 457, no. 7232 (2009)。原始模型的瑕疵参见David Lazer, Ryan Kennedy, Gary King, and Alessandro Vespignani,“The Parable of Google Flu: Traps in Big Data Analysis,”Science 343, no.6176 (2014)。修正的模型参见Shihao Yang, Mauricio Santillana,and S. C. Kou,“Accurate Estimation of Influenza Epidemics Using Google Search Data Via ARGO,”Proceedings of the National Academy of Sciences 112, no. 47 (2015)。



4 虽然谷歌流感（Google Flu）的初始版本有重大缺陷，但研究人员最近重新校准了该模型并大获成功。——作者注



5 Seth Stephens-Davidowitz and Hal Varian,“A Hands-on Guide to Google Data,” mimeo, 2015. 也可参见Marcelle Chauvet, Stuart Gabriel, and Chandler Lutz,“Mortgage Default Risk: New Evidence from Internet Search Queries,”Journal of Urban Economics 96(2016)。



6 Sergey Brin and Larry Page,“The Anatomy of a Large-Scale Hypertextual Web Search Engine,” Seventh International World Wide Web Conference, April 14–18, 1998, Brisbane, Australia.



7 John Battelle, The Search: How Google and Its Rivals Rewrote the Rules of Business and Transformed Our Culture (New York:Penguin, 2005).



8 有关这一点早有精彩论述，参见Steven Levy, In the Plex: How Google Thinks, Works, and Shapes Our Lives (New York: Simon &Schuster, 2011)。



9 此引也见于Joe Drape,“Ahmed Zayat’s Journey: Bankruptcy and Big Bets,”New York Times, June 5, 2015, A1。然而，这篇文章错误地认为此引是塞德提出的，实际上，提出此引的是其团队的另一名成员。



10 2015年6月12—14日，我在佛罗里达州奥卡拉采访了杰夫·塞德和帕蒂·默里。



11 根据多年经验，杰夫·塞德认为赛马失败的原因是判断不当。



12 纯种马受伤数据库统计补充表见http://jockeyclub.com/pdfs/eid_7_year_tables.pdf。



13 “Postmortem Examination Program,” California Animal Health and Food Laboratory System, 2013.



14 Avalyn Hunter,“A Case for Full Siblings,”Bloodhorse, April 18,2014, http://www.bloodhorse.com/horse-racing/articles/115014/a-case-for-full-siblings.



15 Melody Chiu,“E. J. Johnson Loses 50 Lbs. Since Undergoing Gastric Sleeve Surgery,”People, October 1, 2014.



16 Eli Saslow,“Lost Stories of LeBron, Part 1,” ESPN.com, October 17, 2013, http://www.espn.com/nba/story/_/id/9825052/how-lebronjames-life-changed-fourth-grade-espn-magazine.



17 参见Sherry Ross,“16 Million Dollar Baby,” New York Daily News,March 12, 2006和Jay Privman,“The Green Monkey, Who Sold for $16M, Retired,” ESPN.com, February 12, 2008, http://www.espn.com/sports/horse/news/story?id=3242341。拍卖录像可参见“$16 Million Horse,” YouTube video, posted November 1, 2008, https://www.youtube.com/watch?v=EyggMC85Zsg。



18 Sharad Goel, Jake M. Hofman, Sébastien Lahaie, David M.Pennock, and Duncan J. Watts,“Predicting Consumer Behavior with Web Search,”Proceedings of the National Academy of Sciences 107, no. 41 (2010).



19 Constance L. Hays,“What Wal-Mart Knows About Customers’Habits,”New York Times, November 14, 2004.



20 2016年10月27日，我对奥利·阿申费尔特进行了电话采访。



21 Daniel A. McFarland, Dan Jurafsky, and Craig Rawlings,“Making the Connection: Social Bonding in Courtship Situations,”American Journal of Sociology 118, no. 6 (2013).



22 Jonathan Greenberg,“What I Learned From My Wise Uncle Leonard Cohen,”Huffington Post, November 11, 2016.



23 H. Andrew Schwartz et al.,“Personality, Gender, and Age in the Language of Social Media: The Open-Vocabulary Approach,”PloS One 8, no. 9 (2013). 这篇论文还根据性格测试得分来分析人们的说话方式。



24 Andrew J. Reagan, Lewis Mitchell, Dilan Kiley, Christopher M.Danforth, and Peter Sheridan Dodds,“The Emotional Arcs of Stories Are Dominated by Six Basic Shapes,”EPJ Data Science 5,no. 1 (2016).



25 Jonah Berger and Katherine L. Milkman,“What Makes Online Content Viral?”Journal of Marketing Research 49, no. 2 (2012).



26 该项研究的详细论述参见Matthew Gentzkow and Jesse M.Shapiro,“What Drives Media Slant? Evidence from U.S. Daily Newspapers,”Econometrica 78, no. 1 (2010)。虽然这个项目刚开始时他们只是博士生，但现在根茨科和夏皮罗已经成为重量级经济学家。根茨科现为斯坦福大学教授，2014年获得仅授予40岁以下顶级经济学家的约翰·贝茨·克拉克（John Bates Clark）奖章。现为布朗大学教授的夏皮罗则是著名的《政治经济学杂志》（Journal of Political Economy）的编辑。两人共同撰写的有关媒体偏向的论文是被引用次数最多的论文之一。



27 默多克对保守派《纽约邮报》的所有权可以解释为，纽约如此之大，支持多种观点的报纸。然而，很明显，《纽约邮报》一直在亏损。例如，参见Joe Pompeo,“How Much Does the ‘New York Post’ Actually Lose?”Politico, August 30, 2013, http://www.politico.com/media/story/2013/08/how-much-does-the-new-yorkpost-actually-lose-001176。



28 2015年8月16日，我在波士顿皇家桑纳斯塔采访了马特·根茨科和杰西·夏皮罗。



29 Kate Rakelly, Sarah Sachs, Brian Yin, and Alexei A. Efros,“A Century of Portraits: A Visual Historical Record of American High School Yearbooks,” paper presented at International Conference on Computer Vision, 2015. 经作者许可，这些照片可供转载。



30 例如，参见Christina Kotchemidova,“Why We Say ‘Cheese’: Producing the Smile in Snapshot Photography,”Critical Studies in Media Communication 22, no. 1 (2005)。



31 J. Vernon Henderson, Adam Storeygard, and David N.Weil,“Measuring Economic Growth from Outer Space,”American Economic Review 102, no. 2 (2012).



32 Kathleen Caulderwood,“Nigerian GDP Jumps 89% as Economists Add in Telecoms, Nollywood,”IBTimes, April 7, 2014, http://www.ibtimes.com/nigerian-gdp-jumps-89-economists-add-telecomsnollywood-1568219.



33 2015年6月10日，我对约瑟夫·赖辛格进行了电话采访。



34 Leena Rao,“SpaceX and Tesla Backer Just Invested $50 Million in This Startup,”Fortune, September 24, 2015.





4 数字吐真剂


人人都在说谎。

人们谎称他们在回家的路上喝了多少酒，谎称自己多久去一次健身房，谎称买那双新鞋花了多少钱，就连看没看过那本书也会说谎。他们请病假，但并未生病。他们说常联系，其实只是套话。他们说跟你没关系，可实际上说的就是你。他们说爱你，却并未付出真心。他们心情沮丧，却强颜欢笑。他们说喜欢女人，但真正爱的是男人。

人们对朋友说谎，对上司说谎，对孩子说谎，对父母说谎，对医生说谎，对丈夫说谎，对妻子说谎。人们，对自己也说谎。

他们百分之百对调查说谎。

我给各位来个简单的小调查：


你在考场上作过弊吗？＿＿＿＿＿＿

你幻想过杀人吗？＿＿＿＿＿＿




你试图说过谎吗？即使大多数调查是匿名的，许多人在调查中也会隐瞒不堪的行为和想法。他们希望自己看起来好一点。这一现象被称为社会期许误差。

1950年的一篇重要论文曾经提供有力证据证明调查是如何使受害者陷入这种误差的。[1]研究人员从官方来源搜集了丹佛居民的数据：投票的比例、捐款的比例、借书证的持有比例等。之后他们再去调查居民，看这些比例是否和官方数据相匹配。当时的结果令人震惊。居民反馈的内容与研究人员搜集的数据大不相同。尽管不是实名调查，但是多数人夸大了自己的选民登记状况、投票参与度和慈善捐款情况（见表4–1）。





表4–1 调查报告与官方统计的不同





那么从1950年到现在情况有什么变化吗？在这个互联网时代，没有借书证已经不是什么丢脸的事了。尽管令人为难或者期待的事已经不同了，但人们欺骗民意调查人员的想法依旧很强烈。

最近的一项调查向马里兰大学的毕业生提出了各种与其大学经历相关的问题。[2]调查人员事后将学生的回答与官方记录做了对比。人们不约而同地给出了错误信息，好让自己看起来不那么差劲。仅有不到2%的人表示他们毕业时的GPA（平均学分绩点）低于2.5。（事实上该比例约有11%。）44%的人表示，他们在过去一年里曾给大学捐过款。（事实上该比例仅约有28%。）

相关机构未能凭借民意调查预测特朗普会获得2016年大选的胜利，其中必然也有谎言在作祟，民意调查平均低估了特朗普大约两个百分点的支持率。[3]有些人可能不好意思说想要支持他，有些人可能说他们还没下决定，但一直都站在特朗普一方。

为什么人们会向匿名调查提供错误信息呢？我曾就这一问题请教过密歇根大学名誉研究教授、世界一流的社会期许误差专家罗杰·图朗若（Roger Tourangeau）。他解释说，人们总是喜欢“善意的谎言”这一弱点是导致这个问题的重要原因。“在现实生活中，大约有1/3的时间人们都会说谎，”他说道，“这些习惯延续到了调查中。”

因此，我们有时候会有对自己说谎的奇怪习惯。“如果你是个学生，那你肯定不愿意承认自己是个差生。”图朗若说。[4]

对自己说谎也许可以解释为什么这么多人说自己优于平均水平。[5]那么，这个问题有多严重呢？一家公司超过40%的工程师表示他们的水准位列全公司前5%。90%以上的大学教授表示他们的科研能力高于平均水平。1/4的高中生认为自己与为人处世的能力处于前1%。如果你在自欺欺人，在调查中就不会很诚实。

我们对调查说谎的另一个原因是，如果有人进行采访，我们强烈希望给做采访的陌生人留下好印象。正如图朗若所说：“一个人走了进来，她看起来像你最喜欢的阿姨……你愿意告诉她你上个月吸食过大麻吗？”（说谎的另一个原因是单纯地想搞乱调查。[6]对任何有关青少年的研究来说，这都是一个巨大的难题，从根本上提高了我们理解这个年龄组的难度。研究人员最初发现了被领养青少年与各种消极行为（如吸毒、喝酒和逃学）之间的相关性。在随后的研究中，他们发现自称被领养的青少年中有19%的人其实并非被领养的。后续研究发现，相当一部分青少年告诉调查人员，他们身高超过7英尺，体重超过400磅（约181.4公斤），或家里有三个孩子。一项调查发现许多学生对学术研究人员报告称自己装有义肢，但其中99%的人是在开玩笑。——作者注）你愿意承认你没有捐钱给自己的母校吗？

因此，情况越是与自己无关，人们越诚实。想要得到真实的答案，电话调查比现场调查好，互联网调查比电话调查好。人们独自一人时比和他人在一起时会坦诚许多。

在敏感话题上，每一种调查方法都会有大量的误报。图朗若在这里使用了经济学家常用的一个词——“激励机制”，也就是说，人们没有动机告诉调查人员真相。

所以，我们怎样才能了解我们的人类同胞真正在想什么、做什么呢？

在某些情况下，我们可以参考官方数据来获得真相。例如，即便人们谎报他们的慈善捐款，我们也可以从慈善机构得到真实的数字。当我们试图了解那些没有列在官方记录中的行为时，或者当我们试图去了解人们的想法（他们的真实信仰、感受和欲望）时，除了人们可能愿意在调查中透露的信息外，再无其他的信息来源了。到现在为止就是这样。

大数据的第二大功能是：某些在线资源可以让人们承认他们在其他地方不会承认的事。这些资源就是数字吐真剂。想想谷歌搜索就明白了。还记得那些让人们更诚实的条件吧。线上？没错。独自一人？没错。没有人亲自进行调查？没错。

谷歌搜索还有另一个巨大的优势可以让人们说出真相：激励机制。如果你喜欢种族主义的笑话，那么你与某项非在线调查分享这个喜好的激励机制为零。然而，你却拥有在网上搜索最好、最新的种族主义笑话的激励机制。如果你认为自己可能有抑郁倾向，就不会有向一项调查坦承此事的激励机制，但你会向谷歌求助其症状及潜在的治疗方法。

即使你对自己说谎，谷歌也可能会知道真相。在选举前几天，你和邻居可能都以为自己会开着车去投票站投票，但是，如果你们都没有搜索任何关于投票方式或投票地点的信息，那么数据科学家（比如我）就能预测你所在地区的投票率实际上会很低。同样，也许你不会对自己承认自己有抑郁倾向，但只要你用谷歌搜索了一下“哭起来没完”和“起床困难”，你就会在前文中我分析过的与某个地区抑郁相关的搜索中出现。

想想你自己使用谷歌的经历就明白了。我猜你有时会在搜索框中输入一些东西，而这些东西正是你在公共场合不会坦言的。事实上，绝大多数美国人都在告诉谷歌一些非常私人的东西，证据很充分。比如，美国人更多地搜索“色情片”，而非“天气”。[7]顺带一提，这和调查数据很难吻合，因为只有25%的男性和8%的女性承认自己看色情片。[8]

在看到搜索引擎自动尝试补全你的搜索时，你可能也注意到谷歌搜索中的某种诚实——它的搜索建议基于其他人最常见的搜索。所以，自动补全为我们了解人们到底在搜索什么提供了线索。实际上，自动补全可能会稍微带来一点误导。谷歌不会推荐某些它认为不雅的词。[9]这意味着自动补全在告诉我们，人们的真实想法比谷歌的想法更为不雅。即便如此，一些敏感的东西往往还是会出现。

如果你输入“为什么……”，目前谷歌自动补全的前两个搜索是“为什么天空是蓝色的”和“为什么有闰日”，这表明它们是完成这个搜索最常见的两种方式。第三个是“为什么我的便便是绿色的”。谷歌的自动补全也会令人心惊。如今，如果你输入“想要……正常吗”，第一个补全建议是“杀死”。如果你输入“想要杀死……正常吗”，第一个补全建议居然是“我的家人”！

是否需要更多的证据才能证明谷歌搜索能为我们呈现一个和我们日常所见截然不同的世界？想想“决定生（不生）孩子是否会后悔”的相关搜索。在决定之前，有些人担心他们会做出错误的选择。而且，问题几乎全是他们是否会后悔没有生孩子。在谷歌上，人们询问没有生孩子是否会后悔的次数是询问生孩子是否会后悔的次数的8倍。

做出决定（要么照做或采纳，要么拒绝）之后，有时人们会向谷歌坦言他们对自己的选择感到后悔。这可能很令人吃惊，但为时已晚，数据呈现的结果是截然相反的。有孩子的成年人告诉谷歌他们后悔的概率是没有孩子的成年人后悔概率的3.6倍。[10]

在本章中应该牢记的一点是：谷歌可能会透露对不体面想法（人们觉得不能与任何人讨论的想法）的偏见。如果我们试图搜索一些隐藏的想法，谷歌就发现它的能力可能要派上用场了。生孩子和没有生孩子这两种遗憾之间的巨大差别似乎告诉我们，在这种情况下，不体面的想法是非常重要的。

咱们暂且停下来想一想搜索“我后悔生孩子”到底意味着什么。谷歌给自己的定位是：做一个可以直接搜索信息的信息源，包括天气情况、昨晚的赛况或者自由女神像何时揭幕等。有时候我们把未经思考的想法输入谷歌，并没有指望它能提供什么帮助。在这种情况下，搜索窗口的作用便无异于一间忏悔室。

每年都有数千条搜索，比如，“我讨厌冷天”，“人们可真烦”，“我很难过”。当然，那数千条“我很难过”的搜索代表的只是在某一年内感到悲伤的数亿人中的极小部分人。我的研究发现，拥有这种想法的人中只有一小部分会通过搜索表达自己的想法，大部分人只为寻找信息。我的研究表明，美国人每年搜索“我后悔生孩子”7 000次，这个搜索频率代表的同样只是那些有这种想法的人中的一小部分人。

对许多（也许是大多数）人来说，养儿育女显然是一大乐事。尽管我母亲担心“你和你那没用的数据分析”会影响到她孙辈的数量，但这项研究并没有改变我要孩子的愿望。这种不够体面的遗憾很有趣，也是我们在传统数据集中往往不会看到的人性的另一面。我们的文化总是让我们满眼充斥着美好、幸福的家庭形象。大多数人可能永远不会觉得生儿育女会成为他们可能会后悔的事情，但总有人会后悔。他们可能不会向任何人承认这一点——除了谷歌。





性的真相


有多少美国男性是同性恋者？这是性问题研究中一个经久不衰的问题，也是社会科学家最难回答的问题之一。心理学家不再相信阿尔弗雷德·金赛（Alfred Kinsey）的著名判断（根据对囚犯和妓女做过的采样调查），10%的美国男性是同性恋者。现在较具代表性的调查告诉我们这个比例是2%~3%，但性取向一直是人们倾向于说谎的事情之一。我想我可以用大数据来更好地回答这个问题。

先来说说上文的调查数据。调查表明，在同性恋容忍州，同性恋者人数远多于同性恋不容忍州。例如，根据一项盖洛普民意调查，在同性婚姻支持率最高的罗得岛州，同性恋人口的比例几乎是同性婚姻支持率最低的密西西比州的两倍。[11]

对此有两种可能的解释。首先，出生在同性恋不容忍州的同性恋者可能会搬到同性恋容忍州；其次，在同性恋不容忍州的男同性恋者不愿透露自己是同性恋者。他们更有可能会说谎。

对上述第一种解释（同性恋者流动性）的洞见可以从另一个大数据来源脸谱网获取到。脸谱网用户可以选择他们感兴趣的性别。大约2.5%的男性用户感兴趣的性别是男性，这与调查显示的数据大致相符。[12]脸谱网也显示，在不同容忍度的州，同性恋人口表现出巨大的差异：脸谱网上罗得岛州的同性恋用户人数比密西西比州的同性恋用户人数多出两倍以上。

脸谱网还可以提供人们如何迁移的信息。我将一个“出柜”[13]男同性恋脸谱网用户样本的家乡信息进行了编码，这样我可以直接估算有多少男同性恋者从不容忍州搬到了更加宽容的地方。结果如何呢？流动是肯定存在的，如从俄克拉何马城搬到旧金山。不过我想，男人们装上朱迪·嘉兰（Judy Garland）的唱片搬到更加开放的地方，这并不能完全解释“出柜”男同性恋人群在容忍州和不容忍州之间的差别。[14]

另外，脸谱网使我们可以集中观察高中生。这是一个特殊的群体，因为他们无法选择居住地（只能和父母住在一起）。如果流动性解释了“出柜”男同性恋人群的地域差异，这些差异就不应该在高中用户中出现。那么高中用户的数据说明了什么呢？在不容忍州，“出柜”同性恋高中生人数极少。在密西西比州，2 000名男高中生用户中只有一人“出柜”。所以，不只有流动性。

如果每个州出生的男同性恋者人数相当，而流动性又不能完全解释为什么一些州的“出柜”男同性恋者较多，那么用来隐瞒个人性取向的“柜子”必然扮演着重要的角色。于是，我们又被带回到谷歌，事实证明，人们愿意在谷歌上分享更多。

那么，能否通过色情搜索的方式验证在不同的州到底有多少男同性恋者呢？确实有这么一种办法。运用谷歌搜索和谷歌广告关键词（Google AdWords）的数据，我推测，在全美范围内大约有5%的男性色情搜索是针对男性同性色情的。[15]（这些内容包括搜索备受欢迎的同性色情网站和同性色情片）。

那么，这些搜索在全美不同地区又有何不同呢？总体而言，和不容忍州相比，容忍州有更多的同性色情搜索。这是说得通的，因为一些男同性恋者从不容忍州搬到了容忍州，但这种不同远没有调查和脸谱网上显示的那么明显。我估计，在密西西比州有4.8%的男性色情搜索有关同性色情，远高于调查或脸谱网的数据，更接近在罗得岛州5.2%的同性色情搜索率。

那么，到底有多少美国男性是同性恋者呢？运用男性色情搜索（大约5%的搜索针对同性色情）的方法，似乎可以合理地估算出美国同性恋人口的真实规模。还有另一种不那么直接的方法可以得到这个数据，这种方法需要运用数据科学。我们需要利用容忍度与“出柜”同性恋人群之间的关系，请诸位给我点儿耐心。

我的初步研究表明，在一个既定的州内，对同性婚姻每20个百分点的支持率，就意味在脸谱网上公开自己同性恋者身份的该州男子数量会增至原来的1.5倍。基于此，我们可以估计有多少出生在一个假设完全接受同性恋（即所有人都支持同性婚姻）的地方的男性是公开的同性恋者。我的估算是5%左右，这同运用色情搜索得到的数据十分吻合。加利福尼亚海湾地区的男高中生在对同性恋高度容忍的地区长大，其中约4%的人在脸谱网上公开“出柜”。[16]这似乎和我的计算不谋而合。

应该说我还没能想出如何估算女性之间的同性吸引数据，因为女性很少看色情片，所以色情数据在这儿几乎派不上用场。这使得该采样不那么具有代表性。那些看色情片的女性，甚至在现实生活中主要被男性吸引的女人，似乎也喜欢看女性同性色情片。在色情网站上，女性看的20%的影片是女性同性色情片。

当然，5%的美国男性是同性恋者仅仅是一个推测。有的男性是双性恋者，有的男性（特别是年轻人）还不确定他们的性取向。显然，这个数据不可能像投票或者看电影的人数那样精确。

我的估算有一个很明显的后果：在美国，特别是在不容忍州，很多男性仍未“出柜”。他们不愿在脸谱网上透露自己的性取向，不会在调查中承认自己的性取向，在许多情况下，他们甚至会和女性结婚。

事实证明，妻子常常怀疑她们的丈夫是同性恋者。她们最常见的搜索证实了她们的疑惑：“我的丈夫是同性恋者吗？”“同性恋者”是作为补全“我的丈夫是不是……”这一搜索排名第一的词语，其搜索率比排名第二的“出轨了”高出10%，更是“酒鬼”一词的8倍，是“抑郁”一词的10倍。

最有说服力的是，质疑丈夫性取向的搜索在最不容忍的地区更为普遍。提出该问题的女性比例最高的州是南卡罗来纳州和路易斯安那州。事实上，在这个问题出现最频繁的25个州中，有21个州对同性婚姻的支持低于全国平均水平。

想要了解男性的性取向问题，谷歌和色情网站并不是仅有的有用数据资源。大数据中有更多证据告诉我们生活在“柜子”里到底是什么样的。我分析了“克雷格列表”（Graig list）网站上男性寻找“偶遇”的广告。寻求与男性偶遇的广告占比在较不容忍的州往往更大，其中数肯塔基州、路易斯安那州和亚拉巴马州最高。

为了更深入地了解这个“柜子”，让我们再回到谷歌搜索数据获取更详尽的信息吧。和“同性色情片”搜索量相当的最常见的搜索之一是“同性恋测试”，这些测试可以推测并告诉男性他们是不是同性恋者。该搜索在最不容忍州的搜索量大致是其他州的两倍。

在搜索“同性色情片”和“同性恋测试”之间犹豫不决意味着什么呢？据推测，这暗示了一种备受折磨或十分困惑的心理。有理由怀疑这些人中的一些人希望证实他们对同性色情感兴趣并不代表他们实际上就是同性恋者。

谷歌搜索数据不允许我们查看某一特定用户过去的搜索记录，但是，2006年，美国在线（AOL）向学术研究人员公布了一个用户搜索样本。从这位匿名用户在6天内的搜索结果可以看出，这明显出自一个对自己的性取向感到很困惑的男人。谷歌的数据告诉我们，像他这样的人还有很多。实际上，他们中的大多数人居住在较为不容忍同性关系的州。

为了更进一步了解这些数据背后的人，我求助了密西西比州一位致力于帮助未“出柜”同性恋群体的精神病医生，看他的病人中是否有人愿意接受我的访问。有一名男子愿意，该男子告诉我他60多岁，是一名退休教授，和一个女人结婚40多年了。

大约10年前，该男子在巨大的压力下就诊于这位精神病医生，最后弄清了自己的性取向。他说，他一直都知道自己被男性吸引，可他认为这是所有人都有的，也是所有男性都藏匿起来的秘密。在接受第一次治疗之后不久，他有了第一次，也是唯一一次同性性行为，对象是他一个年近30岁的学生。他形容这次经历“美妙至极”。

他和妻子从未有过性生活。他说如果结束这段婚姻或公开和男性约会，他会有负罪感。他几乎对自己人生中的所有重要决定都感到遗憾。

这名退休教授和他的妻子还会相伴走下去，没有浪漫爱情，也没有性生活。尽管（同性恋各方面工作都）取得了巨大的进展，但持续的不容忍只会让更多美国人采取同样的做法。



得知有5%的男性是同性恋者，并且其中还有很多人并未“出柜”，你或许不会感到震惊。过去曾经有过大多数人都感到震惊的时候，而今也总会有使大多数人感到惊讶的地方。

时任伊朗总统马哈茂德·艾哈迈迪–内贾德在2007年坚称：“我们伊朗不像你们的国家那样有同性恋者。在伊朗没有这种现象。”[17]同样，在2014年俄罗斯索契冬奥会举办之前，索契市长阿纳托利·帕霍莫夫在提到同性恋者时说道：“我们的城市里没有这类人。”[18]互联网行为却体现出索契和伊朗对同性色情的巨大兴趣。[19]



“柜子”不只是幻想的存储库。就性而言，人们保守着许多秘密，比如他们性生活频率如何。[20]

在本书的绪论中，我说过美国人声称他们使用的避孕套数量比每年的销量要多得多。因此，你可能会认为这意味着人们只是在说他们在性生活中使用避孕套的频率比实际情况要高。这一证据表明，他们还夸大了自己过性生活的频率。在15~44岁之间的女性中，约有11%说她们性生活频繁，目前没有怀孕，也没有采取避孕措施。[21]即使是对她们的性行为次数进行相对保守的估计，科学家也可以推测每月有10%的人会怀孕[22]，但是这已完全超过全美的怀孕总数（每113名育龄妇女中仅有1人怀孕）。[23]在我们对性如此痴迷的文化中，你很难承认自己的性生活不频繁。

如果你正在寻求理解或建议，那么你就又一次具备了向谷歌透露个人信息的动机。在谷歌上，抱怨配偶之间不想要性生活的频率是抱怨夫妻之间不愿说话的16倍，抱怨未婚情侣之间不想要性生活的频率是抱怨伴侣不回消息的5.5倍。

谷歌搜索为这些无性情侣关系“抓到”了一个令人惊讶的罪魁祸首。抱怨男朋友不肯过性生活的频率是抱怨女朋友的两倍。到目前为止，抱怨男朋友的头号搜索词条是“我的男朋友不愿意和我做爱”。（谷歌搜索没有按性别分类，但是由于之前的分析说过，95%的男性是异性恋者，我们可以猜测，不会有太多“男朋友”搜索来自男性。）

应该如何解读这一现象呢？这是否真的意味着男朋友比女朋友更多地拒绝性行为呢？不一定。正如前文所述，谷歌搜索可能会为人们不敢言之事所左右。相比女性而言，男性向朋友倾诉自己的伴侣不太有“性致”会更加自在。尽管如此，谷歌的数据依然无法说明男朋友拒绝性行为的可能性比女朋友大一倍，但它确实暗示了男朋友拒绝发生性行为的情况比人们说的更普遍。

谷歌的数据也表明，人们频繁地拒绝性行为可能是因为巨大的焦虑，而大部分焦虑都是多余的。先从男性的焦虑说起。男人对自己的性能力心存疑虑已经不是什么新鲜事了，但这种疑虑的程度相当深。

男性搜索自己性器官的次数比其他任何一个身体部位都要多，比搜索肺、肝、脚、耳朵、鼻子、喉咙和大脑的次数加起来还多。男性更多搜索的是如何使他们的阴茎变大，而不是如何给吉他调音、如何做煎蛋卷或如何更换轮胎。对于类固醇，男性在谷歌上最关注的并不是这类物质是否有损于自己的健康，而是服用后是否会影响自己阴茎的大小。在谷歌上，男性最关注的身心状况随年龄增长而变化的问题也是他们的阴茎会不会变小。

旁注：谷歌关于男性生殖器一个比较常见的问题是：“我的阴茎有多大？”男人选择谷歌而不是尺子，这个问题在我看来是数字时代的典型表现。[24]

女人在不在意阴茎的大小呢？从谷歌搜索来看，几乎不会在意。男人大约每搜索170次阴茎，女性才只有1次。诚然，在极少数情况下，女性确实关注伴侣的阴茎，但这种情况往往与其尺寸巨大有关，“小”并不是她们关心的。有超过40%的抱怨都在说伴侣的阴茎太大了。“疼痛”是女性搜索“做爱时……”最常见的补全词，“出血”“撒尿”“哭”“放屁”排在前5位。然而，在查找改变自身阴茎尺寸的搜索中，只有1%的男性在搜索如何使其变小。

男性第二常见的性问题是如何延长自己做爱的时间。男性的不自信感似乎又没和女性的关切对上号。搜索如何使男朋友更快达到高潮和更慢达到高潮的数量几乎相当。事实上，女性关于男朋友高潮最关切的问题并不是什么时候发生，而是为什么根本就没发生过。

当涉及男性时，我们并不经常讨论身体形象的问题。确实，尽管女性的确格外关注自己的个人外貌和形象，却并不像陈旧观念暗示的那么邪乎。根据我对谷歌广告关键词的分析（该网站可以计量人们访问网站的次数），在对美容和美体感兴趣的人中，男性占比42%；在对减肥感兴趣的人中，男性占比33%；在对整容手术感兴趣的人中，男性占比39%。在所有与乳房相关的“如何”形式的搜索中，约20%搜索了“如何解决平胸问题”。

尽管对身体缺乏自信的男性人数比大多数人想象的要多，但女性对自己样貌的不自信程度仍然超过男性。那么，关于女性的自我怀疑，这个数字吐真剂可以为我们揭示出什么呢？在美国，每年有超过700万次隆胸的搜索。官方统计数据告诉我们，每年有大约30万名妇女接受该类手术。

女性对自己的臀部也表现出极大的不自信，尽管近年来很多女性改变了对自己的外貌“挑三拣四”的旧观念。

2004年，在美国的一些地方，关于臀部塑形最常见的搜索是如何使其变小，想要丰臀的搜索大多集中在黑人人口众多的地区。然而，从2010年开始，在美国其他地区，对于丰满臀部的向往越来越强烈。若其自身并非后验分布，这一喜好已在4年内增至原来的三倍。2014年，询问如何使臀部变大的搜索量在每个州都超过了如何使其变小。现在，在美国，每搜索隆胸5次，就有1次丰臀搜索。（感谢金·卡戴珊！）

女性对于更大臀部的偏好是否契合了男性的需求呢？有趣的是，正是这样！相关搜索也曾经集中在黑人社区，而最近却席卷全美。

男人对女人的身体还有什么别的需求呢？如前所述，大多数人会明显发现，男性表现出对大乳房的偏好。大约12%的不同类型色情搜索都有关巨乳，比小乳房色情搜索量多了近20倍。

尽管如此，这并不意味着男性希望女性丰胸。大约3%的大乳房色情搜索明确表示，男性希望看到自然的乳房。

谷歌关于妻子和隆胸的搜索正好分为两部分：一是如何说服她去隆胸，二是苦恼于她为什么想要隆胸。

或者再看看对女朋友乳房最常见的搜索：“我爱女朋友的胸部”。目前还不清楚男性在搜索这一词条时希望从谷歌找到什么。

和男性一样，女性对自己的生殖器也有疑虑。事实上，她们对阴道的疑虑几乎和男性对阴茎的一样多。女性往往担心自己阴道的健康状况，但至少有30%的疑虑涉及其他方面。女人们想要知道如何修剪耻毛、收紧阴道，以及如何改善它的气味。如前文所述，所有女性都惊人地关注同一问题，那就是如何改善阴道的气味。

女性最担心的是她们的阴道闻起来像鱼，以及醋、洋葱、氨气、大蒜、奶酪、狐臭、尿、面包、漂白剂、粪便、汗水、金属、脚、垃圾和烂肉。

一般来说，男性的谷歌搜索中很少包含伴侣生殖器。男性搜索女朋友阴道的次数大约与女性搜索男朋友阴茎的次数相同。

当男性搜索伴侣的阴道时，通常也会抱怨女性最担心的问题：气味。大多数情况下，男性都在设法找一种方法，在不伤到伴侣的情况下，告诉她有一种难闻的气味。然而，有时候男性对气味的疑问却揭示了他们对自己的不自信。男性偶尔会搜索如何使用这种气味来侦察出轨的方法——比如它闻起来像安全套，再如像另一个男人的精液。

我们应该如何理解所有这些不为人知的不自信呢？这里有一些好消息，谷歌给了我们合理的理由无须顾虑那么多。许多源于我们的性伴侣如何看待我们的最深层次的恐惧是说不通的。性伴侣独自一人在自己的电脑上，没有任何说谎的动机，告诉网络他们不肤浅，也很宽容。事实上，我们都忙于关注自己的身体，没有精力去在意别人的。

谷歌性搜索中最受关注的两大问题（缺乏性生活，对自身的性魅力及性能力缺乏自信）之间也可能存在联系，或许两者之间是息息相关的。或许如果我们对性少些担忧、焦虑，反而会有更多鱼水之欢。

关于性，谷歌搜索还能告诉我们别的什么信息呢？我们可以做一个性别间的比拼，看看谁更加慷慨。以所有想办法为异性提供更棒口交体验的搜索为例，寻找窍门的人中是男性更多还是女性更多呢？谁在性方面更加慷慨，男性还是女性？当然是女性。算上所有的可能性，在搜索如何更好地为对方口交方面，我估算男女比例为1∶2。[25]

当男性在寻找口交的小窍门时，他们往往不是在寻找如何让对方满意。男性搜索如何让自己获得更好的口交体验，同时也会搜索如何给女性带来高潮，两项搜索频率相当。（这是我在谷歌搜索数据中发现的我最喜欢的真相。）





憎恶与偏见的真相


性和爱并不是人们总是羞于提起的唯一话题，