约瑟夫·维森鲍姆(Joseph Weizenbaum)的生平与思想
这篇文章是《Islands in the Cyberstream: Seeking Havens of Reason in a Programmed Society》一书的介绍性文章。该书是计算机科学家和社会批评家约瑟夫·维森鲍姆(Joseph Weizenbaum)与古纳·温特(Gunna Wendt)之间的对谈。
技术的潜力与其实际表现之间的并置可能是相当不和谐的。那些承诺让任务变得更简单的工具被用来自动化人们的工作,那些吹嘘其连接能力的设备让用户感到被疏远,推动人类飞向太空的机器是可能给人类带来毁灭的导弹系统的近亲。约瑟夫·维森鲍姆(Joseph Weizenbaum)在关于技术的“矛盾角色”的文章中雄辩地抓住了这种脱节,他指出:“我们对科学和技术的冒险已经把我们带到自我毁灭的边缘……也给我们许多人带来了前所未有的舒适,甚至自我实现。我们中的一些人开始认为这毕竟不是一个公平的交易。”
作为一名计算机科学家和麻省理工学院(MIT)的教授,约瑟夫·维森鲍姆(Joseph Weizenbaum)因其程序ELIZA和他在编程语言SLIP开发中的作用而在计算机历史上获得了当之无愧的地位。然而,使维森鲍姆从他的同行和同事中脱颖而出的并不是他作为一个计算机科学家的成功,而是他对其领域的进步对更广泛的社会产生的影响的认识。在他发现自己周围人对技术比对人更感兴趣的时候,维森鲍姆接受了他作为一个标志性的、甚至是异端的角色 — — 从源头上反击意识形态对技术的拥抱。
对维森鲍姆来说,计算机不能与这些机器所处的社会环境相分离。因此,他拒绝了计算机评论家的头衔,宁愿把自己塑造成一个社会评论家。就像一个魔术师在揭示魔术的秘密一样,维森鲍姆告诫计算机用户不要被机械魔法所迷惑,即使他向他们保证,他们也可以理解这些在他们生活中工作的机器的运作。维森鲍姆坚持一种强调计算机程序员需要为他们的创造物承担责任的精神,他把自己与那些被他嘲笑为“强迫性程序员”、“人工智能”以及那些拒绝思考他们工作的意义和应用的人对立起来。
从1923年到2008年,约瑟夫·维森鲍姆(Joseph Weizenbaum)目睹了重大的社会、政治和技术转变。这些生活经历在维森鲍姆的世界观上留下了不可磨灭的印记 — — 尤其是他不是一个闲置的观察者,而是这些变化的积极参与者,尤其是在技术进步方面。不仅是计算机本身,还有互联网,以及计算机被用来实现的一系列目标,都在维森鲍姆的激昂分析之下。作为一名社会批评家和计算机科学家,维森鲍姆的批评随着时间的推移几乎没有失去其力量。本书展示了维森鲍姆思想的丰富性,以及他的信念,即涉及计算机的问题太重要了,不能只留给计算机科学家。
毕竟,计算机和技术在社会中仍然扮演着一个矛盾的角色。
从柏林到密歇根再到马萨诸塞
约瑟夫·维森鲍姆(Joseph Weizenbaum)于1923年1月8日在柏林出生。虽然他的父亲本身具有正统的犹太背景,但维森鲍姆的成长过程并不特别具有宗教色彩,尽管他和他的哥哥都接受过宗教教育。虽然维森鲍姆一家能够在纳粹暴行最严重之前逃离德国 — — 1936年离开德国前往美国 — — 但在法西斯主义崛起中成长的经历给维森鲍姆留下的印象将在他的余生中一直地跟随他,无论他去哪里。
由于他的家人在他只有13岁时就离开了德国 — — 事实上,他们在他13岁生日那天离开了德国 — — 维森鲍姆只是初步意识到他出生的国家正在发生的变化。维森鲍姆一家离开德国的时候,至少在他看来,被纳粹追捕的主要群体是政治对手,而不是那些犹太裔。然而,纳粹的崛起和他们的反犹政策确实对维森鲍姆的生活产生了直接影响,因为纳粹的法律迫使维森鲍姆离开了他一直就读的公立学校,进入一所犹太男子学校。柏林,以及维森鲍姆周围的世界,越来越成为一个不安全的地方。街角的警察从一个孩子需要帮助时可以求助的对象变成了一个犹太孩子必须躲避的人。柏林已经变成了冲锋队经常光顾的家园,在那里的密室里发生了可怕的事情,希特勒青年团的成员潜伏在街道上,等待着在维森鲍姆放学回家的路上袭击他 — — 然而,这些事情只是对这个小男孩来说,“我们只是生活在一个残酷社会”的证据。尽管维森鲍姆在移民时并不清楚他的家人离开的具体原因,但他仍然意识到他的家人“刚刚逃离了一些邪恶的东西”。随着不安感的增加,维森鲍姆焦虑地意识到他以前的许多朋友和同学都留在了柏林,甚至当他先去英国,然后跨越大西洋时。
抵达美国后,维森鲍姆敏锐地意识到他与同龄人的区别。移民并不是他精心准备的事情 — — 它是突然发生的,也是不得已而为之 — — 因此他来到美国时不会说英语。在德国学校和德国的犹太学校接受教育后,维森鲍姆发现自己很快就必须克服自己与新同龄人之间的知识差距。他不仅要学习如何在一个新的国家生活,同时还要学习新国家的历史。然而,对维森鲍姆来说,在他适应密歇根州底特律的生活时,与众不同是一种力量的来源。他还在为英语挣扎,但他对数学的兴趣迅速增长,因为这是一个他可以理解的学科:因为数学是一种通用语言。正是维森鲍姆对数学的喜爱,最终将他引向了计算机。
高中毕业后,维森鲍姆进入底特律的韦恩州立大学学习数学,并从那里获得了学士学位和硕士学位 — — 尽管他的学习因二战期间担任陆军航空队的气象学家而中断,但他在战争结束后又回到了他的学习中。维森鲍姆对计算机的了解意味着他真正参与到了当时仍处于萌芽状态的领域,因为他在韦恩州立大学时就有机会“作为助理参与计算机的建造”。二十一世纪的个人计算机与维森鲍姆在韦恩州立大学帮助建造的计算机仅有一丝相似之处。事实上,他参与建造的计算机“装满了整个报告厅”,并被昵称为“旋风”(Whirlwind),而下一台计算机则被冠以“台风”(Typhoon)的称号。从韦恩州立大学毕业后,维森鲍姆在私营部门短暂工作,在受雇于通用电气公司时,他帮助美国银行开发了自动记账和校对系统ERMA(Electronic Recording Machine-Accounting)。1962年他离开了企业界,当时麻省理工学院(MIT)为他提供了一个访问教授的职位。
正是在麻省理工学院,维森鲍姆创建了ELIZA,在那里他逐渐对计算机对社会的影响越来越关注。
ELIZA
在麻省理工学院时,约瑟夫·维森鲍姆(Joseph Weizenbaum)开发了一个计算机程序,确保了他在计算机历史上的地位 — — 这个程序就是ELIZA。ELIZA这个名字是为这个“语言分析程序选择的,因为它就像皮格马利翁中的伊丽莎一样,可以被教得越来越好”。(language analysis program because, like the Eliza of Pygmalion fame, it could be taught to ‘speak’ increasingly well.)这个程序允许一个人用自然、对话式的语言与计算机交流。这导致计算机的反应可能会给人一种印象,即计算机理解了所说的话,甚至计算机也在回答。与ELIZA“对话”的人将在连接到运行该程序的计算机的打字机上用自然语言输入信息。在他们输入信息后,计算机将产生一个回应,并在同一台机器上显示出来。
早期ELIZA运行的脚本是这样的:程序对问题的回应方式类似于罗杰心理治疗师使用的方法 — — 也就是说,ELIZA通常会对用户的信息做出回应,将信息中的文字以问题的形式反馈出来。事实上,对于ELIZA的这个化身 — — 有时被称为医生(DOCTOR) — — 人类用户实际上被指示与程序互动,就像他们真的在与精神病医生说话一样。这个指令的原因是,它让ELIZA看起来好像真的参与了对话,因为“精神病学访谈是分类的二元自然语言交流的少数例子之一,其中一个参与者可以自由地摆出对现实世界几乎一无所知的姿势”。ELIZA的结果是,它看起来更有意识 — — 这是人类对话者将他们被理解的信念投射到计算机程序上的结果。当ELIZA回答“多告诉我一些关于你家庭的事情”时,对话中并没有让人觉得这个问题是出于对家庭的无知,而恰恰相反。
ELIZA程序能够通过执行“转换规则”来表现出参与真正讨论的样子,该规则在程序检测到文本中的某些关键词时被应用。如果ELIZA收到包含某些关键字的消息,程序将分解出现该关键字的文本字符串,并以提示进一步回复的方式将其重新组合。遵循这些规则,“任何‘I am BLAH’形式的句子都可以转换成‘How long have you been BLAH’,而不受BLAH的含义影响”。用户输入带有关键字的评论和语句,ELIZA会获取这些句子,并遵循脚本的规则,例如将第一人称代词换成第二人称代词,给出合适的回答。此外,在ELIZA没有检测到合适的关键字的情况下,脚本被设计为“一个早期的无内容注释,或在某些条件下,一个早期的转换”可以作为答案。
在维森鲍姆关于ELIZA的文章的第一段中,他承认计算机看起来就像是在表演魔术;然而,“一旦一个特定的程序被揭开,一旦它的内部工作原理被用足够简单易懂的语言解释清楚,它的魔力就消失了;现在看来,它只不过是一系列程序的集合,每一个都很容易理解”。在这段引文之后的文章中,维森鲍姆清晰地详细解释了ELIZA的工作方式 — — 他一步一步地表明,它不是魔术的结果,也不是程序部分的真正理解,而是归功于聪明的编程。当然,为了使对话者相信能理解ELIZA,ELIZA在很大程度上依赖于其脚本之外的东西。在与ELIZA的对话中,“如前所述,说话的人会为ELIZA的回答披上似是而非的外衣”。即使人类知道他们只是在与计算机交换信息,即使他们知道产生特定答案的脚本和程序,ELIZA的魔力也证明了“创造和维持理解的幻觉是多么容易”。
维森鲍姆强调说,ELIZA实际上并不理解它所收到的信息 — — 即使它的脚本生成的答复让人觉得事实恰恰相反。一旦“对话”开始,ELIZA项目的一个主要目的是使讨论继续下去。它通过掩盖“它自己的任何误解”,以及依靠人类讨论者的诚意,在遇到类似打嗝的证据,表明程序没有真正理解他们所输入的信息时,不会过早地离开。这种理解可能是困难的,因为人们来自不同的背景,意味着两个人可能有非常不同的参考框架。对维森鲍姆来说,关键是人类“在可接受的范围内”相互理解,但像ELIZA这样的程序所能实现的只是“象征性地处理这些想法”。这本身并不是理解的证明,而只是成功执行脚本的证据。
即使维森鲍姆对两个人能够真正理解对方的程度持怀疑态度,但作为其创造者,他确信自己完全理解ELIZA — — 因此,他对其他人似乎误解ELIZA的方式感到相当惊讶。正如维森鲍姆所写的那样,“那些非常清楚他们是在和一台机器对话的人很快就忘记了这个事实”,有些人甚至“要求被允许私下与系统对话,并且在与它交谈一段时间后,不管我怎么解释,他们都会坚持认为机器真的理解他们”。此外,ELIZA能够成功地模拟罗杰斯精神分析学家的工作的程度给许多精神病学家留下了深刻的印象,其中一些人甚至建议该程序可以用于真正的病人。维森鲍姆对ELIZA的反应感到困惑,他发现自己对计算机科学领域其他地方出现的某些趋势感到不安,比如试图将人类描述为与计算机相似的趋势,以及将人脑描述为“仅仅是一台肉类机器”(merely a meat machine)的主张。
对维森鲍姆来说很清楚的是,计算机不仅成为人们生活中的强大工具,而且“我们已经允许技术隐喻……技术本身如此彻底地渗透到我们的思维过程中,以至于我们最终把提出问题的责任让给了技术”。这种技术隐喻的兴起,部分原因是计算机科学家逃避对他们所创造的东西的责任 — — 尽管计算机的普及使得技术隐喻在不完全理解计算机工作方式的公众中广泛传播。
在ELIZA获得成功之后,维森鲍姆转向解决这些挑战 — — 这与其说是“计算机批评”,不如说是“社会批评”的壮举。维森鲍姆逐渐成为技术隐喻的著名评论家,而他所处的位置正是这个隐喻传播的地点之一。
关于《计算机能力与人类理性》(Computer Power and Human Reason)
约瑟夫·维森鲍姆(Joseph Weizenbaum)的《计算机能力与人类理性:从判断到计算》(Computer Power and Human Reason: From Judgment to Calculation)一书包含了很多内容:计算机基本工作原理的入门讲座,计算机科学中数学原理的通俗陈述,试图揭开计算机的神秘面纱,对计算机领域工作人员的道德挑战,以及坚定的批评,即仅仅因为计算机可以做某事并不意味着它就应该做某事。尽管书中涉及数学和科学,甚至警告不熟悉的读者,他们可能会发现这些部分很难,但这是一本不寻求仅仅对学术读者对话的书。无论如何,《计算机能力》(Computer Power)并不是第一本对技术在社会中的影响进行斥责的书。历史学家和杰出的技术批评家刘易斯·芒福德(Lewis Mumford)显然影响了维森鲍姆的思想;然而,使维森鲍姆成为技术批评家的一个关键因素是 — — 与芒福德不同 — — 维森鲍姆实际上是一名计算机科学家。
《计算机能力与人类理性》一开始,维森鲍姆解释了他的技术资历,并表达了他与计算机打交道的经历如何促使他写了一本对这些机器如此批判的书。他以ELIZA作为本书的开篇,但不同于他在文章中向科学同行观众解释了大量的技术细节,在《计算机能力》中,维森鲍姆以一种突出他自己对该程序引起的反应的惊讶的方式讲述了ELIZA的故事。维森鲍姆指出,他惊讶于执业精神科医生真的相信这个程序具有治疗潜力,承认人们在与计算机交流中投入情感的轻松程度让他感到震惊,并强调了他对自己所在领域的许多人似乎相信ELIZA代表了一个能够真正理解它以自然语言接收到的提示的程序的惊讶。然而,维森鲍姆并没有简单地对这些古怪的对抗置之不理。相反,正如他所说,这些经历“逐渐使我相信,我使用 ELIZA 的经历是更深层次问题的征兆”。
维森鲍姆强调说,计算机并不是问题所在,相反,它只是具象化了一种长期以来危险的社会倾向,即以越来越机械化的方式看待人类。在维森鲍姆看来,一场辩论正在爆发,“一边是那些简单地说,相信计算机可以,应该,并且将会做所有事情的人,另一边是那些像我一样的人,认为计算机应该做的事情是有限的”。对于维森鲍姆的论点来说,“应该”的存在是特别重要的,因为它将讨论的焦点从计算机可以拥有什么功能转变为是否应该首先构建它们来执行这些功能。对于维森鲍姆来说,这是一个“计算机在社会秩序中的适当位置”的问题,这个问题也意味着计算机有一个不适当的位置。尽管维森鲍姆作为麻省理工学院一位受人尊敬的教授,他毫不犹豫地指出,“科学也可能被视为一种上瘾的药物”,由于“服用剂量越来越大,科学已逐渐变成一种慢性毒药”。
将计算机与人们使用的其他工具区别开来的是这些机器的自主程度 — — 这意味着一旦它们被打开,它们就可以在不需要人类进一步控制的情况下运行。时钟(为了向芒福德致敬)是这种自主机器的重要早期例子,而计算机也同样具有自主能力,但其功能要比仅仅记录时间重要得多。这种机器的意义在于,它们按照现实世界的某些部分的模型运行 — — 例如,将一天划分为24小时,每小时由60分钟组成,每分钟由60秒组成。渐渐地,在模仿现实的某些方面时,这些自动机器会把现实的模型灌输给最初建造机器的人类。这个模型取代了它所模拟的东西。因此,在技术的支持下,“现实的经验必须以数字的形式表现出来,以便在常识的眼中显得合理”。
计算机在二战前后出现,并在二战结束后的几年里进一步爆发,军事、工业和商业界将其视为解决一系列问题所需的工具,而这些问题对于人类来说,如果没有重要的技术援助是无法解决的。随着微型化使更小的计算机能够适应从办公室到飞机的一切,一个过渡期稳步发生,计算机被视为新兴现代社会不可或缺的组成部分。这一趋势的最终结果是,回到以前的方式几乎是不可想象的。然而,仅仅因为计算机被认为是不可或缺的,并不意味着它真的是不可或缺的。相反,发生的情况是,计算机仅仅成为“社会生存的必要条件,其形式是计算机本身在塑造过程中发挥了作用”。
计算机由于与军事需求密切相关,可能看起来正在从根本上改变社会,但在维森鲍姆的估计中,计算机“被用来保护美国的社会和政治制度。这至少在暂时帮助他们顶住了巨大的变革压力”。事实上,在维森鲍姆看来,计算机使得社会、政治和经济现状得以缩减,尽管计算机的广泛分散使得机械世界观在更多领域扎根 — — 同时计算机也被用来帮助支撑战后消费主义的爆发。无论计算机是否一定是正确的解决方案,它都在一系列领域受到欢迎,“比如说,出于时尚或声望的原因” — — 如果一个人的竞争对手,无论是商业对手还是竞争的超级大国,拥有计算机,那么他就不能让自己落伍。虽然计算机,正如它的名字所暗示的那样,在计算任务方面表现出色,但由于缺乏计算能力之外的原因,仍然存在一些社会挑战 — — “技术的有效性是一个涉及技术及其主题的问题”。但是,对计算机的崇拜只是对“技术”的奉承,而往往忽略了“它的主题”。然而,即使是在1976年写的文章,维森鲍姆也意识到计算机已经复杂地交织在社会中,因此重要的是认识到“社会新创造的行动方式往往消除了以旧方式行动的可能性”。计算机依赖于特定类型的信息,擅长于特定类型的任务,并受到特定的社会、政治和经济力量的引导 — — 尽管计算机可能被描绘为打开了许多门,但维森鲍姆强调,它也关闭了许多门。
计算机所代表的一个特别的问题是,与简单的工具不同,许多使用计算机的人对机器的实际工作方式知之甚少。计算机的一个令人安心的方面是它们的规律性和它们坚持常规的方式 — — 但是“如果我们依赖于那台机器,我们就成了我们不知道的法律的仆人,因此是一个反复无常的法律。这就是我们苦恼的根源”。为了减轻这种苦恼,在《计算机能力与人类理性》一书中,维森鲍姆深入研究了计算机的工作方式,通过解释相对简单的游戏来展示复杂的计算脚本,强调人们必须记住计算机完全遵守游戏规则。虽然维森鲍姆对“计算机的力量从何而来”和“计算机如何工作”的讨论不足以让一个新手立即变成一个程序员,但这些章节仍然有助于阐明计算机内部的实际情况。维森鲍姆用倾向于技术性的密集散文解释了图灵机,并阐述了计算机可以将多个程序堆叠在一起的方式,指出:“所有现代计算机的机器语言的字母表都是由‘0’和‘1’两个符号组成的集合。但是它们的词汇和转换规则有很大的不同……计算机是一个高超的符号操纵者”。尽管计算机的效率很高,但它仍然必须遵循自己的编程规则,并依赖于自己特定的语言;一个程序能够成功地执行它的脚本并不意味着它对世界有任何真正的理解。事实上,正如维森鲍姆所言,“编程之所以困难的一个真正原因是,在大多数情况下,计算机对它的程序要处理的现实世界的那些方面一无所知”。
计算机及其运行的程序在自然界中并不是有机存在的。相反,计算机及其程序是人类做出的一系列选择的物理表现。作为一名计算机科学家和麻省理工学院的教授,维森鲍姆非常熟悉那些负责决策的人,这些决策导致了更广泛的公众最终将使用的计算机系统。尽管维森鲍姆本身就是一名程序员,但他毫不畏惧地批评他的同行。对于维森鲍姆来说,像他这样的“专业人士”和维森鲍姆所说的“强迫性程序员”是有区别的,前者“将编程视为达到目的的手段,而不是目的本身”。维森鲍姆把这种人比作职业赌徒。维森鲍姆把“强迫性程序员”描述为把与计算机的互动视为目的本身的人 — — 尽管这种人可能在许多项目上工作,但他们的主要目标只是继续与计算机工作,或“入侵” 。维森鲍姆对“这些计算机流氓”的描述令人讨厌,他们“只通过计算机存在,只为计算机而存在”,在许多方面勾勒出了一种对计算机程序员的刻板印象,这种印象一直延续到今天 — — 但让维森鲍姆的描述特别刺人的是,他并不是在想象这种类型的人,而是在描述他在麻省理工学院担任计算机科学家和教授期间经常见到的一种类型的人。
在维森鲍姆的估计中,将“强迫性程序员”吸引到计算机的原因是对计算机系统中所表现出来的力量的迷恋和崇拜。虽然,“对控制的追求是所有技术所固有的”,但计算机提供了一个空间,在那里,熟练的程序员可以高兴地抓住控制权。对于“强迫性程序员……生活只不过是在一台巨大的计算机上运行的程序”,因此“生活的每个方面最终都可以用编程术语来解释”。对维森鲍姆来说,计算机的危险在于越来越多从事计算机工作的人代表了这些“强迫性程序员”,他们对计算机的忠诚已经超越了任何其他价值。然而,维森鲍姆并没有把这归咎于任何邪恶,而是归结于某些程序员 — — 以及其他现代科学家和技术专家 — — 将他们的技术科学手段与自身的目的混为一谈的某种空虚的不负责任。尽管“强迫性程序员”可能并不缺乏技能,但这种“技能……是漫无目的的,甚至是虚无的。它只是与任何东西都没有联系,除了它可能被行使的工具”。然而,在维森鲍姆对“强迫性程序员”的描述中,关键的细节可能是,这是一个相信世界的所有复杂性都可以简化到足以被计算机程序捕获的简单事物的人物。
在某些方面,计算机所代表的是一种舞台,程序员可以为其编写脚本,然后在此执行。计算机擅长于一丝不苟地执行脚本,遵循精确的规则,因此,通过检查它所遵循的代码,可以理解计算机所做的事情。人类的情况则更为棘手。诚然,人类处理和回应大量的信息,人们的行为遵循一些“科学可以发现并在某些科学框架内形式化的法则”。尽管如此,维森鲍姆对所有人类的智慧和理解都可以被简化为符合科学框架的规则的想法表示不满 — — 即使对这种规则存在的信仰引导了一些人工智能(AI)研究人员的信心。毕竟,正如维森鲍姆所说:一台机器需要什么样的设备才能“思考诸如青春期爱情失望之类的人类问题”?然而,由于机器的存在,计算机程序员所持有的理论具有特别重要的品质,使这些理论不仅仅是文本。因为“一个以计算机程序形式写成的理论既是一个理论,当放在计算机上运行时,又是一个理论适用的模型” — — 计算机提供了脚本执行的舞台。尽管计算机可能会呈现出令人印象深刻的结果,但维森鲍姆警告说:“模型总是一种简化,是它所要模拟的东西的一种理想化”。不幸的是,计算机的复杂性和模型固有的简单化往往只会导致对计算机能够和已经完成的事情的广泛误解。
“计算机已经成为一个真正强大且经常有用的隐喻的来源”,然而“公众对计算机隐喻的拥抱仅仅建立在对一个困难且复杂的科学概念最模糊的理解上”。对维森鲍姆来说,这种隐喻的盛行代表了一种危险的趋势,那些不完全了解计算机工作原理的人逐渐相信,世界上的一切都可以变成一个计算机模型。计算机隐喻使“强迫性程序员”的意识形态超越了那些没有编程经验的人,从而容易受到那些庆祝计算机所取得的最新技术成就的劝告。结果是,“计算机的隐喻变成了另一个灯柱,人们在它的光照下,也只有在它的光照下,才会去寻找迫切问题的答案”。当然,某些问题确实很适合用计算的方法来解决 — — 其中有些问题甚至似乎证明了某种人类智慧的成就,比如下棋的技巧,但维森鲍姆强调,这种胜利与计算机迅速进行计算和执行逻辑程序的实力有关。对于一些计算机科学家来说,计算机擅长解决的问题类型几乎被视为人类试图解决的问题类型的同义词,但对维森鲍姆来说,“正是这种对普遍性的无理要求,使他们对计算机、计算系统、程序等的使用从科学理论的地位降到了隐喻的地位”。
维森鲍姆对计算机隐喻的问题误解的个人经验主要与他在ELIZA的经历有关。要让计算机做某事,必须告诉计算机做某事。这并不一定意味着计算机理解它被告知的内容,只是它的脚本使它能够执行一个特定的命令。人类擅长理解 “用自然语言表达的交流”,但计算机则相反,需要“普通编程语言的精确性和明确性”。尽管维森鲍姆的程序ELIZA可以对自然语言的提示做出反应,但程序本身并不理解对它说的话 — — 相反,它只是在遵循一个脚本 — — 而且在那些不熟悉计算机工作原理的人中,这种理解的假象似乎最为强烈。
ELIZA有很多特点,但智能并不是其中之一。对维森鲍姆来说,ELIZA展示了人们热衷于将智能赋予机器的方式,而这种方式是没有必要的 — — 这是他在人工智能领域的一些同事中看到的一种强烈的倾向,他将这些人称为“人工智能主义者”(the artificial intelligentsia)。虽然维森鲍姆承认人工智能科学家已经创造了可以执行许多任务的程序,但他认为这种倾向是傲慢的,认为人工智能的任何缺点只是“在特定系统的程序限制中找到的”。那些不熟悉计算机的人有理由被ELIZA的表现所吸引,但“人工智能”的借口是什么?维森鲍姆在他的一生中见证了计算机能力的巨大飞跃,并且认识到今天对计算机来说不可能的事情,明天对计算机来说也可能。然而,问题变得越来越多,不再是计算机能做什么的问题,而是它们应该做什么的问题 — — 是否有“适当的人类目标不适合于机器”?
“人不是机器……计算机和人不是同一个属的物种”,这是维森鲍姆对他所认为的信仰的尖锐反驳,这些信仰让“人工智能反常的宏大幻想得以发展”。对于维森鲍姆来说,智力是一个复杂而困难的概念,不能简单地加以简化。因此,试图最终定义智力的尝试,如智商测试,注定最多只能捕捉到智力的部分一瞥。很明显,计算机可以在那些似乎表明智能的壮举上取得成功,但同时这也过于简单化了。一台计算机可能在国际象棋中获胜,但这并不意味着它能给婴儿换尿布。对维森鲍姆来说,这些都是“无法比较”的大相径庭的智能问题。计算机擅长于涉及量化的任务,但对维森鲍姆来说,人类有很多东西是根本无法量化的。维森鲍姆意识到,“人工智能”的成员可以把这种批评看作是一种科学挑战,他们可以试图通过制造更复杂的机器来应对这种挑战。然而,对维森鲍姆来说,这不是一个学术决斗的问题 — — 而是一个道德问题 — — 因为“问题不在于这样的事情是否可以做到,而在于将这种迄今为止的人类功能委托给机器是否合适”。
关于人类的状况,很多东西仍然是未知的 — — 关于做人的其他很多东西只有通过人类经验的磨练才能学到 — — 这些东西不容易被量化和编程。如果计算机或机器人最终达到这样的成熟度,表现出与人类真正相似的智能,那么它们的智能将是相当“陌生”的,因为它们的智能是在不同的社会条件下形成的,并涉及到一系列不同的经验。在智力之外,还有情感和无意识的问题,这些问题不容易被计算和冷酷的逻辑所制约 — — 因此维森鲍姆告诫大家要克制,因为“有些东西是科学无法完全理解的”。这种情绪既是对他的科学同事的警告,也是对广大公众的提醒,要对全能的说法保持警惕。对维森鲍姆来说,这基本上是与这样一种信念联系在一起的:有些任务对计算机来说根本就是不合适的 — — “既然我们现在没有任何办法让计算机变得聪明,那么我们现在就不应该给计算机提供需要智慧的任务”。
维森鲍姆的警告是在许多不适合计算机的任务已经传递给计算机的时候发出的。当维森鲍姆在写《计算机能力与人类理性》时,计算机已经成为企业和大型组织的一个普遍特征 — — 即使它还没有成为每个家庭的固定设备。尽管这些机器最初是以它们会有帮助的承诺来出售的,但现在的情况是,这些机器“既超越了用户的理解力,又成为他们不可或缺的东西”。本来应该提供帮助的东西已经变成了人们无助的东西。对于那些不熟悉计算机内部工作原理的人来说,这种痛苦尤其危险,因为他们曾经被引导相信计算机是万无一失的,他们觉得自己的行动能力和责任都被机器篡夺了。然而,正如维森鲍姆激烈地提醒他的读者,“技术、政治和社会必然性的神话是一种强大的良心镇定剂。它的作用是为每个真正相信它的人卸下责任。但事实上,演员是有的!”计算机隐喻的颂扬者所梦想的世界就这样被描绘成不可避免的 — — 在机器面前感到无力的人们开始怀疑,表达他们的反对有任何意义。与其被比作卡努特国王,不如顺应潮流。
然而,维森鲍姆拒绝接受固化的安宁。科学和“技术知识分子的修辞”把自己描绘成逻辑合理的,但对维森鲍姆来说,这是“工具推理,而不是真正的人类理性”。在计算机隐喻的支持下炮制的世界观中,世界的巨大复杂性被转化为“‘程序化’的东西,人们谈论‘输入’和‘输出’,谈论反馈回路、变量、参数、过程等等,直到最后与具体情境的所有联系都被抽象化。”这是一个被动、冷漠和无能的秘诀 — — 因为人类生活只是被输入机器和分析的数据问题。对“工具理性”的过度依赖,以及最符合这种推理的技术,已经成为一种“被黑魔法包围的迷信。而且只有魔术师才有入门的权利”。作为一个成功的计算机科学家,维森鲍姆本身就是一个可以加入这些“魔术师”行列的人物,但他却没有被工具理性所迷惑。诚然,维森鲍姆知道他的反对意见会被技术专家们视为“反技术、反科学、最后反智”,但维森鲍姆强调,“我在为理性而争论。但我主张理性不能与直觉和感觉分开。我主张合理使用科学和技术,而不是将其神秘化,更不是将其抛弃。我敦促将伦理思想引入科学规划。我反对的是工具理性的帝国主义,而不是理性”。
维森鲍姆对伦理重新评估的呼吁听起来并不像卡桑德拉(Cassandra)的呼喊,他也没有忘记,这种呼喊通常是无人理睬的。科学和技术绝不代表人类文明的新力量,但其影响的规模已经大大增加 — — 如此诱惑许多人的力量已经超出了可以安全控制和管理的范围,而且它正在逐步侵蚀选择不同道路的能力。许多人至少享受着计算机驱动的技术进步带来的表面利益,并对放弃这些设备犹豫不决,这是一个严重的问题,但维森鲍姆认为,“伦理学,从根本上说,涉及到的只是放弃”。如果技术和科学力量把人类变成了娱乐性的机器人,那么它有什么用?在一个已经被越来越多的计算机所淹没的世界里,有什么理由真正相信由于缺乏计算机能力,严重的社会和政治问题仍然存在?如果维森鲍姆呼吁在某些情况下放弃计算机,那是因为在所有情况下对计算机的拥抱都导致了对人类的放弃。正如维森鲍姆在文中所重申的,“有些人类的功能是不应该被计算机取代的。这与计算机可以或不可以做什么没有关系。尊重、理解和爱并不是技术问题”。
敏锐而强烈的责任感促使维森鲍姆对计算机和被这些机器迷住的人发表了挑衅性的文章。约瑟夫·维森鲍姆(Joseph Weizenbaum)是一位计算机科学家,也是一位向他人传授计算机科学的科学家,他希望《计算机能力与人类理性》中的信息能够引起他的同行和同事的共鸣。在维森鲍姆看来,“科学家和技术专家由于他们的能力,肩负着特别沉重的责任,这个责任不能被塞在诸如技术必然性等口号的外表下”。因此,维森鲍姆认为至关重要的是,科学家和技术人员要思考他们的行为的后果,重新发现他们“自己内心的声音”,最重要的是要 “学会说‘不’”!
责任的需要
萦绕在维森鲍姆的社会批评中的是他小时候逃离纳粹的记忆。在他的作品中,与法西斯主义有关的人物不是作为可怕的妖怪或无法解释的邪恶巨石出现,而是作为失去对人类其他部分责任的真实人物的例子。阿道夫·希特勒和纳粹党的领导层并没有被维森鲍姆详细研究,相反,他的重点是“好德国人”的形象 — — 那些对发生在他们周围的恐怖事件表示无知的人。纳粹政权的精心组织使“善良的德国人”处于无知状态的借口并不能说服维森鲍姆,他反而提出 “善良的德国人不知道的真正原因是,他从来不觉得自己有责任去询问他的犹太邻居发生了什么,他的公寓突然变得空了”。毕竟,当维森鲍姆一家逃离柏林时,他们的住所突然变得空了,而当居民因更令人痛苦的原因消失时,所有空的公寓又会如何?当维森鲍姆在20世纪50年代第一次回到德国时,他发现自己看着周围那些经历过纳粹时代的德国人,“想知道,有时更多,有时更少,你做了什么?你是谁?你是闭口不言吗?还是反抗了?还是热心参与?”
除了“善良的德国人”,维森鲍姆的职业联系使他特别反思那些曾为纳粹政府工作的科学家的生活。在维森鲍姆的估计中,许多德国科学家在纳粹政权期间,自己也戴上了 “好德国人”的光环,表现出一种“我们是科学家;政治与我们无关;元首决定”。这是许多德国科学家在战后能够方便地躲在后面的立场,因为像沃纳·冯·布劳恩这样的人物在冷战中担任重要角色,为他们过去的关系提供了意识形态上的保障。席卷整个大陆并结束了数百万人生命的纳粹主义已经成为一种似乎无人负责的东西 — — 一个被作为警告而举起的黑暗篇章,但从未被阅读。维森鲍姆在战后德国观察到的悖论是,突然间似乎没有人对所发生的事情负责 — — 公民声称无知,而科学家则表现得好像他们的发明将被用于何种用途与他们无关。
关于纳粹的凶残统治,“永远不会再发生”这句话经常被引用,但在维森鲍姆的作品中,这个“永远不会再发生”具有另一种性质,仿佛在说:“我们科学家再也不能推卸责任了”。正如维森鲍姆自己所说的那样。“承担责任是道德问题。最重要的是,它要求认识和接受自己的局限性以及自己工具的局限性。不幸的是,做完全相反的事情的诱惑非常大。”从对发动越南战争至关重要的计算机,到开发更具破坏性的原子武器的进展,对维森鲍姆来说,科学家和技术专家的工作在支撑和允许世界上的暴力方面至关重要。这些终结生命手段的建立依赖于科学的默许,对于这一点,维森鲍姆告诫他的同行们要记住:“没有我们,它不能继续下去!没有我们,军备竞赛,特别是原子竞赛就不能继续。”
诚然,科学界很难将自己从军事中剥离出来 — — 因为许多科学家的研究在很大程度上依赖于国防部各部门的慷慨资助。维森鲍姆意识到这对他和他的同事的工作的影响,他是麻省理工学院的教授,他非常清楚,“在麻省理工学院,我们为越南战争发明了武器和武器系统……麻省理工学院与五角大楼密切相关”。科学界的这一挑战远远超出了维森鲍姆任教的大学,他直言不讳地表示,科学家必须了解他们的项目被用于何种目的。“今天,我们几乎可以肯定地知道,每一项科学和技术成果都将在可能的情况下被用于军事系统”。即使是看起来无害的程序,其本身也可能最终为暴力事业服务 — — 对维森鲍姆来说,科学家必须认识到这一点并面对这种影响。计算机和科学可以为人道主义目的服务,但这并不排除对反人类影响的担忧。
维森鲍姆承诺决不允许自己变得像德国科学家那样,好像他们对自己工作的影响不负责任 — — 即使维森鲍姆观察到他的许多同事不愿意听从他对严格的责任的呼吁。因此,维森鲍姆成为一个对科学家义务直言不讳的批评者,一个军事化的反对者,并拒绝在不公正的时候安静地坐在办公室里 — — 在整个过程中,他意识到自己已经成为麻省理工学院的“一种无花果叶”(a kind of fig leaf),但他仍然致力于成为一个坚守道德原则的标志性人物。维森鲍姆愿意呼唤“强迫性程序员”、“技术知识分子”和“人工智能”,他愿意挑战他的科学家同伴。虽然其他对技术有着强烈关注的社会批评家,如刘易斯·芒福德(Lewis Mumford)和汉斯·乔纳斯(Hans Jonas),都写过关于科学家需要承担责任的文章 — — 但这种批评在由维森鲍姆这样的科学界人士发表时,却被赋予了特别的活力。当维森鲍姆劝说科学家承担责任时,他把自己作为一个例子来说明这可能是什么样子。
正是这种承诺导致维森鲍姆参与到围绕科学和技术的多个领域的辩论中,不局限于对计算机和武器系统的讨论,还挑战“人工智能”。维森鲍姆对“人工智能界高喊人类是一台机器”的倾向作出了强烈反应。他们的中心论点是,整个人可以仅从科学的角度来理解。对维森鲍姆来说,这种思想不仅显示了一种危险的傲慢倾向,而且是“对生命的深刻蔑视”。马文·明斯基(Marvin Minsky)也是麻省理工学院的教授,他的一句话尤其让维森鲍姆感到愤怒,“大脑只是一台肉机”(the brain is merely a meat machine),这是维森鲍姆在其著作中反复提到的一句话。“肉机”似乎是对人工智能界观点的简单概括,也是强调技术隐喻的原则的一部分。认为像人类思维这样复杂的东西可以被简化为容易量化的信息量,这让维森鲍姆觉得很荒谬,尽管他不幸地意识到这种观点在“人工智能社区、人工智能界以及许多科学家、工程师和普通人的重要部门”中很普遍。智能,无论是人类还是人工智能,都很难定义,因此更难量化 — — 但关于“人工智能”的声明往往给人一种印象,即他们对智能的含义已经有了结论性的共识。通过对ELIZA的研究,维森鲍姆亲自观察了对计算机智能可能出现的各种类型的误解,并目睹了人工智能领域的杰出科学家(如明斯基)提出的观点,他认识到技术上的乐观主义,如果有点厌世的话,“人工智能的精神弥漫在计算机实践领域的许多思潮中”。
维森鲍姆并不把自己看作是计算机和技术的批评者,而是社会的批评者;然而,他的社会批评主要集中在计算机和技术对社会的影响上。因此,维森鲍姆与其他思想家一起,“多年来对科学和技术不受约束的发展所造成的状况表示严重关切”。尽管在年轻时,维森鲍姆曾享受过早期计算机带来的快感,并在其发展过程中发挥了重要作用,但他与“技术知识分子”一起工作的经历以及对技术对社会影响的观察,抑制了他最初的热情。在1979年于马萨诸塞州剑桥市举行的一次会议上,维森鲍姆沉痛地指出:“我认为我们的文化有一个薄弱的价值体系,很少使用集体福利,因此在技术面前是灾难性的脆弱”。在这样的背景下,高估科学和技术的体系很容易占据上风,特别是当它们同时为许多人经历的无力感提供了令人安心的解释。技术的潜力和它的实现之间的并列是一个持续矛盾的问题,“一方面,计算机在原则上使生活在一个对每个人来说都很丰富的世界成为可能,另一方面,我们正在用它来创造一个痛苦和混乱的世界”。在他的作品中,维森鲍姆多次提到与技术的交易是一种“浮士德的契约” — — 然而这仍然留下一个问题,即谁应该对与梅菲斯特签署契约负责?
在剑桥的会议上,维森鲍姆特别关注诸如“我们”(we)和 “我们”(us)这样的术语在围绕技术和科学的讨论中被使用的方式。一台机器可以从实验室里几个人的决定中产生,并造成巨大的全球影响 — — 但代价仍然经常被框定为“它将为我们服务”。这一切包含着“我们”(us),代表着一种奇怪的负罪感。维森鲍姆一直在批评那些以无知为借口的“善良的德国人”,但他对这些人的批评是由于他觉得他们声称的无知是一种假象,一种故意的自我欺骗。然而,在企业和大学的技术变革中,人们对正在发生的变化的无知并不是虚假的。维森鲍姆还是个孩子的时候,就亲眼目睹了早期纳粹政权固有的野蛮,但技术的危险风险并不是一个公开辩论或投票的问题。当阿尔伯特·赫希曼(Albert Hirschman)还在剑桥的会议上回应维森鲍姆(Weizenbaum)对“我们”(us)身份的质疑时,他说:“每个国家都拥有它应得的技术”。维森鲍姆反驳道:“我不认为国家比人民更值得拥有东西,尤其是别人强加给他们的东西。”
如果维森鲍姆建议在识别“我们”(we)和 “我们”(us)时要谨慎,那么他认为是“他者”的人就更清楚了 — — 因为这些人是“技术知识分子”的成员。作为机器背后的科学家,挥舞着技术的隐喻,这些人的决定最终被“强加”给更广泛的公众。维森鲍姆所规定的必要条件是让这些“其他人”接受责任 — — “科学家和技术专家不能再通过呼吁社会的无限力量来改变自己以适应新的现实并治愈他给社会造成的创伤来逃避对他所做的事情的责任。已经达到了某些极限。新技术可能要求的变革可能无法实现,而无法实现这些变革可能意味着所有生命的毁灭。没有人有权利把这样的选择强加给人类。”科学和技术自称是万灵药,它改变了世界,使其他补救办法不再有效。因此,维森鲍姆试图唤醒他的同行们的伦理想象力。
维森鲍姆试图鼓励他的同事们从利用技术和科学的角度来思考,以确保“每个人都能获得有尊严地生活所需的所有物质财富”,对于那些将这种目标视为不切实际的人,他轻蔑地回答说:“我在这里提到的不可能的目标是可能的,就像我们有可能毁灭人类一样”。
今天的约瑟夫·维森鲍姆(Joseph Weizenbaum)
当约瑟夫·维森鲍姆(Joseph Weizenbaum)在2008年以85岁高龄去世时,他已经在计算机科学史上占有一席之地,他既是一位重要的科学家,又是计算机在社会中的作用的主要批评者。在他的一生中,维森鲍姆站在了计算机发生重大转变的前线,从需要整个房间的机械庞然大物,到个人计算机,再到早期的智能手机的化身。当他看到计算机变得越来越小,越来越强大,越来越多地与日常生活中的活动联系在一起时,他的批评依然坚定。对他来说,计算机的军事起源不能简单地作为一个不方便的历史细节而被遗忘,尽管他不否认计算机令人印象深刻的潜力,但他仍然意识到这种潜力经常出错。
维森鲍姆不是一个多产的作家,他的文章和他的书《计算机能力与人类理性》继续对撰写计算机对社会影响的学者产生重要影响。在《封闭的世界:冷战时期美国的计算机和话语政治》(The Closed World: Computers and the Politics of Discourse in Cold War America)一书中,保罗·N·爱德华兹(Paul N. Edwards)认为“工具和隐喻通过话语联系在一起”,他借鉴了维森鲍姆对技术隐喻的考虑,讨论了“工具及其使用如何形成人类话语的一个组成部分,并通过话语,不仅直接塑造物质现实,而且塑造指导这种塑造的心理模型、概念和理论”。维森鲍姆对“强迫性程序员”相当严厉的描述也被证明不仅仅是一种可以被简单驳回的刻板印象。雪莉·特克(Sherry Turkle)认为维森鲍姆帮助揭露了“黑客”的形象,因为“许多人第一次意识到黑客的存在是在1976年约瑟夫·维森鲍姆(Joseph Weizenbaum)的《计算机能力与人类理性》的出版”。维森鲍姆对黑客/强迫性程序员的描述多年来一直引起人们的共鸣,即使这些人已经从大学计算机实验室的黑暗角落迁移到大公司的会议室中。Wendy Hui Kyong Chun写道:“维森鲍姆认为,编程创造了一种新的精神障碍:强迫性编程”,尽管她反驳了维森鲍姆的指责,即强迫性程序员在他们的追求中没有乐趣,但她肯定有一些人,她特别指出理查德·斯托曼(Richard Stallman),“他[符合]维森鲍姆对黑客的描述”。显然,维森鲍姆与强迫性程序员的接触使他能够识别出一些真实的东西,即使他围绕那些拥抱技术隐喻的人所做的工作使他能够预测它对话语的影响。
维森鲍姆思想的某些方面多年来一直受到质疑,他的一些预测被证明是完全不正确的,比如他在1978年提出的评论:“家用计算机会像今天的电视机一样普及吗?”维森鲍姆对此提出了反驳:“答案几乎肯定是否定的”。在一个智能手机、平板电脑、笔记本电脑和电视机的世界里,这个 “否定”被证明是错误的,这些计算机本身都与互联网相连。然而,即使维森鲍姆关于计算机的一些评论已经过时,他的论点也没有失去任何道德上的重量。在《计算机能力与人类理性》一书中,维森鲍姆提出了一份批评者名单,他们反对“科学技术不受约束的发展”,而维森鲍姆自己也被后来的作家列入了这一群体。大卫·戈伦比亚(David Golumbia)在《计算的文化逻辑》(The Cultural Logic of Computation)中批判了“计算主义”的兴起,他将其定义为“对人类和社会经验的大量甚至全部可以通过计算过程来解释这一观点的承诺”,并指出“维森鲍姆公开反对计算主义的观点,并继续写了一本关于其问题的引人注目的书”。当戈伦比亚把他自己列出的批评“计算主义”的“知名学者” — — 就像那些挑战“科学和技术的自由发展”的人 — — 放在一起时,戈伦比亚把维森鲍姆和许多同样出现在维森鲍姆自己的名单上的人放在一起。
因此,本书提供了对约瑟夫·维森鲍姆(Joseph Weizenbaum)的生活和思想的一个重要概述。在这场范围广泛的讨论中,维森鲍姆向古纳·温特(Gunna Wendt)坦率地讲述了他一生中所面临的问题 — — 从ELIZA到AI到技术隐喻 — — 并看到他揭示了他的个人经历如何影响了他一生中所采取的立场。最重要的是,这本书展示了维森鲍姆作为社会批评家对技术在当代社会的作用的持续活力。而其他著名的批评家,如芒福德,在他们能够写出任何有关互联网的文章之前就已经去世了 — — 本书所介绍的访谈非常清楚地表明,维森鲍姆不愿意被一些人试图为互联网披上的乌托邦外衣所迷惑。面对技术的进步,维森鲍姆丝毫没有失去他的批判精神。正如维森鲍姆以辛辣的幽默写道:“互联网是一个大垃圾场 — — 诚然里面有一些珍珠,但你必须先找到它们。”本书认为维森鲍姆是自我意识和自嘲的,但仍然坚定地致力于坚守道德原则 — — 它不是对约瑟夫·维森鲍姆(Joseph Weizenbaum)作为一个简单的计算机科学家的概述,而是对约瑟夫·维森鲍姆(Joseph Weizenbaum)作为一个复杂的人,对其他人类的复杂性的赞美。
那些正在寻找对技术的简单庆祝的人不会在约瑟夫·维森鲍姆(Joseph Weizenbaum)的作品中找到这种庆祝。作为一个社会批评家,他发现,并在书中继续证明,他致力于大声说出令人不舒服的意见。“计算机就像电视一样,嵌入了我们这个疯狂的社会。一切都嵌入了这个社会,而这个社会显然是疯狂的。”然而,这种观察并没有陷入虚无主义的厌世主义或宿命论的绝望之中,而是相信人们可以克服他们的无力感,重新为自己的生活负责。对维森鲍姆来说,人们必须成为“理性之岛” — — 即使这样做会使人孤立和孤独,因为这样的岛屿仍有可能吸引类似的人,愿意承认“也许我们现在对现代科学技术上瘾了,需要实行戒断疗法”。重要的是,这不是呼吁人们从世界上隐退,而是呼吁人们对当今的道德窘境进行更深入的投资。为了让人们认识到他们周围世界的疯狂,当这种认识出现时,“我们应该说出来,我们应该与他人分享我们所认识到的东西”。
而这正是约瑟夫·维森鲍姆(Joseph Weizenbaum)所努力实现的目标。这本书是一张发现理性之岛(Island of Reason)的地图,而这个理性之岛就是约瑟夫·维森鲍姆(Joseph Weizenbaum)。
原文:An island of reason in the cyberstream — on the life and thought of Joseph Weizenbaum
Like my work? Don't forget to support and clap, let me know that you are with me on the road of creation. Keep this enthusiasm together!
