茶几文化 | 马库斯对GPT-4（下一代ChatGPT）的预言

今天文章的主角是马库斯。注意，不是网红明星马斯克。

盖瑞·马库斯（Gary Marcus）是一位知名的认知心理学家、计算机科学家和作家。他是纽约大学心理学教授，同时也是Geometric Intelligence公司的创始人之一。他的研究领域包括人工智能、认知心理学、语言学和哲学。他是多本畅销书的作者，包括《神经网络与深度学习：一份旅行指南》（Neural Networks and Deep Learning: A Textbook）和《如何创造可信的AI》（Rebooting AI: Building Artificial Intelligence We Can Trust）等。

马库斯也以喜欢抨击深度学习尤其是大型语言模型著名。以前他经常与深度学习技术的大拿LeCun推特对战，但LeCun最近似乎转变了态度，看来马库斯的看法还是很有道理的。

以下是他在去年年底对ChatGPT可能的下一代产品核心技术GPT-4的预测，现在仍值得回顾一下：

1. GPT-4仍然会像它的前辈一样犯下各种愚蠢的错误。它有时可能会很好地完成给定的任务，有时却罢工不干，但你并不能提前预料到即将出现的是哪种情况。
2. GPT-4对物理、心理和数学方面的推理依然靠不住。它或许能够解决部分之前未能挑战成功的项目，但在面对更长和更复杂的场景时依然束手无策。比如，当被问及医学问题时，它要么拒绝回答，要么偶尔会说出听起来很有道理但很危险的废话。尽管它已经吞噬了互联网上的大量内容，但它并不能足够可信和完整地提供可靠的医疗建议。
3. 流畅幻象（fluent hallucinations）仍将十分常见，而且很容易被诱发。也就是说，大型语言模型依然是一个能被轻易用于制作听起来很有道理却完全错误的信息的工具。
4. GPT-4的自然语言输出仍然无法以可靠的方式为下游程序提供服务。利用它构建虚拟助手的开发者会发现，自己无法可靠地将用户语言映射到用户的意图上。
5. GPT-4本身不会是一个能解决任意任务的通用人工智能。如果没有外部的辅助，它既不能在Diplomacy（游戏）中击败Meta的Cicero（游戏），也不能可靠地驾驶汽车，更不能驱动《变形金刚》里的擎天柱。
6. 人类“想要什么”与机器“去做什么”之间的“对接”，依然是一个关键且尚未解决的问题。GPT-4仍将无法控制自己的输出，一些建议是令人惊讶得糟糕，掩盖偏见的例子也会在几天或几个月内被发现。
7. 当AGI（通用人工智能）实现时，像GPT-4这样的大型语言模型，或许会成为最终解决方案的一部分，但也仅限于其中的一部分。单纯的“扩展”，也就是建立更大的模型直到它吸收了整个互联网，在一定程度上会被证明是有用的。但值得信赖的、与人类价值观相一致的通用人工智能，一定会来自于结构化程度更高的系统。它将具有更多的内置知识，并包含明确的推理和计划工具。而这些，都是现在的GPT系统所缺乏的。

马库斯认为，在十年内，也许更少时间内，人工智能的重点将从对大型语言模型的扩展，转向与更广泛的技术相结合。

总之，在马库斯看来，依靠天文数字般的海量数据喂食的大模型还会继续发展，但永远无法达到通用AI所需要的能力。也就是说，如果目标是通用AI的话，这是一条死路。AI科学家们必需考虑其它类型的方法。

参考链接：
https://en.wikipedia.org/wiki/Gary_Marcus
https://garymarcus.substack.com/p/what-to-expect-when-youre-expecting