第一波基于 GPT-3 开发的第三方应用，震惊了整个科技圈，成为推特最近当之无愧最火爆的科技话题。这些应用让我们得以一窥未来的 AI 世界。

GPT-3（可生成预训练的 Transformer-3）是 OpenAI 公司最新推出的最出色的自然语言预测模型。简而言之，GPT-3 预测“下一个词”。它会从任何一段输入文本，生成一段响应文本输出。GPT-3 是一个能够回应提问，或者继续陈述的 AI 程序。

GPT-3 接受了来自互联网的大量自然语言文本的预训练。训练文本包含近 5000 亿个单词，大小为45TB。在 GPU 上训练 GPT-3 至少花费了460万美元（一说高达1200万美元）。其结果模型有1750亿个参数。

GPT-3 比以前最大的语言 AI 模型都要大上100倍。根据 OpenAI 团队发布的官方论文， GPT-3 无需任何微调，就能实现优异的性能。但是 GPT-3 在现实世界中如何运行？GPT-3 不过是个玩具，还是对人类的严重威胁？在初始版本发布一个月之后，第一批由第三方开发者开发的 GPT-3 应用诞生。让我们近距离瞧上一瞧。

大多数开发者一定可以用 GPT-3飞速地开发项目。— Yash Dani & George Saad

本篇文章中，我们采访了许多基于 GTP-3 做开发的开发者和企业家，并测评了一些应用。使用过 GPT-3 的开发者都对 GPT-3 赞不绝口，纷纷称奇。

GPT-3 的运行方式

GPT-3 模型一个单词一个单词地生成文本。假设，一个开发者给了 GPT-3 如下语句作为输入：

“生命、宇宙和万物的终极问题的答案是”

AI 模型可以生成单词“四十”作为响应。然后，开发者将生成的单词附加到输入的语句后，再次运行模型。

“生命、宇宙和万物的终极问题的答案是四十。”

这次，AI模型可以生成单词“ 二”作为响应。重复上述过程，下一个响应为句号，从而完成了这个句子。

“生命，宇宙和万物的终极问题的答案是四十二。”

GPT-3 之所以能做到这一点，是因为在训练文本中多次看到了这一段流行文化用语。因此，GPT-3 的神经网络能够以很高的确定性猜测“下一个单词”。

但是，用自然语言预测并不总是那么明确。正确的回应输出单词通常取决于输入文本的上下文。这就是 GPT-3 作为“小样本学习者”的实力所在。小样本学习通过一些示例来“预热” GPT-3，然后要求 GPT-3 进行预测。这使用户可以为 AI 模型提供语境，并大大提高准确性。图1显示了零样本学习、单样本学习和小样本学习的示例，图中的例子是预热 AI 模型进行英语到法语的翻译。

AI 翻译的三种学习方式，图片来自 Language Models are Few-Shot Learners 图 2.1

小样本学习与婴儿学习语言的方式非常相似。学习者从语言示例中学习，而不是从语法规则中学习。因此，通过使用不同的示例训练 GPT-3，开发者可以创建不同应用。

Jay Alammar 写了一篇很棒的文章，用动画来解释 GPT-3 的工作原理。

它通过了图灵测试吗？

人们对语言 AI 提出的首要问题是，它是否能通过图灵测试并骗过人类，让人们误以为它是人类？有人认为 GPT-3 已经可以欺骗人类了。图2是 GPT-3 生成的文章。根据 GPT-3 团队的测试，只有不到12％的人可以分辨出这篇论文是机器写的。 

GPT-3的原创文章，图片来自Language Models are Few-Shot Learners，图 3.14

只需稍作训练，GPT-3 就能模仿名人的写作风格。 用户选择一个名人并提供一个主题。接着，Learn from anyone 用该名人的公开言论与文章对 GPT-3 进行预热，然后使用主题文本作为输入。Learn from anyone 会输出 GPT-3 生成的200字文章。结果是惊人的。想象一下让美国国父 Thomas Jefferson 评论一下火星探索！或是用 GPT-3 假造生成受大家尊敬的福奇博士有关新冠病毒的“科学观点”。在 GPT-3 时代，我们还能信任互联网上的东西吗？我们将在本文后面再回来讨论这一点。

当然，除了名人之外， GPT-3 可以模仿任何人，包括你自己！开发者 Ravi Vadrevu 创建了一项可以为用户写商务电子邮件的服务。该服务会用用户过去的电子邮件来预热 GPT-3。输入指定邮件目标之后，如招聘、网络或销售，GPT-3 就可以替用户写电子邮件。像这样的服务必须要求 GPT-3 能通过图灵测试。

翻译和律师

GPT-3 学习了5000亿个单词，其中并非完全是英语。通过将单词与上下文相关联，GPT-3 似乎可以进行翻译工作（请参见图1）。在 GPT-3 论文中，作者举例说明了如何使用 GPT-3 进行英语到法语以及英语到西班牙语的翻译。

GPT-3 能够在上下文中理解英语单词，这衍生出许多有趣的可能性。例如，基于GPT-3的词典 Revtheo，能够根据语境告诉用户单词的含义。

但是，更有意思的是 GPT-3 可以将整段的英语“翻译”成重新组织过的英语！重写一段英文文本，让语言风格变更简单或变严肃。法律技术企业家 Francis Jervis 将 GPT-3 预热为“用律师的方式写作”。给 GPT-3 一段目常英文段落，它就可以“翻译”成法律格式的文本。结果非常喜人。Francis 认为这将使很多律师失业。另一方面，投资者 Michael Tefula 预热 GPT-3 以将复杂的法律文本翻译成日常英语。在这两种情况下，仅需2-3个示例就可预热好 GPT-3。结果虽然不完美，但已经非常接近。值得一提的是，GPT-3 从未接受过法律文本训练，只是用了几个简单的示例预热。 

会计和设计师

GPT-3 论文中令人震惊的发现之一是 AI 能够从语言“学习数学”的能力。GPT-3 从未学习过数学的基本结构和定理。但是，它可以生成数学问题的正确答案。GPT-3 在计算两个数字相加时，结果几乎是100％正确的，尽管它从未学过数字的含义。图3 显示了 GPT-3 论文中的一些示例。这是 AI 自己产生的意识吗？细思极恐。

GPT-3 做算术题.，图片来自 Language Models are Few-Shot Learners, 图 G.42 to G.48

结合 GPT-3 的数学能力以及 GPT-3 已经在训练中看到大量结构化数据这一事实，当输入带有结构化数据的英语时，预热 GPT-3 响应输出像 JSON 或 XML 的数据是极有可能的。

开发者 Yash Dani 和 George Saad 用八个示例预热了 GPT-3，将描述交易的英语转换为 Python 数据对象。这是他们训练数据的示例。

• 输入：I bought an additional $12000 worth of inventory which I paid for immediately.

• 输出：[["add", 1200, "Inventory"], ["remove", 1200, "Cash"]]
  

他们写了一个 Python 程序来处理该对象，并将得到内容插入 Excel 电子表格。基于 GPT-3 的自动会计可以根据临时的交易描述更新财务报表。

如果我们用自然语言就能编辑 Excel 文件，也许我们可以对 PowerPoint 做同样的事情？果然，Twitter 用户 nutanc 给我们做了一个演示。

开发者 Jordan Singer 采用类似的方法，构建了一个 Figma 插件。通过这个插件，用户只需要用日常英语描述用户界面（UI），然后 GPT-3 会生成 UI 的结构化 JSON 表示，然后使用计算机程序在 Figma 中呈现 JSON 内容。

在这些示例中，GPT-3 输出结构化数据，然后由另一个计算机程序对其进行处理以完成任务。这似乎是自然语言 AI 应用程序的一种前景无限的形式。

无代码开发

如果 GPT-3 可以生成计算机程序使用的结构化数据，那么也许可以再走一步，直接生成计算机程序。这可能吗？答案似乎也是肯定的！下面这些例子值得细品！

• Shreya Shankar 实现了将英语描述生成 LaTeX 方程

• Faraaz Nishtar 生成了可以在实际数据库上运行的 SQL 查询
  

• Antonio Gomez 实现了根据说明在 JavaScript 中生成 3D 场景
  

• Suhail CS 生成了用于管理服务器的 AWS CLI 命令
  

• Sharif Shameem 生成了完整的 React 应用程序 UI
  

几个开发者告诉我们，预热对 GPT-3 生成正确的编程输出至关重要。该系统必需使用“正确”的示例进行预热。与其他深层神经网络一样，对人类来说，GPT-3 在很大程度上是黑匣子。因此，找出正确的例子来预热 GPT-3 ，获得准确的输出是一个相当具有挑战性的工作。这是一个反复试验的过程，可能需要几天的时间。 

它需要一些示例来捕捉模式，然后就可以完成了。GPT-3 像魔术一样工作。— Tushar Khattar

开发 GPT-3 应用程序不是用传统的编程语言编写算法，而是想出自然语言示例来为预热 AI。这需要一种新型的无代码技能，并将在软件开发中创造新的工作机会。

人类描述， AI 构建, 人类俢复漏洞 — Vitalik Buterin, 以太坊创始人

机器生成代码或是未来计算机科学研究的重要的领域。我们甚至可以有目的地构建生成编程语言输出的 AI 系统。比如， Facebook Research的 TransCoder 项目使用无监督学习将一种编程语言如 Python ，转换为另一个编程语言如 C ++。

一个我们能理解的 AI

尽管 OpenAI 的名字看起来很“开放”，但 GPT-3 既不是开源项目，也没有开放访问。OpenAI 为开发者提供了一个简单的 Web 服务 API，以供开发者预热模型，然后发送文本获取响应。这个 API 很简单，但是获得权限需要等待。如果你有兴趣，也可以加入他们的 Waiting List （链接）。

到目前为止，一切都很棒。我们能看到 GPT-3 学习的速度非常不可思议。它的 API非常简单。文本输入、文本输出的交互使你可以做任何你能想到的事情。— Jordan Singer

设置访问 GPT-3 的障碍是 OpenAI 团队有意而为之。如我们所见，GPT-3 软件功能强大。但是，GPT-3 是一个黑匣子，我们无法轻松地预测或控制它生成的文本。正如前文所提到的，为准确的输出进行训练很大程度上是一个反复试验的过程。考虑到互联网上存在的种族主义、歧视，假新闻以及其他有害的内容，无人监管的 GPT-3 可能会产生带有偏见或伤害的文字。例如，GPT-3 可能产生令人信服的假新闻。

开发者社区必须响应性地使用功能强大的 AI 系统，这可能需要我们更深入的了解语言模型的工作方式，而不是仅仅列出禁止使用的单词表。

当 AI 做出或说出政治不正确的话，大家会很不爽。如果难以阻止 AI 得出这样的结果，解决这个难题的最简单方法是教 AI 隐藏自己的想法吗？隐藏想法是一项恐怖的技能。— Paul Graham

人类很难理解，更不用说解释和控制 AI 黑匣子内部的推理。但是，AI 能否向人类解释自己？软件开发者 Daniel Bigham 要求 GPT-3 纠正英语句子中的语法错误，并给出纠正的原因。虽然从未明确教过 GPT-3 语法规则，但 GPT-3 从示例中得到了理解。这只是一个例子。但这是迈向 AI 可解释性的重要一步，虽然这只是一小步。

• 输入: Its time to get cracking!
  

• 输出校正: It’s time to get cracking!
  

• 输出解释: The contraction “it’s” should be used instead of the possessive “its”.（应该使用缩写“it’s”，而不是所有格。）

我们期望开发者将不断推进 GPT-3 的可解释性，促进硅基文明与碳基文明的交流！

一个黑盒子

尽管 GPT-3 表现出了巨大的潜力，但长期困扰神经网络 AI 的问题仍然存在。具体来说，GPT-3 在某些任务上表现得非常好，而在其他常识任务上惨败。人工智能真的理解赋予它的任务吗?

在哲学层面上，这可能并不重要。毕竟，人工智能可以做数学、翻译和语法检查。人工智能从未被教授过数学和语法的概念，这个问题重要吗？我们所知道的是 GPT-3 能够推导，进而应用数学和语法规则。但对于构建 GPT-3 应用程序的开发者来说，不了解人工智能“知识”的边界是很麻烦的。开发者需要关注人工智能无法处理的情况。

在本文中，我们展示了一些成功应用程序的优秀示例。但是开发者也告诉我们要谨慎地“预热”系统以产生这些结果。所以，从某种意义上说，这些结果是精心挑选的证据。更糟糕的是，由于 GPT-3 是一个黑盒子，开发者很难理解为什么某些预热会起作用，而其他方法会失败。正如我们在上文中提到的，在 GPT-3 被广泛采用之前，可解释性可能是最重要的限制之一。

硅基文明的万能AI

GPT-3 证明了 AI 性能随着幂律关系中的模型大小而增加。不断增长的模型将产生更强大、更准确的 AI。这大概是我们这个时代的摩尔定律？

深度学习的先驱 Geoffrey Hinton 博士对 GPT-3 进行了推断，开玩笑说，能够回答宇宙最终问题的 AI 不是需要42个参数，而是4.2万亿个参数。这只比现在的 GPT-3 大了24倍。

将 GPT-3 的出色性能推算到未来。生命，宇宙和万物的答案仅为4.398万亿个参数 — Geoffrey Hinton

现在回想一下我们在本文开头提出的假设问题。现在，互联网上已有了“4.398万亿”这个答案，而这个答案也会成为 GPT-4 训练数据的一部分。那么，硅基文明的下一代 GPT-4 将如何回答宇宙的终极问题呢？ 

本文作者：Michael Yuan，白天开发为云计算、AI、区块链设计的 WebAssembly 虚拟机，晚上关注开源界一切有趣的事情。特别感谢 Vivian Hu 与 Miley Fu 对文中开发者的访谈。

参考文献及文中提到的项目：

GPT-3 论文：https://arxiv.org/abs/2005.14165

GPT-3 是如何工作的：https://jalammar.github.io/how-gpt3-works-visualizations-animations/

Learn from anyone 项目：https://learnfromanyone.com/

撰写邮件项目：https://twitter.com/iamraaavii/status/1288862163113631744

Revtheo 词典：https://twitter.com/tusharkhattar_/status/1285726623275331584

像律师那样写作：https://twitter.com/f_j_j_/status/1283349995144359937

将法律文本翻译成日常英语：https://twitter.com/michaeltefula/status/1285505897108832257

自动会计：https://twitter.com/itsyashdani/status/1285695850300219392

自动设计 PPT：https://twitter.com/nutanc/status/1288517555754110977

Figma 插件：https://twitter.com/jsngr/status/1284511080715362304

将英语描述生成 LaTeX 方程：https://twitter.com/sh_reya/status/1284545976892403714

可以在实际数据库上运行的 SQL 查询：https://twitter.com/FaraazNishtar/status/1285934622891667457

根据说明在 JavaScript 中生成 3D 场景：https://twitter.com/Antonio_GomezM/status/1287969287110443008

用于管理服务器的 AWS CLI 命令：https://twitter.com/ChinyaSuhail/status/1287110006370836480

完整的 React 应用程序 UI：https://twitter.com/sharifshameem/status/1284807152603820032

专栏文章内容及配图由作者撰写发布，仅供工程师学习之用，如有侵权或者其他违规问题，请联系本站处理。 联系我们