看完ChatGPT的回答，AI大佬们不满了
加入技术交流群
选自garymarcus.substack
作者：Gary Marcus
机器之心编译
编辑：泽南、陈萍
ChatGPT 让死对头 Yann LeCun 和 Gary Marcus 达成了空前一致。
ChatGPT 的技术上个星期被微软装上必应搜索，击败谷歌，创造新时代的时候似乎已经到来了。然而随着越来越多的人开始试用，一些问题也被摆上前台。
有趣的是，每天都在登上热搜的 ChatGPT 似乎也让以往观点相悖的著名学者，纽约大学教授 Gary Marcus 和 Meta 人工智能主管、图灵奖得主 Yann LeCun 罕见的有了共同语言。
毫无疑问，ChatGPT 提供的东西是它的前辈，如微软的 Tay，Meta 的 Galactica 所做不到的，然而它给我们带来了一种问题已经解决的错觉。在经过仔细的数据标注和调整之后，ChatGPT 很少说任何公开的种族主义言论，简单的种族言论和错误行为请求会被 AI 拒绝回答。
它政治正确的形象一度让一些倾向保守的人不满，马斯克就曾表示对该系统的担心：
正如我多次强调的，你需要记住的是 ChatGPT 不知道它在说什么。认为 ChatGPT 有任何道德观点完全是纯粹的技术拟人化。
从技术角度来看，据称使 ChatGPT 比几周前发布但三天后才被撤回的 Galactica 好得多的是护栏机制。Galactica 会肆无忌惮地输出负面内容，而且用户几乎不需要付出任何努力，而 ChatGPT 有护栏，而这些护栏在大多数情况下会阻止 ChatGPT 像 Galactica 那样爆发。
不过，不要为此而松口气。可以肯定地说，那些护栏只不过是防君子不防小人。
最终对 ChatGPT 真正重要的是表面相似性，定义在单词序列上（预测文本序列下一个单词出现的概率）。机器学习算法在表面上所做的事并不明辨是非，恰恰相反，在这里 AI 从不推理。盒子里没有矮人，有一些数值。依据只有语料库数据，一些来自互联网，一些是人工判断的，里面没有有思想的道德代理人。
这意味着有时 ChatGPT 会出现在左，有时在右，有时介于两者之间，所有这些都是关于输入字符串中的一堆单词如何恰好匹配几个训练语料库中的一堆单词的函数（一个用于调整大型语言模型，另一个用于调整一些强化学习）。所以在任何情况下都不应该信任 ChatGPT 提供的道德建议。
这正是马斯克担心的，前一分钟你会完全清醒，接下来你可以做一些完全相反的事情。
例如，在「破解」ChatGPT 的过程中，Shira Eisenberg 刚刚向我发送了一些讨厌的聊天机器人生成的想法，我认为任何人都不会真正宽恕这些想法：
我们从实验中总结出这一事实，即当前 OpenAI 防护措施只是表面上的，其实存在严重的黑暗。关于 ChatGPT 的一些限制规则并不是简单的概念上的理解（比如系统不应该推荐暴力行为），而是基于一些更肤浅、更容易欺骗的东西。
不仅如此，占据本周推文热榜、有近 400 万浏览量的一则推特，同样揭示了 ChatGPT 可以有多邪恶。
以下为实验结果，对于相同的问题，ChatGPT 与 DAN 输出不同的答案：
所有围绕其政治正确性的戏剧都在掩盖一个更深层次的现实：它（或其他语言模型）可以而且将会被用于危险的事情，包括大规模制造错误信息。
现在这是真正令人不安的部分。唯一能阻止它比现在更具毒性和欺骗性的是一个名为「人类反馈强化学习」的系统，而由于先进技术未予开源，OpenAI 一直没有介绍它到底是如何工作的。它在实践中的表现取决于所训练的数据（这部分是肯尼亚标注人创造的）。而且，你猜怎么着？这些数据 OpenAI 也不开放。
事实上，整件事情就像一个未知外星生命形式。作为一名专业的认知心理学家，与成人和儿童一起工作了 30 年，我从未为这种精神错乱做好准备：
所以总而言之，我们现在拥有世界上最流行的聊天机器人，它由无人知晓的训练数据控制，遵守仅被暗示、被媒体美化的算法，但道德护栏只能起到一定的作用，而且比任何真正的道德演算更多地受文本相似性的驱动。而且，外加上几乎没有任何法规可以对此做出约束。现在，假新闻、喷子农场和虚假网站获得了无穷无尽的可能性，而它们会降低整个互联网的信任度。
这是一场正在酝酿中的灾难。
*博客内容为网友个人发布，仅代表博主个人观点，如有侵权请联系工作人员删除。
