<img id="edit_6253366" src="https://imageproxy.pbkrs.com/https://images.tmtpost.com/uploads/images/2023/04/5e052a1245d268dcf2c1177c74c5735e_1681437897.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1093" height="689" original-src="https://imageproxy.pbkrs.com/https://images.tmtpost.com/uploads/images/2023/04/5e052a1245d268dcf2c1177c74c5735e_1681437897.png"/>图片来源 @视觉中国<blockquote>文 | 追问 NextQuestion，作者 | Eka Roivainen，编译 | 梓葳</blockquote>在过去的两个月，ChatGPT 引起了学术界、科技界、传媒界的疯狂讨论。这个号称地表最强的 “人工智能聊天机器人” 只花了 5 天时间，用户就突破了 100 万，成为世界上达到百万用户数最快的应用。ChatGPT，不仅能跟你对话，还能完成撰写邮件、视频脚本、文案、翻译等一系列基础工作，涉及历史、科技、文化等诸多领域，甚至还能写诗、写论文、编代码、改 bug、求医问药等，一部分人不禁开始为人类终将要被人工智能取代而恐慌。那么，如今大火的 ChatGPT 是否具有与人类相当的智商与心智水平？Eka Roivainen 是一名来自芬兰奥卢大学附属医院的评估心理学家，他的研究方向包括认知和人格心理学以及心理测试的有效性。在了解到 ChatGPT 所拥有的多种人类技能后，Roivainen 不禁好奇：以人类的标准看待，ChatGPT 究竟有多聪明？<h2>超越 99.9% 的人类：ChatGPT 表现出超高智商</h2>于是，Roivainen 开始着手对 ChatGPT 进行智商测试。他表示，ChatGPT 十分适合作为一个被试，它不仅不会在测试中表现出应试焦虑、注意力不集中或放弃，也不会对智商测试和测试人员产生质疑。Roivainen 采用第三版韦氏成人智力量表（the Wechsler adult intelligence scale, WAIS）对 ChatGPT 进行了智商测试。该量表包括 6 个语言子测试集与 5 个非语言子测试集，智商测试的最终分数基于所有 11 个子测试集的分数。平均智商设为 100 分，测试量表的标准偏差为 15 分，这意味着最聪明的 10% 和 1% 的人的智商分别为 120 和 133。在 6 个语言测试集中，第六个子测试集为数字广度，它对注意力、短时记忆能力进行评估，由于不能使用文字形式展示给 ChatGPT 因此没有对 ChatGPT 进行该测试。他从词汇子测试集开始对 ChatGPT 进行智商测验。由于 ChatGPT 接受了大量在线文本的训练，Roivainen 预计该测试对 ChatGPT 来说应该是比较容易的（词汇测试集对单词、语言概念的形成进行测试）。不出所料，ChatGPT 表现很好，它给出的答案通常非常详细和全面，甚至超出了测试手册中给出的正确答案的标准。在知识和相似性子测试集中 ChatGPT 也表现良好，达到了最高分（知识子测试集是对常识的测试，反映了求知欲、教育水平以及学习和记忆事实的能力）。相似性子测试集测试抽象推理和概念形成能力。在这个子测试中，聊天机器人倾向于给出非常详细、复杂的答案。在算术子测试集中，ChatGPT 正确回答了所有提供的算术问题，包括取均值等。综合 5 个语言子测试集的分数后得出，ChatGPT 的语言智商为 155，高于构成美国 WAIS III 标准化样本的 2450 人中的 99.9%。由于 ChatGPT 缺乏必要的眼睛、耳朵和手，它无法参加 WAIS 的非语言子测试集的测试。但是在标准化样本中，语言智商和全面智商量表高度相关，所以 ChatGPT 从任何人类标准来看都非常聪明。在 WAIS 标准化样本中，受过大学教育的美国人的平均语言智商为 113，5% 的人得分为 132 或更高。Roivainen 表示自己在大学时测试的言语智商结果没有达到 ChatGPT 的水平。<h2>高智商的 ChatGPT 仍旧会失败</h2>那么，临床心理学家和其他专业人士的工作会受到人工智能的威胁吗？尽管 ChatGPT 智商很高，但在需要真正的人类推理或对物理和社会世界的理解的任务中，它却以失败而闻名。ChatGPT 很容易在一些明显的谜题上失败，比如：提问：“塞巴斯蒂安孩子的父亲的名字是什么？” ChatGPT ：很抱歉，我无法回答这个问题，因为我没有足够的背景来确定你指的是哪个塞巴斯蒂安。ChatGPT 似乎没有逻辑推理，而是试图依赖其庞大的网络文本中提到的 “塞巴斯蒂安” 事实数据库。“智商是智商测试所衡量的。” 是一个经典的智商定义，它源自 1923 年认知心理学先驱 Edwin Boring 的一篇文章。这一定义是基于这样一种观察，即看似不同任务的技能其实是高度相关的，如解决谜题、定义单词、记忆数字和发现图片中缺失的项目之间具有高度相关性。因子分析法的发明者 Charles Spearman 在 1904 年得出结论，智商的一般因子，即 g 因子，必须作为人类不同认知技能测量的一致性的基础。像 WAIS 这样的智商测试就是基于这个假设。然而，ChatGPT 的高语言智商与在一些问题中的失利，意味着 Boring 有关智商的定义不能够完全衡量人工智能的智商水平，表明智商的某些方面不能仅通过智商测试来衡量。ChatGPT 是一个自然语言处理模型，它的智商不同于人类智商，因为它并不具备类似人类的情感、道德、价值观等因素。ChatGPT 通过模拟人类语言的模式，能够进行文本生成、语言理解、问答等任务，能够在某些情况下表现出令人印象深刻的 “智能” 和 “理解力”。此外，ChatGPT 的表现也取决于其所接收的训练数据和训练算法等多种因素，它并不具备自主思考的能力。将 ChatGPT 的 “智商” 与人类进行比较是一种不恰当的类比。因此，为了适应不断变化的技术和社会环境，对智商概念进行适当的拓宽和扩展是很重要的。对于动物和人工智能等非人类主体的智商，也需要采用适当的评估方法，并严谨地评估其能力和特征。<h2>ChatGPT 离人类有多远？</h2>在不到一个月前，来自斯坦福大学的 Michal Kosinski 教授在发布的论文中表明，大型语言模型系统可能自动产生心理理论能力，比如 ChatGPT 可能拥有 9 岁儿童所具备的心理理论能力。<img id="edit_6488450" src="https://imageproxy.pbkrs.com/http://images.tmtpost.com/uploads/images/2016/12/3r2egf3.jpg?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" alt="" original-src="https://imageproxy.pbkrs.com/http://images.tmtpost.com/uploads/images/2016/12/3r2egf3.jpg"/>注：心理理论（Theory of Mind, ToM）能力，有时也被译为 “心理推理能力”，通常指理解他人内心状态的能力，包括推断他人意图、信念、情绪等。    Kosinski 教授依据心智理论相关研究，给 ChatGPT-3.5 在内的 9 个 ChatGPT 模型进行了两个经典测试，并将它们的能力进行了对比。第一个测试为意外内容测试，其主要测试 AI 对意料之外事情的判断力。在测试中，ChatGPT-3.5 成功回答出了 20 个问题中的 17 个，准确率达到 85%。第二个测试为意外转移任务，其测试 AI 预估他人想法的能力。作者对 9 个 ChatGPT 模型进行了测试，结果表明只有 ChatGPT-3.0 和 ChatGPT-3.5（完成 100%）表现不错。然而，这并不意味着 ChatGPT-3.5 这样的人工智能模型真正具备了心智理论能力。ChatGPT 到底只是从 “真实存在的规则” 这一层面去理解这件事情从而正确回答了问题，还是真的能 “了解他人的想法”？至少现在还无从判断。或许人类自身到现在为止都无法真正了解人类的心智。因此，关于 ChatGPT 是否 “真正” 具备成年人同等水平的智商、心智水平仍然存疑。ChatGPT 生成文字采用的是一种非人类思维的模式，它在五千亿个词构成的文本中寻找统计规律以及通过一千亿个参数捕捉统计模式，但这一方法也使它在某些问题中的错误变得更加突出。相比探究 ChatGPT 是否真正具备人类同等水平的智商或心智，研究人员同样应该反思目前所使用的测试集本身的有效性以及心理学家们数十年来依据这些测试集得到的结论。而对于人们 “被人工智能所替代” 的恐惧，我们应该意识到我们所处的行业不是在被 “替代” 而是在被 “重塑”，我们应该学会如何与人工智能共处，让它嵌入自己的工作流程中，帮助解放我们的生产力。参考文献：[1] Eka Roivainen, I Gave ChatGPT an IQ Test. Here’s What I Discovered, Scientific American, https://www.scientificamerican.com/article/i-gave-chatgpt-an-iq-test-heres-what-i-discovered/[2] Michal Kosinski, Theory of Mind May Have Spontaneously Emerged in Large Language Models, arXiv, https://arxiv.org/abs/2302.02083更多精彩内容，关注钛媒体微信号（ID：taimeiti），或者下载钛媒体 App

OpenAI

我们应当学会让 AI 成为释放生产力的工具。

智商超过 99.9% 人类，ChatGPT 到底有多聪明？