专家认为，基于大型语言模型的人工智能工具存在简单编造信息的一种倾向。而微软方面也承认，预计系统在测试期间还可能会继续犯错。
公测才一周，微软的新一代搜索引擎 New Bing 就错误频出。
美东时间 2 月 8 日，在谷歌发布会上，谷歌的人工智能聊天机器人 Bard 在该产品的第一个演示视频中犯了一个 “事实错误”，成了谷歌当日股价大跌的导火索。作为与 Bard 对标、嵌入 ChatGPT 技术的微软 New Bing，在最初的 48 小时内，有超过 100 万人注册试用，却也没有承载住人们的期待。
几天前，在微软副总裁 Yusuf Mehdi 对 Bing 的展示中，它需要对服装公司 Gap 2022 年第三季度财报进行要点整理，但却给出了一些错误的数据，甚至自己编造了一些数据。具体来看：
Bing 给出的 Gap 调整后的运营毛利率为 5.9%。然而在实际财报中，Gap 的运营毛利率是 4.6%，调整后则是 3.9%。
（Gap 2022 年第三季度财报）
Bing 给出的 Gap 毛利率为 37.4%，但实际调整后的毛利率应为 38.7%；现金和现金等价物为 14 亿美元，但实际财报中是 6.79 亿美元；调整后摊薄每股收益为 0.42 美元，但实际财报里的数据应是 0.71 美元。
（Gap 2022 年第三季度财报）
Gap 在去年 8 月就下调了全年业绩预期，并在对四季度的展望中表示，四季度销售净增长率 “可能呈中间个位数下降”，但 New Bing 给出的全年的销售指引为 “预计销售净增长率为低双位数”。
Bing 甚至还编造了一些财务数据，给出了 Gap 的 “营业毛利率为 7%，摊薄每股收益为 1.6 美元到 1.75 美元之间”，但这些数据在 Gap 三季度财报中并没有出现。
对于 Lululemon 的财报分析，Bing 也犯了大量的类似错误。New Bing 给出的 Lululemon 毛利率为 58.7%，实际上应为 55.9%；营业毛利率为 20.6%，实际上应为 19.0%；摊薄每股收益为 1.65 美元，实际上应为 2.00 美元。
（Lululemon 2022 年第三季度财报）
独立搜索研究员 Dmitri Brereton 周一在社交平台上写道：
在演示过程中，Bing 的一些答案完全错误。但没有人注意到。
相反，所有人都迫不及待地跳上这趟 “炒作” 的列车。
Brereton 指出，除了财务数据错误之外，Bing 为在墨西哥城旅行的游客们也提供了一些存在问题的建议。Bing 推荐的几个酒吧，没有任何客户评价、联系方式或者商店介绍，但这些信息都可以在谷歌地图或者商店的 Facebook 主页上找到。此外，Bing 给出的营业时间、商品价格和商店地址都存在误差。
专家对此表示，这可能是它的一种 “幻觉”（hallucination），基于大型语言模型的人工智能工具存在简单编造信息的一种倾向。ChatGPT 这类大型语言模型的生成，随着生成的序列越长，越容易脱离给定的数据，生成各种虚假错误信息。
而微软方面表示，他们知道这些错误，预计 Bing 也会犯错。微软发言人周二在接受媒体采访时表示：
我们注意到了这份报告，并分析了调查结果，正努力改善用户体验。
我们意识到仍有工作要做，预计系统在测试期间还可能会继续犯错，正因如此，反馈才至关重要，这可以帮助我们学习和改进模型。