谷歌 PaLM 2 在训练中使用的文本数据是其前身的近五倍

JIN10
2023.05.17 03:50
美港电讯 APP 5 月 17 日讯,据美国消费者新闻与商业频道(CNBC)5 月 17 日消息,谷歌上周宣布的大型语言模型 PaLM 2 使用的训练数据几乎是其前身的五倍,使其能够执行更高级的编码、数学和创意写作任务。根据 CNBC 查看的内部文件,PaLM 2 是谷歌在 I/O 大会上推出的新型通用大型语言模型,它接受了 3.6 万亿个 token 的训练。谷歌之前版本的 PaLM 于 2022 年发布,并接受了 7800 亿个 token 的训练。