最大的机会是,AI 不仅改变开发游戏的方式,而且会改变游戏本身的性质。
关于游戏中的生成式 AI 革命的早期讨论,主要集中在 AI 工具提高游戏创作者的效率——构建速度更快、规模更大——的方式上面。事实如此,但我们相信,从长远来看,最大的机会是,AI 不仅改变我们开发游戏的方式,而且会改变游戏本身的性质。
我们很高兴看到,生成式 AI 有机会帮助创建全新的以 AI 优先的游戏类别,并大幅扩展现有游戏类型。
长期以来,AI 在创造新的游戏形式方面发挥着重要作用——从《Rogue》的 procedurally generated dungeons(1980 年)到《半条命》的 finite-state machines(1998 年)再到《求生之路》的 AI game director(2008 年)。深度学习的最新进展使计算机能够根据用户提示和大规模数据集生成新内容,进一步改变了游戏的格局。
虽然还处于早期阶段,我们已经看到了一些有趣的 AI 驱动的游戏领域,生成式代理、个性化、AI 叙事、动态世界和 AI 副驾驶。如果成功,这些系统可以结合起来,创造新的以 AI 优先的游戏,为游戏玩家提供长期的娱乐、参与和吸引力。
生成式代理
模拟类游戏始于 1989 年 Maxis 公司推出的《模拟城市》(SimCity),玩家可以在游戏中建造和管理虚拟城市。如今,最流行的模拟游戏是《模拟人生》(The Sims),全球有超过 7000 万玩家在日常生活中管理名为 “模拟人生”(Sims)的虚拟人类。设计师 Will Wright 曾将《模拟人生》形容为一个 “互动娃娃屋”。
生成式 AI 可以通过大型语言模型(LLM),赋予智能体更为逼真的行为,从而极大地推进模拟类游戏的发展。
今年早些时候,斯坦福大学和谷歌的一组研究人员发表了一篇关于如何将 LLM 应用于游戏中的代理人的论文。
在博士生 Joon Sung Park 的带领下,研究团队在一个像素艺术沙盒世界中设置了《模拟人生》的代理人,它们的行为由 ChatGPT 引导,并且使用 “将 LLM 扩展为存储代理人完整经验记录的架构,使用自然语言合成这些记忆...形成更高层次的反思,并动态检索它们以规划行为”。
结果展示了模拟游戏未来的潜力,令人着迷。从用户指定的一个建议开始,一名代理人想要举办情人节派对,代理人独立地分发派对邀请,建立新的友谊,互相邀请约会,并协调在两天后准时一起出现在派对上。
这种行为之所以成为可能,是因为 LLM 是基于社交网络的数据进行训练的,因此它们的模型包含了人们在各种社交环境中交谈和行为的构建块。在交互式数字环境(如模拟游戏)中,可以触发这些回应,从而创造出极为逼真的新式行为。
从玩家的角度来看,这带来了更加沉浸式的游戏体验。玩《模拟人生》或殖民模拟游戏《RimWorld》的乐趣很大程度上来自于意想不到的事情发生以及经历情绪的高低起伏。
通过基于社交网络的知识驱动的代理人行为,我们可能会看到模拟游戏不仅反映了游戏设计师的想象力,而且反映了人类社会的不可预测性。观看这些模拟游戏可能会成为下一部《楚门的世界》,以一种今天预先脚本化的电视或电影无法实现的方式,无休止地提供娱乐。
在满足我们对富有想象力的 “玩偶屋” 游戏的渴望方面,代理人本身也可以个性化。玩家可以根据自己或虚构角色的喜好来塑造一个理想的代理人。Ready Player Me 可以让用户通过自拍生成自己的 3D 头像,并将其导入到超过 9000 个游戏/应用程序中。
AI 角色平台 Character.ai、InWorld 和 Convai 可以创建具有自己背景故事、个性和行为控制的自定义 NPC。想要创建一个与哈利·波特成为舍友的霍格沃茨模拟游戏?现在你可以实现了。
凭借其自然语言能力,我们与代理人的互动方式也得到了扩展。现在,开发人员可以使用 Eleven Labs 的文本转语音模型,为其代理人生成逼真的声音。Convai 最近与英伟达合作展示了一个广为人知的演示,玩家可以与一个 AI 拉面大厨 NPC 进行自然语音对话,对话和相应的面部表情是实时生成的。
AI 伴侣应用 Replika 已经可以让用户通过语音、视频和 AR / VR 与他们的伴侣进行对话。未来,我们可以设想这样一款模拟游戏,玩家可以在外出时通过电话或视频聊天与代理人保持联系,然后在回到电脑时点击进入更加沉浸式的游戏体验。
需要注意的是,在我们看到完全生成式的《模拟人生》之前,还有许多问题需要解决。LLM 的训练数据中存在固有偏见,这可能会反映在代理人的行为中。
在云端运行大规模模拟以进行 7 天 24 小时的在线服务游戏可能在经济上并不可行——在 2 天内操作 25 个代理人的成本让研究团队花费了数千美元的计算费用。
将模型工作负载移至设备上的做法是有希望的,但仍处于相对早期阶段。我们还需要找到代理人社会关系相关的新规范。
然而,有一件事是明确的——当今对于生成式代理人有巨大的需求。根据我们最近的调查,61% 的游戏工作室计划尝试使用 AI 非玩家角色。我们认为 AI 伴侣将很快成为常见现象,代理人将进入我们日常的社交圈子。
模拟游戏提供了一个数字沙盒,我们可以以有趣和不可预测的方式与我们喜爱的 AI 伴侣互动。从长远来看,模拟游戏的性质很可能会发生变化,反映出这些代理人不仅仅是玩具,而且可能成为朋友、家人、同事、顾问,甚至情人。
个性化
个性化游戏的最终目标是为每个玩家提供独特的游戏体验。例如,我们从角色创建开始讲起 –从最初的龙与地下城(D&D)桌面游戏到米哈游的《原神》,个性化几乎所有角色扮演游戏(RPG)的基石。大多数 RPG 都允许玩家从预设选项中自定义外貌、性别、职业等。
但是,如果你能越过预设,为每个玩家和游戏过程生成一个独特的角色,会发生什么?结合 LLM 和文本到图像扩散模型(如 Stable Diffusion 或 Midjourney)的个性化角色构建器可以实现这一目标。
Spellbrush 的《Arrowmancer》是一款 RPG 游戏,由该公司基于自定义生成对抗网络(GAN)的动漫模型驱动。在《Arrowmancer》中,玩家可以创建一整组独特的动漫角色,包括艺术风格和战斗能力。这种个性化也是游戏变现系统的一部分——玩家将由 AI 创建的角色导入到自定义的扭蛋横幅中,可以获取重复的角色来加强他们的团队。
个性化还可以延伸到游戏中的物品。例如,AI 可以帮助生成仅供完成特定任务的玩家使用的独特武器和装甲。Azra Games 已经建立了一个由 AI 驱动的资产流程,可以快速构思和生成大量游戏内物品和世界物体,为更多样化的游戏过程铺平道路。
著名 AAA 开发商 Activision Blizzard 构建了 Blizzard Diffusion,这是一个基于图像生成器 Stable Diffusion 的变种,用于帮助生成角色和服装的各种概念艺术。
游戏中的文本和对话也已经成熟,可以实现个性化。(游戏)世界中的标志可以反映玩家获得特定头衔或地位(“通缉杀人犯!”)。NPC 可以被设置为由 LLM 驱动的代理人,具有玩家独特的个性,根据玩家与代理人过去的互动而改变对话。
我们已经在一个 AAA 游戏中成功看到了这个概念——Monolith 的《中土世界:暗影魔多》(Shadow of Mordor)有一个敌人系统,根据玩家的行动动态创建有趣的反派背景故事。这些个性化元素使每个游戏过程都独一无二。
游戏发行商育碧最近推出了 Ghostwriter,一种由 LLM 驱动的对话工具。现在,该发行商的作家们使用该工具生成背景闲聊和吠声(触发事件时的对话片段),帮助模拟玩家周围的现实世界。通过微调,像 Ghostwriter 这样的工具可能还可以用于生成个性化的吠声。
从玩家角度来看,所有这些个性化的净影响是双重的:它增加了游戏的沉浸感和可重复性。《上古卷轴》(Skyrim)和《侠盗猎车手 5》(Grand Theft Auto 5)等沉浸式开放世界游戏的角色扮演模组的持久流行性,表明着(游戏市场)对个性化故事的潜在需求。
即使在今天,《侠盗猎车手》角色扮演服务器中的玩家人数也始终比原版游戏高。我们预见未来的个性化系统将成为吸引并保留玩家的长期运营工具,适用于所有类型的游戏。
AI 叙事故事
当然,一个好游戏不仅仅包括角色和对话。另一个令人兴奋的机会是利用生成式 AI 来讲述更好、更个性化的故事。
个性化叙事游戏中的鼻祖是龙与地下城(D&D),一个被称为 “地牢主” 的人,为一群朋友准备并叙述一个故事,每个人在故事中扮演一个角色。结果产生的叙述既是即兴剧场又是角色扮演游戏,这意味着每次游戏过程都是独一无二的。
作为个性化叙事需求的信号,D&D 如今从数字产品到模拟产品都创下了销售记录,变得越来越受欢迎。
如今,许多公司正在将 LLM 应用于 D&D 的叙事模式。机会在于,让玩家能够在无限耐心的 AI 叙述者的指导下,在自己喜爱的玩家设计或 IP 宇宙中度过尽可能多的时间。
Latitude 于 2019 年推出了 AI Dungeon,一个开放式的基于文本的冒险游戏,其中 AI 扮演地牢主。用户还对 OpenAI 的 GPT-4 进行了微调,以进行 D&D 游戏,并取得了令人满意的结果。Character.AI 的文本冒险游戏是该应用程序最受欢迎的模式之一。
Hidden Door 则更进一步,使用其机器学习模型训练特定的一组源材料——例如《绿野仙踪》(Wizard of Oz),使玩家可以在已建立的知识产权宇宙中冒险。
通过这种方式,Hidden Door 与知识产权所有者合作,为新的互动式品牌延伸形式铺平了道路。一旦粉丝完成了一部电影或一本书,他们就可以在自己喜爱的世界中继续冒险,开启个性化 D&D 式战役。
而粉丝体验市场需求正在蓬勃发展——两个最大的在线同人小说平台 Archiveofourown.org 和 Wattpad 仅在 5 月就吸引了超过 3.54 亿和 1.46 亿次网站访问。
NovelAI 开发了自己的 LLM Clio,以沙盒模式讲述故事,并帮助人类作家解决创作障碍。对于最挑剔的作家,NovelAI 使用户可以微调 Clio 以适应他们自己的作品或著名作家(如 H.P. Lovecraft 或 Jules Verne)。
值得注意的是,在 AI 叙事完全准备好投入生产之前,仍然有许多障碍需要克服。开放式的 AI 很容易偏离轨道,这在增加趣味性的同时使游戏变得难以控制。构建一个优秀的 AI 叙述者今天需要大量的人为规则设置,以创建定义良好的叙事弧线。
记忆和连贯性很重要——叙述者需要记住故事中早期发生的事情,并保持一致性,无论是事实上还是文体上。解释性对于许多闭源 LLMs 仍然是一个挑战,因为它们作为黑匣子运行,而游戏设计师需要了解系统为什么以此方式运作,以改进体验。
然而,虽然这些障碍正在被克服,但作为人类叙事者的 AI 副驾驶员已经到位。今天,数百万作家使用 ChatGPT 为自己的故事提供灵感。
娱乐工作室 Scriptic 利用 DALL-E、ChatGPT、Midjourney、Eleven Labs 和 Runway 以及一支人类编辑团队混合使用,构建了互动的选择自己的冒险节目,已经在 Netflix 上播出。
动态世界构建
虽然基于文本的故事在游戏中很受欢迎,但许多玩家也渴望他们的故事在视觉上变得栩栩如生。生成式 AI 在游戏中最大的机会之一,可能在于帮助创建玩家花费数小时的活力世界。
虽然今天还不可行,但一个经常被提及的愿景是在玩家游戏过程中实时生成关卡和内容。这个游戏的经典例子是科幻小说《安德的游戏》中的 “心灵游戏”。
心灵游戏是一个由 AI 指导的游戏,根据每个学生的兴趣实时调整,(游戏)世界根据学生的行为和其他心理信息不断演化。
目前,最接近 “心灵游戏” 的例子可能是 Valve 的《求生之路》系列 - 它利用 AI 导演来动态调整游戏节奏和难度。AI 导演并不为敌人(僵尸)设置生成点,而是根据每个玩家的状态、技能和位置,在不同的位置放置相应数量的僵尸,为每次游戏过程创造独特的体验。
导演还通过动态视觉效果和音乐来烘托游戏的氛围(换句话说,非常可怕!)。Valve 的创始人 Gabe Newell 将这个系统称为 “程序化叙事”。
EA 备受好评的《死亡空间重制版》使用了 AI 导演系统的一个变种来最大化恐怖效果。
虽然这在今天看起来可能是科幻小说的范畴,但可能有一天,随着生成模型的改进和足够的计算资源和数据,我们会构建一个能够生成世界本身的 AI 导演。
值得注意的是,机器生成关卡的概念在游戏中并不新鲜。许多当今最受欢迎的游戏,从 Supergiant 的《Hades》到 Blizzard 的《暗黑破坏神》再到 Mojang 的《我的世界》,都使用了程序化生成的技术,即使用人类设计师运行的方程和规则集来在每次游戏过程中随机创建不同的关卡。
已经构建了一整套软件来辅助程序化生成。Unity 的 SpeedTree 帮助开发人员生成虚拟植被,你可能在《阿凡达》中的潘多拉森林或《埃尔登法环》的风景中见过。
游戏可以将程序化资产生成器与用户界面中的 LLM 相结合。游戏《Townscaper》使用程序化系统,通过两个玩家输入(方块放置和颜色)即可实时将它们转化为华丽的城镇景观。
想象一下,如果在《Townscaper》中添加了一个 LLM,通过自然语言提示帮助玩家迭代出更加细致和美丽的创作。
许多开发者对将程序化生成与机器学习相结合的潜力感到兴奋。未来,设计师可以使用一个在类似风格的现有关卡上进行训练的模型,逐步生成可行的关卡初稿。
今年早些时候,Shyam Sudhakaran 领导的哥本哈根大学团队创建了 MarioGPT——一个使用在 Super Mario 1 和 2 的原始关卡上进行训练的模型,可以生成 Super Mario 关卡的 GPT2 工具。
这个领域已经有了一些学术研究,包括这个 2018 年的项目,使用生成对抗网络(GAN)设计第一人称射击游戏 DOOM 的关卡。
与程序化系统协同工作,生成模型可以大大加快资产创建的速度。艺术家们已经开始使用文本到图像扩散模型进行 AI 辅助概念艺术和故事板绘制。
Mainframe VFX 的领导 Jussi Kemppainen 在这篇博客中描述了他如何借助 Midjourney 和 Adobe Firefly 为一款 2.5D 冒险游戏构建世界和角色。
3D 生成领域也正在进行大量的研究。Luma 使用神经光辐射场(NeRFs)使消费者能够从在 iPhone 上捕获的 2D 图像构建逼真的 3D 资产。
Kaedim 使用 AI 和人类在环质量控制的混合方式创建可供生产使用的 3D 网格,目前已被至少 225 多家游戏开发商使用。CSM 最近发布了一款可以从视频和图像中生成 3D 模型的专有模型。
从长远来看,AI 模型实时构建世界是最终目标。我们看到了一个潜在的未来,即整个游戏不再渲染,而是使用神经网络在运行时生成。
英伟达的 DLSS 技术已经可以使用消费级 GPU 实时生成更高分辨率的游戏画面。有一天,你可能可以在 Netflix 上点击 “互动”,然后进入世界,在每个场景中实时生成并为玩家独特个性化。在这个未来,游戏将与电影无法区分。
值得注意的是,单独动态生成的世界并不能使游戏变得好玩,就像《无人深空》在发布时拥有超过 1800 亿个程序生成的星球一样,却受到了批评。
动态世界的潜力在于与其他游戏系统——个性化、生成代理等的结合,以解锁新形式的叙事。毕竟,《心灵游戏》最引人注目的部分是它是如何根据安德的特点塑造自己的,而不仅仅是世界本身。
每个游戏都有一个 AI 副驾驶员
虽然我们之前介绍了生成代理在模拟游戏中的使用,但还有另一个新兴的应用场景——AI 游戏副驾驶员,指导我们的游戏并在某些情况下与我们一起玩游戏。
对于引导玩家适应复杂游戏,AI 副驾驶员可能非常重要。例如,像《我的世界》、Roblox 或 Rec Room 这样的 UGC 沙盒游戏是丰富的环境,玩家可以根据他们的想象力建造几乎任何东西,如果他们有正确的材料和技能。但是,对大多数玩家来说,弄清楚如何开始并不容易。
AI 副驾驶员可以使任何玩家成为 UGC 游戏中的大师建筑师——根据文本提示或图像提供逐步指导,并引导玩家避免错误。一个合适的参考点是乐高宇宙中的 Master Builders 的概念 - 这些罕见的人才有能力在需要时看到他们可以想象的任何创作的蓝图。
微软已经在为《我的世界》开发一个 AI 副驾驶员 - 它使用 DALL-E 和 Github Copilot,通过自然语言提示使玩家能够将资产和逻辑注入《我的世界》会话中。
Roblox 正在积极将生成式 AI 工具集成到 Roblox 平台中,使 “每个用户都能成为创作者” 的使命。AI 副驾驶员在共创方面的有效性已经在许多领域得到证明,从使用 Github Copilot 进行编码到使用 ChatGPT 进行写作。
除了共同创造之外,接受过人类游戏数据进行训练的 LLM,应该能够理解如何在各种游戏中表现。通过适当的集成,一个代理可以在玩家的朋友不在时,充当合作伙伴的角色,或者在 FIFA 或 NBA 2k 等对抗游戏中扮演对立的一方。
这样的代理将始终可用于游戏,无论胜利还是失败都非常友好,永远不会批评(玩家)。根据我们个人的游戏历史进行微调,代理可以比现有的机器人更强大,以我们自己的方式进行游戏,或者以互补的方式进行游戏。
类似的项目已经在受限环境中成功运行。热门赛车游戏《Forza》开发了一个 Drivatar 系统,使用机器学习为每个人类玩家构建一个模仿他们驾驶行为的 AI 驾驶员。
Drivatars 被上传到云端,并可以在他们的人类搭档离线时召唤他们与其他玩家比赛,甚至为胜利赢得积分。谷歌 DeepMind 的 AlphaStar 使用了多达 “200 年” 的《星际争霸 II》游戏数据集来创建可以在游戏中打败人类电子竞技专业选手的代理。
AI 副驾驶员作为一种游戏机制,甚至可以创建全新的游戏模式。想象一下《堡垒之夜》,但每个玩家都有一个可以通过提示瞬间建造狙击塔或燃烧巨石的大师建筑师魔杖。在这种游戏模式中,胜利可能更多地取决于魔杖的运用(提示)而不是瞄准枪。
完美的游戏 AI“伙伴” 的梦想已经成为许多热门游戏系列中令人难忘的一部分——只需看看《光环》宇宙中的 Cortana、《最后生还者》中的 Elle 或《生化奇兵无限》中的 Elizabeth。对于竞技游戏来说,虐待电脑机器人从来都不过时 - 从《太空侵略者》中炸灭外星人到《星际争霸》中的 “计算机碾压”,最终变成了合作指挥官的游戏模式。
随着游戏逐渐演变成为下一代社交网络,我们预计 AI 副驾驶员将在教练和/或合作伙伴方面发挥越来越重要的社交角色。
已经有大量研究表明,添加社交功能可以提高游戏的粘性 - 拥有朋友的玩家的留存率可能提高了 5 倍。我们看到这样一个未来,在每个游戏中都有一个 AI 副驾驶员——遵循 “单独好,与 AI 合作更好,与朋友一起最棒” 的口号。
总结
在将生成式 AI 应用于游戏方面,我们仍处于早期阶段,在大多数想法投入生产之前,许多法律、伦理和技术难题需要解决。
如今,具有 AI 生成资产的游戏的法律所有权和版权保护在很大程度上尚不明确,除非开发人员能够证明对训练模型使用的所有数据拥有所有权。这使得现有知识产权特许经营权的所有者很难在其生产流程中利用第三方 AI 模型。
人们还担心如何为训练数据的原始作者、艺术家和创作者提供补偿。挑战在于,当下大多数 AI 模型都是使用来自互联网的公共数据进行训练的,其中许多是受版权保护的作品。
某些情况下,用户甚至可以使用生成模型去重新按照艺术家的风格进行创作。现在还为内容创作者的补偿问题进行适当的解决仍处于早期阶段。
最后,大多数生成模型在现阶段在云端以 7 天 24 小时、全球规模运行成本昂贵。为了实现具有成本效益的扩展,应用程序开发人员可能需要找到将模型工作负载转移到终端设备的方法,但这需要时间。
然而,目前明确的是,在生成式 AI 用于游戏方面存在着巨大的开发者活动和玩家兴趣。虽然存在许多炒作,但我们对这个领域中许多才华横溢的团队充满期待,他们正加班加点,构建创新的产品和体验。
机会不仅仅在于使现有游戏更快、更便宜,而且在于解锁一种以 AI 为先的新游戏类别,这在以前是不可能的。我们不知道这些游戏会以何种形式出现,但我们知道,游戏业的历史一直是技术推动新玩法的历史。
潜在的奖励是巨大的——通过生成代理、个性化、AI 叙事、动态世界构建和 AI 副驾驶员等系统,我们可能正在临近由 AI 先进的开发人员创建的第一个永不结束的游戏。
本文翻译自Andreessen Horowitz(a16z)官网,作者:Jonathan Lai,原文标题:《The NeverEnding Game: How AI Will Create a New Category of Games》