近期上映的电影《失控玩家》讲述了一个普通的游戏 NPC ，因为加入了 AI 技术，将其改造成了一个想要扭转玩家命运、改变游戏的大人物。游戏 AI 的普及，让《失控玩家》中描绘的场景逐渐得以实现。
关键词：游戏AI 强化学习
最近在北美和中国上映了一部以电子游戏为创作背景的电影《Free Guy》（中文片名译作《失控玩家》），由《死侍》的扮演者瑞安·雷诺茨主演。全片轻松搞笑，特效精致，暑期档里表现亮眼，全球收获了不错的票房成绩和不少观众、游戏玩家的好评。
在《失控玩家》的故事中，主人公 Guy 生活在一个叫做 Free City 自由城的地方，在这个城市中存在着截然不同的两类人。一类人被称为「戴墨镜的人」，他们每天在这个城市里恣意犯罪、抢劫、屠杀。还有着不同的造型，不同的性格，有着酷炫、强大的装备。
Guy 代表的另一类人对暴力活动完全无感
每天重复着一样的生活和固定的对话
城市中还有一类人，就像主人公 Guy。连个像样的名字都没有，他们往往只有固定的一套造型、不变的性格、过着一成不变的生活。Guy 是一名银行职员，每天到达银行后，就会有不同的「戴墨镜的人」上门来抢劫，所有人也都对这一切习以为常，似乎是配合「戴墨镜的人」完成这一任务。这一切都在 Guy 遇到了一位戴墨镜的神秘女子后，发生了巨变。他仿佛意识觉醒，在一天醒来后，Guy 想要主导自己的生活，想要理解这个城市的真相。终于，他打破每天的规律生活，从「戴墨镜的人」手上夺来了一副墨镜，终于看到了墨镜后的世界。
通过神秘女子的帮助，Guy 终于意识到自由城原来是一个大型的线上开放世界游戏，戴眼镜的人之所以和他们如此不同，是因为戴眼镜的人都是这个游戏的玩家。而 Guy 自己只是游戏中一个普通的 NPC，而自己熟悉的一切，也不过都是这个游戏的背景板和任务线。Guy 之所以能产生意识觉醒，是因为游戏原始的开发团队，曾对 NPC 进行了大量的人工智能的设计和开发，通过神秘女子的出现触发了这些特性。也是这些 AI 技术让 Guy 从一个普通的游戏 NPC，成为了一个不受游戏开发团队控制、难以捉摸的「失控玩家」。AI 加持的 Guy 会如何改写自己的命运，又将如何左右人类玩家的结局，欢迎前往电影院观看完整电影。在电影中，具备了 AI 能力的 NPC可以改写自己的剧情，但是现实中 NPC 在游戏中从来不是主角，玩家才是。NPC 作为必不可缺的工具人，他们的存在天然就是帮助玩家获得成功，帮助玩家过渡剧情、打怪升级、完成任务，即使为玩家牺牲、暴揍也在所难免。随着游戏技术的快速发展，玩家已经不满足于固定套路的 NPC，游戏厂家也绞尽脑汁提升游戏体验。由加拿大游戏工作室 Alientrap 开发的 VR 沙盒游戏编辑器 Modbox 就率先让玩家体验了一把 AI NPC。Modbox 支持让玩家通过它提供的多种工具，玩家可以在 VR 和 PC 上创建自己的世界、游戏或 VR 体验，并与其他玩家一起探索它们。
以下对话是 Modbox 的首席开发工程师Lee Vermeulen 发布在社交网站上的视频片段，内容是玩家在路上遇到热狗摊 NPC 后，玩家与 NPC 间开展的实时语音对话。
Modbox 的 AI NPC 是通过将 Windows 语音识别、OpenAI 的GTP-3 和 Replica 的自然语音合成等技术融合之后打造的。终于玩家和 NPC 之间的对话，不是靠固定选项开展，而是有了实时语音互动和肢体动作的生动表达。作为今年游戏界的一匹黑马，《Valheim：英灵神殿》曾经霸占 Steam 周销榜，荣获八连冠军。这是一款以维京文化为灵感来源的探索生存游戏，发售不久后，在 Steam 的最高同时在线人数就已达 36 万。很难想象这么一个制作精良、设计复杂的游戏是由一个仅仅五个人的开发团队完成的。虽然这个足够有实力的制作组，为游戏开发了非常独特的 AI 系统，但是游戏中的NPC怪物并不是一直智商在线。最常见的 Bug 就是，玩家角色出现在怪物面前时，怪物应该认定玩家为最优先攻击角色，毫不犹豫的攻击玩家。有些 AI 野怪是不知所措的楞在原地，有些 AI 野怪则会在玩家和建筑之间摇摆不定，不知道应该先攻击谁。对于 FPS （第一人称射击）类型游戏来说，NPC 的拟人化是 AI 研究的核心目标，在游戏内，势均力敌的战斗胜利才会带来公平感和成就感。
FPS 等第一人称游戏，往往基于三维立体的游戏场景，更类似于真实世界。在这样的虚拟环境中训练出的拟人化AI，更能反映人类在真实环境下的表现。第一步是让AI掌握全游戏能力，即能够完成游戏中的任何任务。以吃鸡为例，玩家的目标是「活到最后」，关键任务包括，区域探索、收集武器和装备，进入安全区并与敌人战斗等。
采用强化学习方法，则可以通过从 0 到 1，完成端到端训练，通过观察设计、模型设计、行动空间设计和奖励机制，实现高智能 AI。掌握全游戏能力后，第二步就要提升 AI 的拟人化表现。首先需要输入两组数据，一是高质量的人类脱敏数据，二是前述通过强化学习方法训练而成的 AI NPC 数据。然后，两者数据再经过鉴别器区隔，并输出一套内在奖励机制，激励AI不断向人类行为靠拢。NPC 在游戏中的工具人特性，让玩家们有时也会忽视他们的存在。但在电影《失控玩家》中，瑞安·雷诺茨扮演的被 AI 改造和升级的 NPC，有了更全面的认知能力，有了联想和思考的能力。Guy 不仅通过自身的 AI 能力，突破了固定人设和默认动作，有了创新创造、突破游戏设计的能力，还感染了其他游戏中的 NPC，帮助他们解封了体内的 AI 洪荒之力。
游戏为玩家打造精致美丽的幻境，将他们武装成不同的角色，赋予不同的能力和目标，正因如此，玩家们都愿意投入这样的梦境里。现在通过人工智能和强化学习，游戏开发团队将这些造梦能力，施放在每一个游戏角色身上，为玩家打造一个更圆满、真实的梦境。
编辑：于腾凯
校对：林亦霖
