GameAISDK基于图像的游戏 AI 自动化框架

联合创作 · 2023-10-01 16:41

APAIST是基于游戏图像来开发游戏AI的开源工具包(开源项目名为GameAISDK),工具包主要完成了UI检测、游戏内元素识别、AI算法(DQN,IM)等功能,特点是以游戏图像为输入,直接输出模拟触屏操作,不依赖游戏端提供任何API接口。

开发者可以基于这个工具包完成游戏自动化测试。目前已支持的游戏类型有跑酷类、吃鸡类、射击类和MOBA类等。

APAIST框架主要包括SDKTool(配置文件工具),AI SDK两部分。SDKTool用于生成跟具体游戏相关的AI SDK所需要配置文件。如游戏运行过程中,整个流程中需要动作交互的UI,需要识别的游戏元素等。

AI SDK部分主要包括AI Clinet模块, MC模块,IO模块, UI模块, GameReg模块,AI模块。

  • AI Client主要与手机端交互,获取游戏图像,并执行UI或AI输出的动作
  • IO模块与AI Client交互,作为AI SDK的数据输入输出控制
  • MC模块与IO模块交互,将数据分发至AI SDK后端的UI和AI模块,并做一些业务逻辑的管理控制
  • UI模块根据游戏图像,识别出需要进行的UI操作
  • GameReg模块根据游戏图像,识别出游戏场景内的数字、血条、目标物等元素
  • AI模块根据识别到的游戏元素,根据AI算法执行业务逻辑

运行效果

▲ 无需脚本编写,一次配置便可以在不同的分辨率设备上运行,多平台多应用场景支持

▲ 内置多种图像识别算法及 AI 算法

▲ 基于纯视觉识别的 AI 训练和运行框架

浏览 3
点赞
评论
收藏
分享

手机扫一扫分享

编辑
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

编辑
举报