DouZero为斗地主设计的强化学习框架-技术圈

DouZero 是为斗地主设计的强化学习框架（斗地主 AI），从零开始通过自我博弈强化学习来学打斗地主。斗地主十分具有挑战性。它包含合作、竞争、非完全信息、庞大的状态空间。斗地主也有非常大的动作空间，并且每一步合法的牌型会非常不一样。DouZero由快手AI平台部开发。

安装

训练部分的代码是基于GPU设计的，因此如果想要训练模型，您需要先安装CUDA。安装步骤可以参考官网教程。对于评估部分，CUDA是可选项，您可以使用CPU进行评估。

首先，克隆本仓库（如果您访问Github较慢，国内用户可以使用Gitee镜像）：

git clone https://github.com/kwai/DouZero.git

确保您已经安装好Python 3.6及以上版本，然后安装依赖：

cd douzero
pip3 install -r requirements.txt

我们推荐通过以下命令安装稳定版本的Douzero：

pip3 install douzero

如果您访问较慢，国内用户可以通过清华镜像源安装：

pip3 install douzero -i https://pypi.tuna.tsinghua.edu.cn/simple

或是安装最新版本（可能不稳定）：

pip3 install -e .

注意，Windows用户只能用CPU来模拟。关于为什么GPU会出问题，详见Windows下的问题。但Windows用户仍可以在本地运行演示。

训练

假定您至少拥有一块可用的GPU，运行

python3 train.py

这会使用一块GPU训练DouZero。如果需要用多个GPU训练Douzero，使用以下参数：

--gpu_devices: 用作训练的GPU设备名
--num_actor_devices: 被用来进行模拟（如自我对弈）的GPU数量
--num_actors: 每个设备的演员进程数
--training_device: 用来进行模型训练的设备

例如，如果我们拥有4块GPU，我们想用前3个GPU进行模拟，每个GPU拥有15个演员，而使用第四个GPU进行训练，我们可以运行以下命令：

python3 train.py --gpu_devices 0,1,2,3 --num_actor_devices 3 --num_actors 15 --training_device 3

如果用CPU进行训练和模拟（Windows用户只能用CPU进行模拟），用以下参数：

--training_device cpu: 用CPU来训练
--actor_device_cpu: 用CPU来模拟

例如，用以下命令完全在CPU上运行：

python3 train.py --actor_device_cpu --training_device cpu

以下命令仅仅用CPU来跑模拟：

python3 train.py --actor_device_cpu

其他定制化的训练配置可以参考以下可选项：

--xpid XPID           实验id（默认值：douzero）
--save_interval SAVE_INTERVAL
                      保存模型的时间间隔（以分钟为单位）
--objective {adp,wp}  使用ADP或者WP作为奖励（默认值：ADP）
--actor_device_cpu    用CPU进行模拟
--gpu_devices GPU_DEVICES
                      用作训练的GPU设备名
--num_actor_devices NUM_ACTOR_DEVICES
                      被用来进行模拟（如自我对弈）的GPU数量
--num_actors NUM_ACTORS
                      每个设备的演员进程数
--training_device TRAINING_DEVICE
                      用来进行模型训练的设备。`cpu`表示用CPU训练
--load_model          读取已有的模型
--disable_checkpoint  禁用保存检查点
--savedir SAVEDIR     实验数据存储跟路径
--total_frames TOTAL_FRAMES
                      Total environment frames to train for
--exp_epsilon EXP_EPSILON
                      探索概率
--batch_size BATCH_SIZE
                      训练批尺寸
--unroll_length UNROLL_LENGTH
                      展开长度（时间维度）
--num_buffers NUM_BUFFERS
                      共享内存缓冲区的数量
--num_threads NUM_THREADS
                      学习者线程数
--max_grad_norm MAX_GRAD_NORM
                      最大梯度范数
--learning_rate LEARNING_RATE
                      学习率
--alpha ALPHA         RMSProp平滑常数
--momentum MOMENTUM   RMSProp momentum
--epsilon EPSILON     RMSProp epsilon