EvalsOpenAI 模型评估框架

Evals 是一个评估 OpenAI 模型的框架和一个开源的基准测试注册表，你可以使用 Evals 来创建和运行评估：

• 使用数据集来生成提示信息


• 衡量 OpenAI 模型所提供的完成度的质量


• 比较不同数据集和模型的性能

Evals 的目标是使建立一个评估尽可能简单，同时编写尽可能少的代码。要开始使用，建议你依次按照以下步骤进行：

• 通读本文档，并遵循下面的设置说明。


• 了解如何运行现有的评价：run-evals.md


• 熟悉现有的评估模板：eval-templates.md


• 了解构建评估的过程：build-eval.md


• 看一个实现自定义评价逻辑的例子：custom-eval.md。

设置

要运行评估，需要设置并指定您的 OpenAI API 密钥。获取 API 密钥后，使用 OPENAI_API_KEY环境变量指定它。

下载评估

Evals 注册表使用 Git-LFS 存储，下载并安装 LFS 后，可以通过以下方式获取评估：

git lfs fetch --all

git lfs pull

你可能只想为选择的评估获取数据，则可以通过以下方式实现：

git lfs fetch --include=evals/registry/data/${your eval}

git lfs pull

进行评估

如果您要创建评估，建议直接从 GitHub 克隆此仓库并使用以下命令安装要求：

pip install -e .

使用 -e，对 eval 所做的更改将立即反映出来，而无需重新安装。