众包新玩法！LLM竞技场诞生基准测试，严格分离学渣学霸
共 4374字，需浏览 9分钟
·
2024-05-20 15:15
新智元报道
新智元报道
【新智元导读】最公平的大模型基准测试诞生了！来自LLM竞技场，最接近人类偏好，数据新鲜、速度快、成本低，严格分离学渣和学霸。
大模型排行榜哪家强？还看LLM竞技场~
截至此刻，已有共计90名LLM加入战斗，用户总投票数超过了77万。
然而，在网友们吃瓜调侃新模型冲榜、老模型丧失尊严的同时，
人家竞技场背后的组织LMSYS，已经悄悄完成了成果转化：从实战中诞生的最有说服力的基准测试——Arena-Hard。
而Arena-Hard所展现出的四项优势，也正是当前的LLM基准测试最需要的：
-可分离性（87.4%）明显优于MT-bench（22.6%）；
-与Chatbot Arena的排名最相近，达到89.1%；
-运行速度快，价格便宜（25美元）
-频繁更新实时数据
中译中一下就是，首先这个大模型的考试要有区分度，不能让学渣也考到90分；
其次，考试的题目应该更贴合实际，并且打分的时候要严格对齐人类偏好；
最后一定不能泄题，所以测试数据要经常更新，保证考试的公平；
——后两项要求对于LLM竞技场来说，简直像是量身定做。
我们来看一下新基准测试的效果：
上图中将Arena Hard v0.1，与之前的SOTA基准测试MT Bench进行了比较。
我们可以发现，Arena Hard v0.1与MT Bench相比，具有更强的可分离性（从22.6%飙升到了87.4%），并且置信区间也更窄。
另外，看下这个排名，与下面最新的LLM竞技场排行榜是基本一致的：
这说明Arena Hard的评测非常接近人类的偏好（89.1%）。
——Arena Hard也算是开辟了众包的新玩法：
网友获得了免费的体验，官方平台获得了最有影响力的排行榜，以及新鲜的、高质量的数据——没有人受伤的世界完成了。
给大模型出题
简单来说，就是怎么从竞技场的20万个用户提示（问题）中，挑出来一些比较好的。
这个「好」体现在两方面：多样性和复杂性。下图展示了Arena-Hard的工作流：
总结一波：首先对所有提示进行分类（这里分了4000多个主题），然后人为制定一些标准，对每个提示进行打分，同一类别的提示算平均分。
得分高的类别可以认为复杂性（或者质量）高——也就是Arena-Hard中「Hard」的含义。
选取前250个得分最高的类别（250保证了多样性），每个类别随机抽2位幸运提示，组成最终的基准测试集（500 prompts）。
下面详细展开：
多样性
研究人员首先使用OpenAI的text-embedding-3-small转换每个提示，使用UMAP减少维度，并使用基于分层的聚类算法（HDBSCAN）来识别聚类，然后使用GPT-4-turbo进行汇总。
复杂性
通过下表的七个关键标准来选择高质量的用户查询：
1.提示是否要求提供特定的输出？
2.是否涵盖一个或多个特定领域？
3.是否具有多个级别的推理、组件或变量？
4.是否直接让AI展示解决问题的能力？
5.是否涉及一定程度的创造力？
6.是否要求响应的技术准确性？
7.是否与实际应用相关？
对于每个提示，使用LLM（GPT-3.5-Turbo、GPT-4-Turbo）标注其满足了多少个标准（打分0到7），然后，计算每组提示（聚类）的平均分数。
下图展示了部分聚类的平均分排序：
我们可以观察到，得分较高的聚类通常是比较有挑战性的主题（比如游戏开发、数学证明），而分数较低的聚类则属于琐碎或模棱两可的问题。
有了这个复杂性，就可以拉开学霸与学渣之间的差距，我们看下面的实验结果：
在上面的3个比较中，假设GPT-4比Llama2-70b强、Claude的大杯比中杯强，Mistral-Large比Mixtral强，
我们可以看到，随着（复杂性）分数的增加，更强的模型的胜率也在提高——学霸获得区分、学渣获得过滤。
因为分数越好高（问题越复杂），区分度越好，所以最终选取了250 个平均得分>=6分（满分7分）的高质量分类。
然后，随机抽取每个类别的2个提示，形成了这版基准测试—— Arena-Hard-v0.1。
判卷老师靠谱吗？
人工当然是最准的，而且因为这是「Hard模式」，很多涉及领域知识的问题还需要专家前来评估——这显然不行。
那么退而求其次，选择目前公认的最聪明的模型GPT-4来当判卷老师。
比如上面的那些图表中，涉及打分的环节，都是交给GPT-4来做的。另外，研究人员使用CoT提示LLM，在做出判决之前先生成答案。
GPT-4 判出的结果
下面使用gpt-4-1106-preview作为判断模型，用于比较的基线采用gpt-4-0314。
上表中比较并计算了每个模型的Bradley-Terry系数，并转换为相对于基线的胜率作为最终分数。95%置信区间是通过100轮引导计算得出的。
克劳德表示不服
——我Claude-3 Opus也是排行榜并列第一啊，凭啥让GPT当判卷老师？
于是，研究人员比较GPT-4-1106-Preview和Claude-3 Opus作为判卷老师的表现。
一句话总结：GPT-4是严父，Claude-3是慈母。
当使用GPT-4打分时，跨模型的可分离性更高（范围从23.0到78.0）。
而当使用Claude-3时，模型的得分大多都提高了不少：自家的模型肯定要照顾，开源模型也很喜欢（Mixtral、Yi、Starling），gpt-4-0125-preview也确实比我更好。
Claude-3甚至爱gpt-3.5-0613胜过gpt-4-0613。
下表使用可分离性和一致性指标进一步比较了GPT-4和Claude-3：
从结果数据来看，GPT-4在所有指标上都明显更好。
通过手动比较了GPT-4和Claude-3之间的不同判断示例，可以发现，当两位LLM意见不一致时，通常可以分为两大类：
保守评分，以及对用户提示的不同看法。
Claude-3-Opus在给分时比较宽容，给出苛刻分数的可能性要小得多——它特别犹豫是否要宣称一个回答比另一个回答「好得多」。
相比之下，GPT-4-Turbo会识别模型响应中的错误，并以明显较低的分数惩罚模型。
另一方面，Claude-3-Opus有时会忽略较小的错误。即使Claude-3-Opus确实发现了这些错误，它也倾向于将它们视为小问题，并在评分过程中非常宽容。
即使是在编码和数学问题中，小错误实际上会完全破坏最终答案，但Claude-3-Opus仍然对这些错误给予宽大处理，GPT-4-Turbo则不然。
对于另外一小部分提示，Claude-3-Opus和GPT-4-Turbo以根本不同的角度进行判断。
例如，给定一个编码问题，Claude-3-Opus倾向于不依赖外部库的简单结构，这样可以为用户提供最大教育价值的响应。
而GPT-4-Turbo可能会优先考虑提供最实用答案的响应，而不管它对用户的教育价值如何。
虽然这两种解释都是有效的判断标准，但GPT-4-Turbo的观点可能与普通用户更接近。
有关不同判断的具体例子，参见下图，其中许多都表现出这种现象。
局限性测试
LLM喜欢更长的回答吗？
下面绘制了在MT-Bench和Arena-Hard-v0.1上，每个模型的平均token长度和分数。从视觉上看，分数和长度之间没有很强的相关性。
为了进一步检查潜在的冗长偏差，研究人员使用GPT-3.5-Turbo对三种不同的系统提示（原始、健谈、详细）进行了消融。
结果表明，GPT-4-Turbo和Claude-3-Opus的判断都可能受到更长输出的影响，而Claude受到的影响更大（因为GPT-3.5-Turbo对GPT-4-0314的胜率超过40%）。
有趣的是，「健谈」对两位裁判的胜率影响不大，这表明输出长度不是唯一的因素，更详细的答案也可能受到LLM评委的青睐。
实验使用的提示：
detailed: You are a helpful assistant who thoroughly explains things with as much detail as possible.
chatty: You are a helpful assistant who is chatty.
GPT-4 判断的方差
研究人员发现，即使温度=0，GPT-4-Turbo仍可能产生略有不同的判断。
下面对gpt-3.5-turbo-0125的判断重复三次并计算方差。
由于预算有限，这里只对所有模型进行一次评估。不过作者建议使用置信区间来确定模型分离。