MKQA多语言知识问答数据集

MKQA 全称 Multilingual Knowledge Questions & Answers ，是一个开放域问答评估集，包含 10k 个问答对，跨越 26 种不同类型的语言（总共 260k 个问答对）。该数据集的目标是为跨多种语言的问答质量提供具有挑战性的基准。

数据集

MKQA 包含从 Google 自然问题数据集中采样的 10,000 个查询。对于每个查询都收集新的与段落无关的答案。然后将这些查询和答案人工翻译成 25 种非英语语言。

MKQA 数据可以从这里下载。

数据集中的每个示例都包含独特的自然问题 example_id ，原始英语 query ，然后是 26 种语言的 queries 和 answers 。

{
 'example_id': 563260143484355911,
 'queries': {
  'en': "who sings i hear you knocking but you can't come in",
  'ru': "кто поет i hear you knocking but you can't come in",
  'ja': '「 I hear you knocking」は誰が歌っていますか',
  'zh_cn': "《i hear you knocking but you can't come in》是谁演唱的",
  ...
 },
 'query': "who sings i hear you knocking but you can't come in",
 'answers': {'en': [{'type': 'entity',
    'entity': 'Q545186',
    'text': 'Dave Edmunds',
    'aliases': []}],
  'ru': [{'type': 'entity',
    'entity': 'Q545186',
    'text': 'Эдмундс, Дэйв',
    'aliases': ['Эдмундс', 'Дэйв Эдмундс', 'Эдмундс Дэйв', 'Dave Edmunds']}],
  'ja': [{'type': 'entity',
    'entity': 'Q545186',
    'text': 'デイヴ・エドモンズ',
    'aliases': ['デーブ・エドモンズ', 'デイブ・エドモンズ']}],
  'zh_cn': [{'type': 'entity', 'text': '戴维·埃德蒙兹 ', 'entity': 'Q545186'}],
  ...
  },
}

每个答案都标有答案类型。细目是：

对于每一种语言，可以有多个可接受的文本答案，以捕获各种可能的有效答案。所有支持的语言是：

官方评估脚本提供了两种方法来评估 MKQA 数据集上的性能

评估脚本需要一个具有特定格式的 json 行 (jsonl) 预测文件：

{ "example_id": -7449157003522518870, "prediction": "Hafþór Júlíus `` Thor '' Björnsson", "binary_answer": null, "no_answer_prob": 0.23618 } ...