Elasticsearch 可以更改 Mapping 吗?如何修改?
1、实战线上问题
最近几个线上问题,都和 Mapping 字段更新有关系,问题列表如下:
问题 1:
Mapping新创建后,还可以更新吗?
问题 2:
群友 A:有人知道怎么在kibana里面给索引新增,删除字段吗? 群友 B: 不就是改 mapping 吗 群友 A:怎么改? 群友 B:写dsl啊… 群友 A:只能加不能删吧? 
问题 3:
各位同学们 现在有个业务需求帮忙看一下?
需求:将 A 索引中一个为 String 的字段修改为 boolean。
例: sdry:"1" -> sdry:true。
问题 4:
join 类型怎么修改 join,append一个新的child?
业务需要 append join children,官方也说可以 append,但是又没给方案,我尝试都失败了。
四个问题都可以归结为 Mapping 更新问题,我们一起梳理实践一把。
2、问题拆解解读
问题1:Mapping新创建后,还可以更新吗?
官方文档有强调:
In general, the mapping for existing fields cannot be updated. There are some exceptions to this rule.
也就是说,已经定义的字段大多数情况不能被更新,除非 reindex 更新 mapping。
但,以下三种情况例外。
第一:new properties can be added to Object fields. 
Object 对象可以添加新的属性。
第二: new multi-fields can be added to existing fields. 
已经存在的fields里面可以添加fields,以构成一个字段多种类型。
第三:the ignore_above parameter can be updated. 
ignore_above 是可以更新的。
问题 1 特例情况实战一把。
DELETE my_index
PUT my_index 
{
  "mappings": {
    "properties": {
      "name": {
        "properties": {
          "first": {
            "type": "text"
          }
        }
      },
      "user_id": {
        "type": "keyword"
      }
    }
  }
}
更新 Mapping 操作如下示例:
PUT my_index/_mapping
{
  "properties": {
    "name": {
      "properties": {
        "first":{
          "type":"text",
          "fields":{
            "field":{
              "type":"keyword"
            }
          }
        },
        "last": { 
          "type": "text"
        }
      }
    },
    "user_id": {
      "type": "keyword",
      "ignore_above": 100
    }
  }
}
以上:
对应第一种情况,Object 对象可以添加新的属性。我们添加了 last 字段。
对应第二种情况,first 添加了keyword 类型,以组合构造fields。
对应第三种情况,user_id 添加了ignore_above。
这三种 Mapping 更新特列情况,大家需要掌握。实战环节不需要 reindex 就可以更新 Mapping,还是非常便捷的。
问题2:如何给索引新增、删除字段?
有人知道怎么在kibana里面给索引新增,删除字段吗?
强调一下:
Mapping 中已有的字段是不可以删除的,除非 reindex。
Mapping 字段设置默认是 "dynamic:true",表明支持动态添加字段。
更新 Mapping 添加字段举例如下:
DELETE  my-index-003
#创建索引同时指定 Mapping
PUT my-index-003
{
  "mappings": {
    "properties": {
      "message": {
        "type": "keyword",
        "ignore_above": 20
      }
    }
  }
}
#更新 Mapping
POST my-index-003/_mapping
{
  "properties": {
    "title": {
      "type": "text",
      "analyzer": "ik_max_word"
    }
  }
}
dynamic 设置值及含义如下表所示:
| 属性值 | 含义 | 
|---|---|
| true | 默认,支持动态更新 | 
| false | 忽略新增字段 | 
| strict | 严格定义字段,类似写死固定字段,再新增未设定字段会报错 | 
| runtime | 和默认true有细微差别,参见官方文档 | 
问题 3:string 类型改成 boolean 类型,如何实现?
各位同学们 现在有个业务需求帮忙看一下。
需求:将 A 索引中一个为 String 的字段修改为 boolean。
例:sdry:"1" -> sdry:true
可以将问题进一步提炼转换为:修改 Mapping 字段类型。
Mapping 字段是不可以直接更新的,但我们可以“曲线救国”。
# 创建索引
PUT test-002
{
 "mappings": {
  "properties": {
   "sflag":{
    "type":"keyword"
   }
  }
 }
}
# 模拟写入数据
PUT test-002/_bulk
{"index":{"_id":1}}
{"sflag":"1"}
{"index":{"_id":2}}
{"sflag":"0"}
# 更新Mapping
POST test-002/_mapping
{
 "properties":{
  "bflag":{
   "type":"boolean"
  }
 }
}
# 对新增字段做数据处理
PUT _ingest/pipeline/mychangepipeline
{
 "processors":[
  {
    "script": {
     "description": "Extract 'tags' from 'env' field",
     "lang": "painless",
     "source": """
     if(ctx['sflag'] == "1")
     {
      ctx['bflag']=true;
     }else if(ctx['sflag']=="0")
     {
      ctx['bflag']=false;
     }
     """
    }
   }
  ]
}
# 全量更新操作
POST test-002/_update_by_query?pipeline=mychangepipeline
{
 "query": {
  "match_all": {}
 }
}
# 检索结果
POST test-002/_search
解读一下:
第一步:新增了字段 bflag,且设置为 boolean 类型。
第二步:自建 ingest 预处理管道,结合原有 sflag 字段更新新增的 bflag 字段。
第三步:全量批量更新已有索引,实现字段的更新。
自此,“曲线救国”达到目的,如下图所示,bflag 设置成了 boolean 值。

问题4:join 类型添加新 child 如何实现?
join 类型怎么修改 join,append一个新的child?
业务需要 append join children,官方也说可以 append,但是又没给方案,我尝试都失败了。
实践一把,给出答案。
DELETE test-join-index
# 创建父子文档关联索引
PUT test-join-index
{
  "mappings": {
    "properties": {
      "my_id": {
        "type": "keyword"
      },
      "my_join_field": {
        "type": "join",
        "relations": {
          "question": "answer_a"
        }
      }
    }
  }
}
# 更新 Mapping
POST test-join-index/_mapping
{
  "properties": {
    "my_join_field": {
      "type": "join",
      "relations": {
        "question": [
          "answer_a",
          "answer_b",
          "answer_c",
          "answer_d"
        ]
      }
    }
  }
}
上面的更新 Mapping 部分,由 1 对 1 的父子关联关系,转化为:1 对 4 的父子关联关系,如下图所示:

3、小结
Mapping 字段的 dynamic 特性有利有弊,要结合业务场景选型,对不希望动态扩展字段以至字段“膨胀”的场景下,建议设置为 strict。
Mapping 创建后,已有字段不可以修改,但可以“曲线救国”实现字段更新,间接实现字段的“修改”。
Mapping 中已有字段更新的三个特列要掌握。
Runtime field 运行时类型也能很好的解决本文提出的动态扩展字段的问题,鉴于篇幅原因,本文没有展开。更多 runtime field 实战解读,推荐阅读:
推荐
更短时间更快习得更多干货!
已带领72位球友通过 Elastic 官方认证!
中国仅通过百余人

