Elasticsearch学习-索引操作及Mapping映射

一、名词解释

1）索引

在7.X版本前类似于关系型数据库中的数据库概念，8.X版本后删除了type概念，索引类似于关系型数据库中的表

2）文档

相当于关系型数据库中的一条数据，最小单元

3）节点

每一个节点就是一个ES实例（一个java进程），一个节点 != 一台服务器

4）集群

多个节点组成分布式系统，ES原生分布式，已启动一个ES进程，再启动一个进程，这个进程会自动发现集群并进入，前提条件是所有节点配置一套集群信息

5）分片

一个索引包含一个多个分片，7.0之前默认五个主分片，每个主分片一个副本，在7.0之后默认一个主分片，副本可以在索引创建之后修改数量，但是主分片的数量一旦确定不可修改。每个分片都是一个Lucene实例，有完成的创建索引和处理请求的能力ES会自动在节点上做分片均衡，每个主分片和其副本分片不能同时存在于同一个节点上。

 二、索引CRUD

1）创建索引

PUT /indexName?pretty

 2）查询操作

# 查询索引信息

GET _cat/indices?v

# 查询所有数据

GET /indexName/_search

# 查询第一条数据

GET /indecName/_doc/1

 3）删除操作

# 删除索引

DELETE /indexName?pretty

#删除数据

DELETE /indexName/_doc/id

 4) 插入数据

#插入数据 指定id

PUT /indexName/_doc/id

{

    Json数据

}

 

# 示例

PUT /product/_doc/1

{

    “name”:”手机”,

    “price”：”1399″，

    “desc”:[“美观”,”小巧”]

}

 5）修改数据

1. 同插入数据，全量替换

2. 指定字段更新（两种格式均可）

POST /indexName/_doc/1 _update

{

  “doc”:{

     “fieldName”:””

   }

}

 

POST /indexName/_update/id

{

  “doc”:{

     “fieldName”:””

   }

}

3.按条件删除数据 

 POST /indexName/_doc/_delete_by_query

{

  “query”: {

    “term”: {

      “fieldName”: “11”

    }

  }

}

三、Mapping映射 

定义文档及其包含字段的存储和索引信息，类似“表结构” 概念

包含属性：字段名称、类型、字段使用的分词器、是否评分、是否创建索引等

 1）查看mapping

GET /indexName/_mappings 

  2) ES数据类型

常见数据类型

1. 数字类型

long    integer    short    byte    double    float    half_float    scaled_float   unsigned_long

2.  keywords 

keyword：适用于索引结构化的字段，只能精确值搜索，可以用于过滤、排序、聚合

constant_keyword：始终包含相同值的关键字字段

wildcard: 可针对类似grep的通配符查询优化日志行等类似的关键字值

3. 时间类型 Dates ：包括 date和date_nanos

4. alias 定义别名

5. binary 二进制

6. range 区间类型 integer_range、float_range、long_range、double_range、date_range

7. text 类型

设置text类型以后，字段内容会被分析，在生成倒排索引（默认）以前，字符串会被分析器分成一个一个词项，text类型的字段不用于排序，很少用于聚合

对象关系类型

1. object : 用于单个JSON对象

2. nested: 用于JSON对象数组

3. flattened: 允许将整个JSON对象索引为单个字段

结构化类型

1. geo-point：纬度/经度积分

​2. geo-shape：用于多边形等复杂形状

3. point：笛卡尔坐标点

4. shape：笛卡尔任意几何图形

特殊类型(常用)

1. IP地址：ip 用于IPv4和IPv6地址

2. completion 提供自动完成建议

数组 array

在Elasticsearch中，数组不需要专用的字段数据类型。默认情况下，任何字段都可以包含零个或多个值，但是，数组中的所有值都必须具有相同的数据类型

3）映射类型

动态 自动映射

 PUT /product_mapping/_doc/1

{

  “name”: “手机”,

  “desc”: “插入数据 直接自动映射”,

  “count”: 100,

  “price”: 1999.9,

  “date”: “2022-12-7”,

  “isdel”: true,

  “tags”: [

    “xiaoqiao”,

    “fashion”

  ]

}

静态 手动映射  

# 案例

PUT /product

{

  “mappings”: {

    “properties”: {

      “date”: {

        “type”: “text”

      },

      “desc”: {

        “type”: “text”,

        “analyzer”: “english”

      },

      “name”: {

        “type”: “text”,

        “index”: “false”

      },

      “price”: {

        “type”: “long”

      },

      “tags”: {

        “type”: “text”,

        “index”: “true”

      },

      “parts”: {

        “type”: “object”

      },

      “partlist”: {

        “type”: “nested”

      }

    }

  }

}

 常用映射参数 

1. index： 是否对当前字段创建倒排索引，默认为true，若为false，该字段不会通过索引被搜索到，但是仍会在source元数据中展示

2. analyzer：指定分析器（character filter、tokenizer、Token filters）

3. doc_values：为了提升排序和聚合效率，默认true，如果确定不需要对字段进行排序或聚合，也不需要通过脚本访问字段值，则可以禁用doc值以节省磁盘空间（不支持text和annotated_text）

4. eager_global_ordinals：用于聚合的字段上，优化聚合性能

5. enable：是否创建倒排索引，可以对字段操作，也可以对索引操作

 PUT my_index

 {

    “mappings”: 

    {

       “enabled”: false

    }

  }

6.  fielddata：查询时内存数据结构，在首次用当前字段聚合、排序或者在脚本中使用时，需要字段为fielddata数据结构，并且创建倒排索引保存到堆中 

 #每个tag产品的数量   “size”:0, 不显示原始结果

GET /product/_search

{

  “aggs”: {

    “tag_agg_group”: {

      “terms”: {

        “field”: “tags”

      }

    }

  },

  “size”:0

}

 

#将文本field的fielddata属性设置为true

PUT /product/_mapping

{

  “properties”: {

    “tags”: {

      “type”: “text”,

      “fielddata”: true

    }

  }

}

7. fields：给field创建多字段，用于不同目的（全文检索或者聚合分析排序）

 # 给product创建一个keyword

PUT fields_test

{

  “mappings”: {

    “properties”: {

      “product”: {

        “type”: “text”,

        “fields”: {

          “raw”: { 

            “type”:  “keyword”

          }

        }

      }

    }

  }

}

 

# 插入数据

PUT fields_test/_doc/1

{

  “product”: “New York”

}

 

# 查询数据

GET fields_test/_search

{

  “query”: {

    “match”: {

      “product”: “york” 

    }

  },

  “sort”: {

    “product.raw”: “asc” 

  },

  “aggs”: {

    “product”: {

      “terms”: {

        “field”: “product.raw” 

      }

    }

  }

}

8. norms：是否禁用评分（在filter和聚合字段上应该禁用）

9.  null_value：为null值设置默认值

10. search_analyzer：设置单独的查询时分析器

11. store：设置字段是否仅查询

12. format：格式化

 “date”: {

     “type”:  “date”,

     “format”: “yyyy-MM-dd”

   }

 13. copy_to 将多个字段的值复制到组字段中，然后可以将其作为单个字段进行查询 

 # mapping映射

PUT copy_to_test

{

  “mappings”: {

    “properties”: {

      “field1”: {

        “type”: “text”,

        “copy_to”: “field_all” 

      },

      “field2”: {

        “type”: “text”,

        “copy_to”: “field_all” 

      },

      “field_all”: {

        “type”: “text”

      }

    }

  }

}

 

# 数据插入

PUT copy_to/_doc/1

{

  “field1”: “field1”,

  “field2”: “field2”

}

 

# 查询 可匹配到数据

GET copy_to/_search

{

  “query”: {

    “match”: {

      “field_all”: { 

        “query”: “field1 field2”

      }

    }

  }

}

14. coerce：是否允许强制类型转换 

# mapping映射

PUT coerce_test

{

  “mappings”: {

    “properties”: {

      “number_one”: {

        “type”: “integer”

      },

      “number_two”: {

        “type”: “integer”,

        “coerce”: false

      }

    }

  }

}

# 插入数据

# 成功

PUT coerce_test/_doc/1

{

  “number_one”: “10” 

}

#//失败，因为coerce设置了false

PUT coerce_test/_doc/2

{

  “number_two”: “10” 

}  

15.  dynamic：控制是否可以动态添加新字段 

 true 新检测到的字段将添加到映射中（默认）

​ false 新检测到的字段将被忽略，这些字段将不会被索引，因此将无法搜索，但仍会出现在_source返回的匹配项中。这些字段不会添加到映射中，必须显式 添加新字段。

​ strict 如果检测到新字段，则会引发异常并拒绝文档，必须将新字段显式添加到映射中

PUT dynamic_test

{

  “mappings”: {

    “dynamic”: false,

    “properties”: {

      “user”: {

        “properties”: {

          “date”: {

            “type”: “text”

          }

        }

      }

    }

  }

}