Language analyzer

支持如下语种：

• arabic, 美 /ˈærəbɪk/ 阿拉伯语

• armenian, 美 /ɑːrˈmiːniən/ 亚美尼亚语

• basque, 美 /bæsk,bɑːsk/ 巴斯克语

• bengali, 美 /beŋˈɡɑːli/ 孟加拉语

• brazilian, 美 /brəˈzɪliən/ 巴西语

• bulgarian, 美 /bʌlˈɡeriən/ 保加利亚语

• catalan, 美 /ˈkætəlæn/ 加泰罗尼亚语

• cjk, 中日韩统一表意文字

• czech, 美 /tʃek/ 捷克语

• danish, 美 /ˈdeɪnɪʃ/ 丹麦语

• dutch, 美 /dʌtʃ/ 荷兰语

• english, 美 /ˈɪŋɡlɪʃ/ 英语

• estonian, 美 /eˈstoʊniən/ 爱沙尼亚语

• finnish, 美 /ˈfɪnɪʃ/ 芬兰语

• french, 美 /frentʃ/ 法语

• galician, 美 /ɡəˈlɪʃn/ 加里西亚语

• german, 美 /ˈdʒɜːrmən/ 德语

• greek, 美 /ɡriːk/ 希腊语

• hindi, 美 /ˈhɪndi/ 北印度语

• hungarian, 美 /hʌŋˈɡeriən/ 匈牙利语

• indonesian, 美 /ˌɪndəˈniːʒn/ 印度尼西亚语

• irish, 美 /ˈaɪrɪʃ/ 爱尔兰语

• italian, 美 /ɪˈtæliən/ 意大利语

• latvian, 美 /ˈlætviən/ 拉脱维亚语

• lithuanian, 美 /ˌlɪθuˈeɪniən/ 立陶宛语

• norwegian, 美 /nɔːrˈwiːdʒən/ 挪威语

• persian, /'pɜːrʒən/ 波斯语

• portuguese, 美 /ˌpɔːrtʃʊˈɡiːz/ 葡萄牙语

• romanian, 美 /ro'menɪən/ 罗马尼亚语

• russian, 美 /ˈrʌʃn/ 俄语

• sorani, 索拉尼语

• spanish, 美 /ˈspænɪʃ/ 西班牙语

• swedish, 美 /ˈswiːdɪʃ/ 瑞典语

• turkish, 美 /ˈtɜːrkɪʃ/ 土耳其语

• thai. 美 /taɪ/ 泰语

重新实现语言分词器

这个内置语言分词器可以作为自定义分词器去实现，为了定制它们的行为。

NOTE

如果你不打算排除被提取词干的单词（相当于上面的stem_exclusion参数），那么你应该从自定义分析器配置中删除keyword_marker标记过滤器。

词干提取排除

例如一个句子World Health Organization,这个跟分词替换为organ health 的结果。这是因为organ和organization有相同的词根：organ。通常这个不是什么大问题，但是在一些特殊的文档中就会导致有歧义的结果，所以我们希望防止单词organization和organizations被缩减为词干。

english analyzer

PUT /my_index

{

  "mappings": {

​    "blog": {

​      "properties": {

​        "title": {

​          "type":     "string",

​          "analyzer": "english"   // [1]

​        }

​      }

​    }

  }

}

• 【1】 title字段将会用english(英语)分析器替换默认的standard(标准)分析器

GET /my_index/_analyze?field=title 

I'm not happy about the foxes

这个分词为：

i'm，happi，about，fox

我们无法分辨源文档中是包含单数 fox 还是复数 foxes ；单词 not 因为是停用词所以被移除了， 所以我们无法分辨源文档中是happy about foxes还是not happy about foxes，虽然通过使用 english （英语）分析器，使得匹配规则更加宽松，我们也因此提高了召回率，但却降低了精准匹配文档的能力。

为了获得两方面的优势，我们可以使用multifields（多字段）对 title 字段建立两次索引： 一次使用 english（英语）分析器，另一次使用 standard（标准）分析器:

PUT /my_index

{

  "mappings": {

​    "blog": {

​      "properties": {

​        "title": { 	// [1]

​          "type": "string",

​          "fields": {

​            "english": { 	// [2]

​              "type":     "string",

​              "analyzer": "english"

​            }

​          }

​        }

​      }

​    }

  }

}

• [1]主 title 字段使用 standard（标准）分析器。

• [2]title.english 子字段使用english(英语)分析器

替换为该字段映射后，我们可以索引一些测试文档来展示怎么在搜索时使用两个字段。

PUT /my_index/blog/1

{ "title": "I'm happy for this fox" }



PUT /my_index/blog/2

{ "title": "I'm not happy about my fox problem" }



GET /_search

{

  "query": {

​    "multi_match": {

​      "type":     "most_fields", 	// [1]

​      "query":    "not happy foxes",

​      "fields": [ "title", "title.english" ]

​    }

  }

}

• [1] 使用most_fields query type（多字段搜索语法）让我们可以用多个字段来匹配同一段文本。

czech analyzer

这个捷克语分词器可以被实现，作为一个自定义的分词器。

PUT /czech_example

{

  "settings": {

​    "analysis": {

​      "filter": {

​        "czech_stop": {

​          "type":       "stop",

​          "stopwords":  "_czech_" 	// [1]

​        },

​        "czech_keywords": {

​          "type":       "keyword_marker",

​          "keywords":   ["příklad"] 	// [2]

​        },

​        "czech_stemmer": {

​          "type":       "stemmer",

​          "language":   "czech"

​        }

​      },

​      "analyzer": {

​        "rebuilt_czech": {

​          "tokenizer":  "standard",

​          "filter": [

​            "lowercase",

​            "czech_stop",

​            "czech_keywords",

​            "czech_stemmer"

​          ]

​        }

​      }

​    }

  }

}

注释

• [1] 这个默认的停止词可以被覆盖，设置这个stopwords 或者 stopwords_path

• [2] 这个过滤器可以被删除，除非有一些单词应该被排除在词干中。

例子

GET /_analyze

{

  "tokenizer": "whitespace",

  "filter": [ "stemmer" ],

  "text": "fox running and jumping"

}

这个请求会产生如下的一些词组，比如running会被提取词干为run 和 jumping被提取为jump。

[ fox, run, and, jump ]

若不想被提取词干，则需要对单词进行标记，即keyword_marker参数过滤

GET /_analyze

{

  "tokenizer": "whitespace",

  "filter": [

​    {

​      "type": "keyword_marker",

​      "keywords": [ "jumping" ]

​    },

​    "stemmer"

  ],

  "text": "fox running and jumping"

}

如下则为提取结果：

[ fox, run, and, jumping ]

jumping则没有被提取词干。