ElasticSearch - Mengembalikan Nilai Unik

Bagaimana saya mendapatkan nilai dari semua languagescatatan dan membuatnya unik.

Rekaman

PUT items/1
{ "language" : 10 }

PUT items/2
{ "language" : 11 }

PUT items/3
{ "language" : 10 }

Pertanyaan

GET items/_search
{ ... }

# => Expected Response
[10, 11]

Bantuan apa pun akan sangat bagus.

Anda dapat menggunakan istilah agregasi .

{
"size": 0,
"aggs" : {
    "langs" : {
        "terms" : { "field" : "language",  "size" : 500 }
    }
}}

Pencarian akan menghasilkan sesuatu seperti:

{
"took" : 16,
"timed_out" : false,
"_shards" : {
  "total" : 2,
  "successful" : 2,
  "failed" : 0
},
"hits" : {
"total" : 1000000,
"max_score" : 0.0,
"hits" : [ ]
},
"aggregations" : {
  "langs" : {
    "buckets" : [ {
      "key" : "10",
      "doc_count" : 244812
    }, {
      "key" : "11",
      "doc_count" : 136794

    }, {
      "key" : "12",
      "doc_count" : 32312
       } ]
    }
  }
}

The sizeparameter dalam menspesifikasikan agregasi jumlah maksimum istilah untuk menyertakan dalam hasil agregasi. Jika Anda membutuhkan semua hasil, setel ini ke nilai yang lebih besar dari jumlah istilah unik dalam data Anda.

Elasticsearch 1.1+ memiliki Agregasi Kardinalitas yang akan memberi Anda hitungan unik

Perhatikan bahwa ini sebenarnya adalah perkiraan dan akurasi dapat berkurang dengan kumpulan data berkardinalitas tinggi, tetapi umumnya cukup akurat dalam pengujian saya.

Anda juga dapat menyetel akurasi dengan precision_thresholdparameter. Trade-off, atau tentu saja, adalah penggunaan memori.

Grafik dari dokumen ini menunjukkan bagaimana hasil yang lebih tinggi precision_thresholdmengarah ke hasil yang jauh lebih akurat.

jika Anda ingin mendapatkan dokumen pertama untuk setiap languagebidang nilai unik, Anda dapat melakukan ini:

{
 "query": {
    "match_all": {
    }
  },
  "collapse": {
    "field": "language.keyword",
    "inner_hits": {
    "name": "latest",
      "size": 1
    }
  }
}

Saya mencari solusi semacam ini untuk diri saya juga. Saya menemukan referensi dalam istilah agregasi .

Nah, berikut ini adalah solusi yang tepat.

{
"aggs" : {
    "langs" : {
        "terms" : { "field" : "language",  
                    "size" : 500 }
    }
}}

Tetapi jika Anda mengalami kesalahan berikut:

"error": {
        "root_cause": [
            {
                "type": "illegal_argument_exception",
                "reason": "Fielddata is disabled on text fields by default. Set fielddata=true on [fastest_method] in order to load fielddata in memory by uninverting the inverted index. Note that this can however use significant memory. Alternatively use a keyword field instead."
            }
        ]}

Dalam hal ini, Anda harus menambahkan " KEYWORD " dalam permintaan, seperti berikut:

   {
    "aggs" : {
        "langs" : {
            "terms" : { "field" : "language.keyword",  
                        "size" : 500 }
        }
    }}

Jika Anda ingin mendapatkan semua nilai unik tanpa perkiraan atau menyetel angka ajaib ( size: 500), gunakan AGREGASI KOMPOSIT (ES 6.5+) .

Dari dokumentasi resmi :

"Jika Anda ingin mengambil semua istilah atau semua kombinasi istilah dalam agregasi istilah bertingkat, Anda harus menggunakan AGREGASI KOMPOSIT yang memungkinkan pemberian nomor halaman pada semua istilah yang memungkinkan daripada menyetel ukuran yang lebih besar daripada kardinalitas bidang dalam agregasi istilah. agregasi istilah dimaksudkan untuk mengembalikan istilah teratas dan tidak mengizinkan penomoran halaman. "

Contoh implementasi di JavaScript:

const ITEMS_PER_PAGE = 1000;

const body =  {
    "size": 0, // Returning only aggregation results: https://www.elastic.co/guide/en/elasticsearch/reference/current/returning-only-agg-results.html
    "aggs" : {
        "langs": {
            "composite" : {
                "size": ITEMS_PER_PAGE,
                "sources" : [
                    { "language": { "terms" : { "field": "language" } } }
                ]
            }
        }
     }
};

const uniqueLanguages = [];

while (true) {
  const result = await es.search(body);

  const currentUniqueLangs = result.aggregations.langs.buckets.map(bucket => bucket.key);

  uniqueLanguages.push(...currentUniqueLangs);

  const after = result.aggregations.langs.after_key;

  if (after) {
      // continue paginating unique items
      body.aggs.langs.composite.after = after;
  } else {
      break;
  }
}

console.log(uniqueLanguages);