'Elastic Search/01. Getting Started'에 해당되는 글 21건

  1. 2015/04/23 용비 21. Conclusion
  2. 2015/04/23 용비 20. Exploring Your Data - Executing Aggregations
  3. 2015/04/22 용비 19. Exploring Your Data - Executing Filters
  4. 2015/04/22 용비 18. Exploring Your Data - Executing Searches
  5. 2015/04/22 용비 17. Exploring Your Data - Introducing the Query Language
Elasticsearch 단순하기도 하고 복잡하기도 제품이다. 기본적인 개념이 무엇인지, 내부가 어떻게 생겼는지, REST API 통해서 어떻게 작업을 수행하는지를 공부했다. tutorial 통해서 여러분이 Elasticsearch 무엇인지를 이해하고, 중요하게, 나머지 다른 굉장한 기능들을 통해 많은 시험을 있는 영감을 있기를 바란다.
받은 트랙백이 없고, 댓글이 없습니다.

댓글+트랙백 RSS :: http://www.yongbi.net/rss/response/705

[Executing Aggregations]

Aggregations 데이터를 group하고 통계를 추출하는 기능을 제공한다. Aggregation 대해서는 SQL GROUP BY SQL aggregate function 거의 같다고 생각하는 것이 가장 쉽다. Elasticsearch에서는 하나의 response 안에 hit 리턴하는 검색과 hit별로 분리된 aggregated result 동시에 실행하는 기능이 있다. 이것은 굉장히 강력하고 효율적인 기능이다. 여러분은 query multiple aggregation 실행하여 간결하고 간단한 API 통해서 네트워크의 빈번한 호출을 피하고, 한번에 두개 혹은 하나의 결과를 받아볼 있다.


다음 에제는 상태별로 모든 account group하고, count 내림차순 정렬된 결과 중에서 top 10개의 state 리턴하는 것을 보여준다.


curl -XPOST 'localhost:9200/bank/_search?pretty' -d '
{
  "size": 0,
  "aggs": {
   "group_by_state": {
     "terms": {
       "field": "state"
     }
   }
  }
}'


SQL에서는 위의 aggregation 예제는 다음 개념과 유사하다.


SELECT COUNT(*) from bank GROUP BY state ORDER BY COUNT(*) DESC


응답 결과의 부분적인 내용은 다음과 같다.


  "hits" : {
  
"total" : 1000,
  
"max_score" : 0.0,
  
"hits" : [ ]
 
},
 
"aggregations" : {
  
"group_by_state" : {
    
"buckets" : [ {
      
"key" : "al",
      
"doc_count" : 21
    
}, {
      
"key" : "tx",
      
"doc_count" : 17
    
}, {
      
"key" : "id",
      
"doc_count" : 15
    
}, {
      
"key" : "ma",
      
"doc_count" : 15
    
}, {
      
"key" : "md",
      
"doc_count" : 15
    
}, {
      
"key" : "pa",
      
"doc_count" : 15
    
}, {
      
"key" : "dc",
      
"doc_count" : 14
    
}, {
      
"key" : "me",
      
"doc_count" : 14
    
}, {
      
"key" : "mo",
      
"doc_count" : 14
    
}, {
      
"key" : "nd",
      
"doc_count" : 14
    
} ]
  
}
 
}
}


위에서 AL(abama) 21개의 account, 다음으로 TX 17개의 account, ID 15 등등이 있음을 있다. size=0으로 설정하면 response에서 aggregation 결과만 보고 싶은 경우이기 때문에 search hit 보여주지 않는다.


다음 예제는 state별로 account balance 평균을 계산하는 것을 보여준다.

(역시, 내림차순 정렬하여 top 10개만 출력한다.)


curl -XPOST 'localhost:9200/bank/_search?pretty' -d '
{
  "size": 0,
  "aggs": {
   "group_by_state": {
     "terms": {
       "field": "state"
     },
     "aggs": {
       "average_balance": {
         "avg": {
           "field": "balance"
         }
       }
     }
   }
  }
}'


어떻게 group_by_state aggregation내에 average_balance aggregation 연결했는지 주목하라. 모든 aggregation 이와 같은 공통된 pattern 가지고 있다. 여러분이 데이터로부터 구하고자 하는 독자적인 요약 정보를 추출하는 aggregation내에 연결된 aggregation 가질 있다. 앞에서 수행한 aggregation에서 내림차순으로 average balance 정렬해 보자.


curl -XPOST 'localhost:9200/bank/_search?pretty' -d '
{
  "size": 0,
  "aggs": {
   "group_by_state": {
     "terms": {
       "field": "state",
       "order": {
         "average_balance": "desc"
       }
     },
     "aggs": {
       "average_balance": {
         "avg": {
           "field": "balance"
         }
       }
     }
   }
  }
}'


다음 예제는 어떻게 우리가 연령대별로, 성별에 따라 group 있는지, 마지막으로 어떻게 연령대별, 성별에 따른 average account balance 구할 있는지를 보여준다.


curl -XPOST 'localhost:9200/bank/_search?pretty' -d '
{
  "size": 0,
  "aggs": {
   "group_by_age": {
     "range": {
       "field": "age",
       "ranges": [
         {
           "from": 20,
           "to": 30
         },
         {
           "from": 30,
           "to": 40
         },
         {
           "from": 40,
           "to": 50
         }
       ]
     },
     "aggs": {
       "group_by_gender": {
         "terms": {
           "field": "gender"
         },
         "aggs": {
           "average_balance": {
             "avg": {
               "field": "balance"
             }
           }
         }
       }
     }
   }
  }
}'


여기에서 우리가 상세히 다루지 않은 다른 많은 aggregation 기능이 있다. Aggregation reference guide (http://www.elastic.co/guide/en/elasticsearch/reference/current/search-aggregations.html) 통해서 많은 내용을 있다.

받은 트랙백이 없고, 댓글이 없습니다.

댓글+트랙백 RSS :: http://www.yongbi.net/rss/response/704

[Executing Filters]

섹션에서 document score (검색 결과의 _score 필드) 대해서는 자세히 다루지 않고 넘어 갔었다. Score 우리가 검색하고자 query document 얼마나 match하는지를 측정한 숫자 값이다. Score 높을수록 적합한 document이고, Score 낮을수록 적합한 document이다.


Elasticsearch 모든 query 적합성 score (점수) 계산을 수행한다. 적합성 점수 (relevance score) 불필요한 경우에 Elasticsearch query-dsl-filter, filter 형태의 다른 기능을 제공한다. Filter 2가지 중요한 이유 때문에, 개념적으로 query 빠르게 수행하도록 최적화 하는 것과 같다.

  • Filter score 계산을 하지 않기 때문에 query보다 빠르다.
  • Filter 반복되는 검색 결과를 memory cache할 수 있기 때문에 query보다 빠르다.

Filter 이해하기 위해서는, query filter 조합한 filtered Query (http://www.elastic.co/guide/en/elasticsearch/reference/current/query-dsl-filtered-query.html) 대해서 먼저 아는 것이 좋다.


예를 들어, range filter 소개하자면, 값의 range 따라 document filter 있다. 일반적으로 숫자나 날짜별로 filter 적용하여 사용한다.


다음 예제는 20000 30000 사이의 balance 가지는 모든 account 리턴하는 filtered query 사용한 것이다. 다른 말로 하자면, 20000 이상 30000 이하의 balance 가진 account 찾고 싶은 것이다.


curl -XPOST 'localhost:9200/bank/_search?pretty' -d '
{
  "query": {
   "filtered": {
     "query": { "match_all": {} },
     "filter": {
       "range": {
         "balance": {
           "gte": 20000,
           "lte": 30000
         }
       }
     }
   }
  }
}'


내용을 분석해 보면, filtered query query part match_all query filter part range filter 포함하고 있다. 다른 query query part 대체할 있고, 다른 filter filter part 대체할 있다. 위의 경우에 range filter 모든 document들이 range안에 동일하게 들어오기 때문에 완벽하다. , 모든 document 동일하다.


일반적으로 어떤 filter query 원하는지 결정하는 가장 쉬운 방법은 relevance score (적합성 점수) 신경 쓰는지 스스로에게 물어보는 것이다. Relevance score (적합성 점수) 중요하지 않다면 filter 사용하고, 중요하다면 query 사용하라. SQL 배경지식이 있다면, query filter SELECT WHERE 개념과 유사하다. 비록 filter query보다 조금 유사하지만.


게다가, match_all, match, bool, filtered, range query 이외에도 다른 많은 이용할 있는 query/filter들이 있다. 여기서는 깊이 다루지 않을 것이다. 어떻게 동작하는지에 대한 기본적인 이해를 하고 있기 때문에, 다른 query/filter 배우고 시험하면서 이런 지식을 활용하는데 어렵지는 않을 것이다.

받은 트랙백이 없고, 댓글이 없습니다.

댓글+트랙백 RSS :: http://www.yongbi.net/rss/response/703

[Executing Searches]

지금까지 우리는 가지 기본적인 검색 파라미터들을 살펴보았다. 이제 Query DSL 대해서 깊이 파고 들어가 보자. 첫번째로 리턴되는 document 필드들을 살펴보자. 기본적으로 전체 JSON document 모든 검색의 일부로 리턴된다. 이것은 source (검색 결과에서 _source 필드에 해당함) 참조한다. 만약 전체 source document 리턴을 원치 않으면 리턴되는 source내의 몇가지 필드만 요청할 수도 있다.


다음 예제는 _source내의 2가지 필드 - account_number, balance - 만을 검색으로부터 어떻게 리턴 받는지를 보여준다.


curl -XPOST 'localhost:9200/bank/_search?pretty' -d '
{
  "query": { "match_all": {} },
  "_source": ["account_number", "balance"]
}'


위의 예제에서 간단하게 _source 필드를 감소시켰음을 주목하라. 검색 결과는 여전히 _source 필드 하나를 리턴하겠지만, 내에는 account_number, balance 포함되어 있다.


SQL 배경지식이 있다면, 위의 예제는 SQL SELECT [필드 리스트] FROM…. 개념과 유사하다.


이제 query 파트로 이동해서 살펴보자. 앞전에 매칭되는 모든 document 검색하는데 사용하는 match_all query 살펴보았다. 이제 기본적인 field 지정 검색 query match query라고 불리는 새로운 query 대해서 살펴보자. (특정 필드나 여러 필드에 대해서 검색 가능)


다음 예제는 20개의 account_number 리턴한다.


curl -XPOST 'localhost:9200/bank/_search?pretty' -d '
{
  "query": { "match": { "account_number": 20 } }
}'


다음 예제는 address "mill" 포함하고 있는 account들을 리턴한다.
 

curl -XPOST 'localhost:9200/bank/_search?pretty' -d '
{
  "query": { "match": { "address": "mill" } }
}'


다음 예제는 address "mill"이나 "lane" 포함되어 있는 account들을 리턴한다.


curl -XPOST 'localhost:9200/bank/_search?pretty' -d '
{
  "query": { "match": { "address": "mill lane" } }
}'


다음 예제는 address "mill lane" 절구가 포함되어 있는 모든 account들을 리턴한다.


curl -XPOST 'localhost:9200/bank/_search?pretty' -d '
{
  "query": { "match_phrase": { "address": "mill lane" } }
}'


이제 bool query 대해서 살펴 보자. Bool query  boolean logic 이용하여 query 작은 query들을 조합할 있다.


다음 예제는 2개의 match query 조합하여 address "mill", "lane" 모두 포함하고 있는 account 리턴한다.


curl -XPOST 'localhost:9200/bank/_search?pretty' -d '
{
  "query": {
   "bool": {
     "must": [
       { "match": { "address": "mill" } },
       { "match": { "address": "lane" } }
     ]
   }
  }
}'


위의 예제에서 보면, bool must절은 query match 대상이 되는 document 모두 true이어야 함을 의미한다.

반대로, 다음 예제에서는 2개의 match 중에 하나만 true이면 된다.


curl -XPOST 'localhost:9200/bank/_search?pretty' -d '
{
  "query": {
   "bool": {
     "should": [
       { "match": { "address": "mill" } },
       { "match": { "address": "lane" } }
     ]
   }
  }
}'


위의 예제에서 bool should query match 대상이 되는 document true 결과들의 모음이다.

( 중에 하나만 true 경우의 결과를 모두 취합한 것과 같다)


다음 예제는 2개의 match query 결합하여 address "mill" "lane" 모두 없는 account들에 대한 결과를 리턴한다.


curl -XPOST 'localhost:9200/bank/_search?pretty' -d '
{
  "query": {
   "bool": {
     "must_not": [
       { "match": { "address": "mill" } },
       { "match": { "address": "lane" } }
     ]
   }
  }
}'


위의 예제에서 bool must_not 구절은 match 대상 document true 없는 리스트를 리턴한다.

Bool query 내에 must, should, must_not 구절을 동시에 조합할 있다.

더욱이 bool 구절 내에 multi-level boolean logic 가지는 복잡한 bool query 구성할 수도 있다.


다음 예제는 40, Live하지 않은 ID 가진 모든 account 리턴한다.


curl -XPOST 'localhost:9200/bank/_search?pretty' -d '
{
  "query": {
   "bool": {
     "must": [
       { "match": { "age": "40" } }
     ],
     "must_not": [
       { "match": { "state": "ID" } }
     ]
   }
  }
}'

받은 트랙백이 없고, 댓글이 없습니다.

댓글+트랙백 RSS :: http://www.yongbi.net/rss/response/702

[Introducing the Query Language]

Elasticsearch query 실행하는데 사용할 있는 JSON Style domain-specific language 제공한다. 이것은 Query D (http://www.elastic.co/guide/en/elasticsearch/reference/current/query-dsl.html) 참조하고 있다. Query language 종합적이고, 처음에는 겁이 수도 있지만, 가지 기본적인 예제를 통해서 실제적으로 배우기에는 가장 좋은 방법이다.


마지막 예제로 돌아가서 다음 Query 실행해 보자.


{
 
"query": { "match_all": {} }
}


위의 query 해부해 보면, query 파트는 query 대한 정의를, match_all 실행하고자 하는 query 형태를 나타낸다. match_all query 특정 index 모든 document 대한 검색을 나타낸다.


Query 파라미터에 더하여 검색 결과에 영향을 주는 다른 파라미터를 넘길 수도 있다. 예를 들면, 다음 예제는 match_all 결과 중에 첫번째 document 리턴한다.


curl -XPOST 'localhost:9200/bank/_search?pretty' -d '
{
  "query": { "match_all": {} },
  "size": 1
}'


size 값이 지정되지 않으면 기본적으로 10건을 리턴한다.

다음 예제는 11번째에서 20번째 document 리턴한다.


curl -XPOST 'localhost:9200/bank/_search?pretty' -d '
{
  "query": { "match_all": {} },
  "from": 10,
  "size": 10
}'


from 파라미터 (0-based) 시작지점을 의미하고, size 파라미터는 from 파라미터로부터 얼마나 많은 document 리턴할 것인지를 의미한다. 검색 결과에 대한 paging 구현할 유용하다. from 없으면 default 0이다.


다음 예제는 match_all 수행하고 내림차순으로 account balance (계좌 잔액) 기준 정렬한 결과를 10 (default) 리턴하는 예제이다.


curl -XPOST 'localhost:9200/bank/_search?pretty' -d '
{
  "query": { "match_all": {} },
  "sort": { "balance": { "order": "desc" } }
}'

받은 트랙백이 없고, 댓글이 없습니다.

댓글+트랙백 RSS :: http://www.yongbi.net/rss/response/701