[Batch Processing]

개별 document를 index, update, delete하기 위하여 elasticsearch는 _bulk API를 통해서 batch로 위의 작업을 수행할 수 있는 기능을 제공한다. 이 기능은 가능한 한 적은 network roundtrip (왕복)으로 가능한 빠르게 여러 작업을 효율적으로 수행하기 위한 메커니즘을 제공하는데 중요하다.

빠른 예제로, 다음 예제는 2개의 document를 하나의 bulk 작업으로 index한다. (ID 1 : John Doe, ID 2 : Jane Doe)

curl -XPOST 'localhost:9200/customer/external/_bulk?pretty' -d '
{"index":{"_id":"1"}}
{"name": "John Doe" }
{"index":{"_id":"2"}}
{"name": "Jane Doe" }
'

다음 예제는 ID 1인 첫번째 document를 업데이트하고, ID 2인 두번째 document를 삭제하는 하나의 bulk operation이다.

curl -XPOST 'localhost:9200/customer/external/_bulk?pretty' -d '
{"update":{"_id":"1"}}
{"doc": { "name": "John Doe becomes Jane Doe" } }
{"delete":{"_id":"2"}}
'

위의 delete action에 대하여 삭제할 document의 ID만 필요하고, source document에 대한 다른 내용이 없음을 주목하라.

Bulk API는 순차적으로 모든 action을 실행한다. 어떤 이유에서건 하나의 action이 실패하면 그 다음에 남아 있는 operation을 계속해서 진행한다. Bulk API는 작업이 완료되면, 각 action에 대한 status를 제공한다. 따라서, 어느 action이 성공하고 실패했는지 알 수 있다.

[Deleting Documents]

Document를 삭제하는 것은 정말 간단하다. 다음 예제는 ID 2인 이전 customer document를 어떻게 삭제하는지를 보여준다.

curl -XDELETE 'localhost:9200/customer/external/2?pretty'

Query 조건을 입력하여 매칭되는 여러 document를 한번에 삭제할 수도 있다. 다음 예제는 "John"이라는 이름을 가진 모든 customer를 어떻게 삭제하는지를 보여준다.

curl -XDELETE 'localhost:9200/customer/external/_query?pretty' -d '
{
  "query": { "match": { "name": "John" } }
}'

위의 URI가 query에 의해 삭제됨을 의미하는 _query로 변경되었음에 유의하라. 삭제할 query는 body에 있다. 그러나 여전히 DELETE를 사용한다. Query 문법에 대해서는 걱정하지 않아도 된다. 이 tutorial의 뒤에서 다룰 것이다.

[Updating Documents]

Document를 index하고 replace할 수 있을 뿐만 아니라, 또한 document를 update할 수도 있다. Elasticsearch는 실제로는 제자리 (이전 데이터를 덮어쓰는) 업데이트를 하지 않는다. Elasticsearch는 old document를 삭제하고, 한번 업데이트 했다는 내용이 적용된 새로운 document를 index한다.

다음 예제는 이전 document (ID 1)가 어떻게 이름을 "Jane Doe"로 변경한 새로운 document로 업데이트 되는지를 보여준다.

curl -XPOST 'localhost:9200/customer/external/1/_update?pretty' -d '
{
  "doc": { "name": "Jane Doe" }
}'

다음 예제는 이전 document (ID 1)가 어떻게 이름을 "Jane Doe"로 변경하고 age 필드가 새로 추가된 새로운 document로 업데이트 되는지를 보여준다.

curl -XPOST 'localhost:9200/customer/external/1/_update?pretty' -d '
{
  "doc": { "name": "Jane Doe", "age": 20 }
}'

업데이트는 간단한 스크립트로 수행될 수도 있다. 다음에 나타나는 dynamic script는 1.4.3에서는 기본적으로 사용할 수 없다. 더 자세한 내용은 Scripting Docs (http://www.elastic.co/guide/en/elasticsearch/reference/current/modules-scripting.html)에서 확인할 수 있다. 다음 예제는 script로 나이를 5살 증가시키는 것이다.

curl -XPOST 'localhost:9200/customer/external/1/_update?pretty' -d '
{
  "script" : "ctx._source.age += 5"
}'

위의 예제에서 ctx._source는 업데이트 되는 현재 source document를 나타낸다.

스크립트는 한번에 하나의 document에 대해서만 update를 수행할 수 있다. 나중에는 elasticsearch에서 주어진 query 조건에 따라 여러 document를 update하는 기능을 지원할 것이다. (SQL문의 Update - Where 문과 유사한 기능 제공 예정)

Elasticsearch는 data manipulation과 준 실시간 (near realtime) 검색 기능을 제공한다. 기본적으로 실제로 data를  index/update/delete한 시점에서 검색 결과로 나타나기까지 1초 delay (refresh interval)가 발생한다. 이것은 transaction이 완료된 이후에 즉시 data가 나타나는 SQL과 같은 다른 platform과 가장 중요한 차이점이다.

[Indexing/Replacing Documents]

앞에서 어떻게 single document를 index하는지 살펴보았다. 그때 command를 다시 호출해 보자.

curl -XPUT 'localhost:9200/customer/external/1?pretty' -d '
{
  "name": "John Doe"
}'

위의 command는 customer index에 external type으로 ID 1인 document를 index할 것이다. 만약 다른 document (혹은 같은)로 위의 command를 다시 실행하면, elasticsecarh는 기존에 존재하는 ID 1에 새로운 document로 replace할 것이다.

curl -XPUT 'localhost:9200/customer/external/1?pretty' -d '
{
  "name": "Jane Doe"
}'

위의 command는 ID 1인 document의 내용 중에서 이름을 "John Doe"에서 "Jane Doe"로 변경한다. 다른 한편, 만약 다른 ID를 사용한다면, 새로운 document가 index되고, 기존에 입력한 document는 변경되지 않고 남아 있게 된다.

curl -XPUT 'localhost:9200/customer/external/2?pretty' -d '
{
  "name": "Jane Doe"
}'

위의 결과로 ID 2를 가지는 새로운 document가 index된다.

Index될 때, ID part는 optional이다. ID가 지정되지 않으면 elasticsearch는 random ID를 생성하고 그것을 이용해 document를 index한다. Elasticsearch가 생성한 ID (이전에 명시적으로 지정한 ID도 마찬가지로)는 index API call의 한 부분으로 리턴된다.

명시적인 ID를 지정하지 않고 document를 index하기 위한 예제는 다음과 같다.

curl -XPOST 'localhost:9200/customer/external?pretty' -d '
{
  "name": "Jane Doe"
}'

명시적으로 ID를 지정하지 않을 때는 PUT 대신 POST를 사용한다.

[Delete an Index]

이제 앞에서 생성했던 index를 삭제하고 다시 index list를 조회해 보자.

curl -XDELETE 'localhost:9200/customer?pretty'
curl 'localhost:9200/_cat/indices?v'

응답 결과는 다음과 같다.

curl -XDELETE 'localhost:9200/customer?pretty'
{
  "acknowledged" : true
}
curl 'localhost:9200/_cat/indices?v'
health index pri rep docs.count docs.deleted store.size pri.store.size

Index가 성공적으로 삭제되었음을 나타낸다. 그리고 아무것도 없이 cluster가 시작되었을 때로 되돌아 갔음을 알 수 있다. 이동하기 전에, API command에 대해서 조금 더 깊이 들어가서 배워 보자.

curl -XPUT 'localhost:9200/customer'
curl -XPUT 'localhost:9200/customer/external/1' -d '
{
  "name": "John Doe"
}'
curl 'localhost:9200/customer/external/1'
curl -XDELETE 'localhost:9200/customer'

위의 command를 주의 깊게 살펴보면, elasticsearch에서 어떻게 data에 access하는지 볼 수 있다. 다음과 같은 패턴으로 요약될 수 있다.

curl -X<REST Verb> <Node>:<Port>/<Index>/<Type>/<ID>

이러한 REST access 패턴은 모든 API command 구석구석 숨어 있다. 여러분이 이것을 기억하고 있다면, 좋은 머리로elasticsearch를 마스터할 수 있다.