'분류 전체보기'에 해당되는 글 648건

  1. 2015/05/11 용비 06. Repositories
  2. 2015/05/11 용비 05. Directory Layout
  3. 2015/05/11 용비 04. Running as a service on Windows
  4. 2015/05/11 용비 03. Running as a service on linux
  5. 2015/04/24 용비 아, 오픈 소스!

06. Repositories

Elastic Search/02. Setup 2015/05/11 19:09 용비

APT YUM 기반 배포판을 이용할 있도록 Repositories 제공하고 있다. Source 아니라 Elasticsearch 빌드한 Binary package만을 제공한다. Major 버전을 통한 우발적인 upgrade 피하기 위해서 major 버전별로 url 나누었다. 0.90.x 버전은 전부 0.90으로, 1.0.x 1.0으로, 1.1.x 1.1 같은 숫자로 표시한다.


Elasticsearch 서명 키로는 PGP key D88E42B4 사용한다.

Fingerprint 다음과 같다.

4609 5ACC 8548 582C 1A26 99A9 D27D 666C D88E 42B4

http://pgp.mit.edu 에서 사용할 있다.


APT

Public Singing Key 다운로드 하고 설치한다.


wget -qO - https://packages.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -


/etc/apt/source.list 파일에 repositories 정의를 추가한다.


echo "deb http://packages.elastic.co/elasticsearch/1.5/debian stable main" | sudo tee -a /etc/apt/sources.list


[WARINIG]

Elasticsearch repositories 추구하기 위해서 echo method 사용하라. Source 제공하지 않기 때문에 Add-apt-repository deb-src 사용하지 말라. Deb-src entry 추가했다면, 다음과 같은 error 발생할 것이다.

 

Unable to find expected entry 'main/source/Sources' in Release file (Wrong sources.list entry or malformed file)

Just delete the deb-src entry from the /etc/apt/sources.list file and the installation should work as expected.


Repository 준비되었다면 apt-get update 실행하라. 다음과 같이 설치할 있다.

sudo apt-get update && sudo apt-get install elasticsearch


부팅할 자동으로 Elasticsearch 실행하도록 설정하려면 다음과 같이 하면 된다.

sudo update-rc.d elasticsearch defaults 95 10


YUM


public Signing Key
다운로드 받아서 설치한다.


rpm --import https://packages.elastic.co/GPG-KEY-elasticsearch


/etc/yum.repos.d/ 디렉토리에 .repo 확장자를 가진 파일을 추가하라. 예를 들어 elasticsearch.repo 파일을 만든다.


[elasticsearch-1.5]
name
=Elasticsearch repository for 1.5.x packages
baseurl
=http://packages.elastic.co/elasticsearch/1.5/centos
gpgcheck
=1
gpgkey
=http://packages.elastic.co/GPG-KEY-elasticsearch
enabled
=1


그러면 repository 사용할 준비가 것이다. 이제 설치할 있다.


yum install elasticsearch


부팅 시에 elasticsearch 자동으로 시작하도록 설정해 보자. SysV init 사용한 배포판이라면 다음과 같이 실행할 있다.


chkconfig --add elasticsearch


[WARNING]

CentOS5 같은 RPM v3 사용한 예전 rpm 기반 배포판이라면 repositories 동작하지 않는다.


아니면 systemd 사용하여 설치할 있다.


sudo /bin/systemctl daemon-reload
sudo
/bin/systemctl enable elasticsearch.service

받은 트랙백이 없고, 댓글이 없습니다.

댓글+트랙백 RSS :: http://www.yongbi.net/rss/response/712

설치된 이후 폴더 구조는 다음과 같다.


Type

Description

Default Location

Setting

home

Elasicsearch 설치


path.home

bin

Elasticsearch 노드를 시작할 있는 binary script 있는 폴더

{path.home}/bin


conf

Elasticsearch.yml 포함한 설정 파일이 있는 폴더

{path.home}/config

path.conf

data

노드에 할당된 index/shard 데이터 파일이 있는 폴더.

여러 위치에 있을 있음

{path.home}/data

path.data

logs

로그 파일이 있는 폴더

{path.home}/logs

path.logs

plugins

Plugin 파일이 위치한 폴더. 플러그인은 subdirectory 갖고 있음.

{path.home}/plugins

path.plugins


Multiple data location stripe를 허용한다. Striping 간단하게 하나의 location 모든 파일을 위치시킬 수도 있고, index.store.distributor 값에 근거해서 파일 위치를 결정할 수도 있다.

  • least_used (default) : 항상 가장 적합한 space directory 선택한다.
  • random : 랜덤하게 directory 선택한다. 특정 디렉토리가 선택될 가능성은 디렉토리에서 이용할 있는 space 비례한다. , 이용가능한 space 많을수록 선택될 가능성이 높아진다.

동일한 데이터를 여러 복사하는 것이 아니라, RAID 0 같음에 유의하라. 간단하지만, RAID 사용하여 복잡하게 구성하고 싶지 않은 사람들에게 좋은 솔루션이 있다. 다음과 같이 설정하면 된다.


path.data: /mnt/first, /mnt/second


혹은 다음과 같이 array 형태로 설정할 수도 있다.


path.data: ["/mnt/first", "/mnt/second"]


Default Paths

아래 값들은 특별히 수정하지 않았다면, elasticsearch 사용하는 default path들이다.


deb and rpm

Type

Description

Location Debian/Ubuntu

Location RHEL/CentOS

home

Elasticsearch 설치

/usr/share/elasticsearch

/usr/share/elasticsearch

bin

노드를 실행할 있는 elasticsearch 포함한

binary script 있는 폴더

/usr/share/elasticsearch/bin

/usr/share/elasticsearch/bin

conf

Elasticsearch.yml/logging.yml 설정 파일이 있는 폴더

/etc/elasticsearch

/etc/elasticsearch

conf

Heap size, file descriptor 포함한 환경 변수 설정 파일이 있는 폴더

/etc/default/elasticsearch

/etc/sysconfig/elasticsearch

data

노드에 할당된 index/shard data 파일이 위치한 폴더

/var/lib/elasticsearch/data

/var/lib/elasticsearch

logs

로그 파일 위치

/var/log/elasticsearch

/var/log/elasticsearch

plugins

플러그인 파일 위치. 플러그인은 하위에 폴더를 포함하고 있다.

/usr/share/elasticsearch/plugins

/usr/share/elasticsearch/plugins


zip and tar.gz

Type

Description

Location

home

Elasticsearch 설치

{extract.path}

bin

노드를 실행할 있는 elasticsearch 포함한

binary script 있는 폴더

{extract.path}/bin

conf

Elasticsearch.yml/logging.yml 설정 파일이 있는 폴더

{extract.path}/config

conf

Heap size, file descriptor 포함한 환경 변수 설정 파일이 있는 폴더

{extract.path}/config

data

노드에 할당된 index/shard data 파일이 위치한 폴더

{extract.path}/data

logs

로그 파일 위치

{extract.path}/logs

plugins

플러그인 파일 위치. 플러그인은 하위에 폴더를 포함하고 있다.

{extract.path}/plugins

받은 트랙백이 없고, 댓글이 없습니다.

댓글+트랙백 RSS :: http://www.yongbi.net/rss/response/711

윈도우 환경에서는 별다른 사용자 작업 없이 elasticsearch background 실행하거나 자동으로 시작하도록 설정할 있다. Bin/ 폴더 아래에 있는 service.bat 스크립트를 통해 설치, 삭제, 관리, 서비스에 대한 설정, 서비스 시작과 종료를 모두 실행할 있다.


c:\elasticsearch-1.5.2\bin>service

Usage: service.bat install|remove|start|stop|manager [SERVICE_ID]


스크립트는 service id 나타내는 개의 파라미터만 필요하다.

사용할 있는 command 다음과 같다.


Install : 서비스로서 elasticsearch 설치한다.

Remove : 설치되어 있는 elasticsearch service 삭제한다. (실행되어 있다면 종료한다.)

Start : elasticsearch service 실행한다. (설치되어 있을 경우)

Stop : elasticsearch service 종료한다. (실행되어 있을 경우)

Manager : 설치되어 있는 service 관리하는 GUI 실행한다.


설치 도중에 사용할 있는 환경 변수는 복사해서 service lifecycle 사용할 있다. 설치 이후에 변경된 부분은 service 재설치하지 않으면 회복되지 않는다.


이용할 있는 JDK/JRE (JAVA_HOME 설정에 따른) 아키텍처에 기반하여 64-bit, 32-bit 적합한 서비스가 설치될 것이다. 정보는 설치 시점에 보여진다.


c:\elasticsearch-{version}bin>service install
Installing service      :  "elasticsearch-service-x64"
Using JAVA_HOME (64-bit):  "c:\jvm\jdk1.7"
The service 'elasticsearch-service-x64' has been installed.

  

[NOTE]

Elasticsearch service JRE 사용할 수는 있지만, client VM 사용하는 JRE 사용한다면 시스템 불안정성과 경고가 발생할 수도 있다. (반대로 서버에서 사용하는 JVM 오랫동안 실행되는 application 성능측면에서 좋다.)

  • 서버에는 JRE 설치해서 사용하지 말고, JDK 설치하여 사용하라는 의미.

Customizing service settings

서비스 설정을 customize하는 데는 2가지 방법이 있다.

Manager GUI

Manager command 통해서 GUI 접속할 있다. GUI 설치된 서비스에 대한 상태, startup type, JVM, start, stop등의 설정을 보여준다. Command-line에서 service.bat으로 간단하게 실행하여 앞서 언급한 option 윈도우에서 있다.


Customizing service.bat

Service.bat 파일은 서비스를 설치하기 위해서 Apache Common Daemon (http://commons.apache.org/proper/commons-daemon/) 프로젝트에 의존한다. 서비스 실행환경 하에서 사용자가 customizing하는 경우에 flexibility 보장하기 위해서 installation 파라미터를 수정하여 그에 따른 모든 파라미터들을 변경할 있다. 새로운 설정을 적용하려면 서비스를 재설치해야 한다.


[NOTE]

Customizable MSI installer 이용할 있도록 지원하는 커뮤니티도 있다.

https://github.com/salyh/elasticsearch-msi-installer (by Hendrik Saly)

받은 트랙백이 없고, 댓글이 없습니다.

댓글+트랙백 RSS :: http://www.yongbi.net/rss/response/710

Elasticservice OS에서 서비스로 실행하기 위해서, reboot / upgrade하는 동안 제공되는 패키지를 통해서 elasticsearch 쉽게 시작하고 종료할 있다.


Linux

현재 우리 빌드 시스템은 자동으로 데비안 패키지와 RPM 생성한다. 다운로드 페이지를 통해서 이용할 있다. 패키지는 특별히 의존관계를 갖지는 않는다. 하지만, JDK 설치되었는지 확인이 필요하다.


각각의 패키지는 다음 파라미터들로 설정 파일을 설정할 있다.


ES_USER : 실행 사용자. 기본 : elasticsearch

ES_GROUP : 실행 그룹. 기본 : elasticsearch

ES_HEAP_SIZE : 시작할 때의 Heap 메모리 크기

ES_HEAP_NEWSIZE : 새로 생성하는 Heap 메모리 크기

ES_DIRECT_SIZE : Maximum Direct Memory

MAX_OPEN_FILES : Open file 최대값. 기본 : 65535

MAX_LOCKED_MEMORY : 최대 lock 메모리 크기. bootstrap.mlockall 옵션을 elasticsearch.yml 사용하려면 "unlimited" 설정하라. 또한 ES_HEAP_SIZE 설정해야 한다.

MAX_MAP_COUNT : 하나의 Process 가질 있는 최대 memory map area 수. Mmapfs index store type으로 사용한다면 값을 높은 값으로 설정하라. 자세한 정보를 위해서는 max_map_count 대한 linux kernel documentation (https://github.com/torvalds/linux/blob/master/Documentation/sysctl/vm.txt) 확인하라. Elasticsearch 시작하기 전에 sysctl 통해서 설정할 있다. Default값은 65535이다.
LOG_DIR :
로그 디렉토리. Default /var/log/elasticsearch이다.

DATA_DIR : 데이터 디렉토리. Default /var/lib/elasticsearch이다.

WORK_DIR : Work 디렉토리. Default /tmp/elasticsearch이다.

CONF_DIR : 설정 파일 위치 디렉토리. (elasticsearch.yml logging.yml 파일이 있는 위치). Default /etc/elasticsearch이다.

CONF_FILE : 설정 파일 경로. Default /etc/elasticsearch/elasticsearch.yml이다.

ES_JAVA_OPTS : 추가적인 java options. Node.name property 추가하려고 한다면 아주 유용하게 사용할 있다. 하지만, puppet이나 chef 같은 provisioning system 통해서 배포되기 때문에 외에는 elasticsearch.yml 파일의 내용을 변경하지 말라. 예를 들어 다음과 같이 사용할 있다. ES_JAVA_OPTS="-Des.node.name=search-01"

RESTART_ON_UPGRADE : restart package upgrade 대한 설정. Default는 false이다. Package 설치한 이후, elasticsearch instance 수동으로 restart해야 한다. Cluster에서 upgrade 기능은 네트워크 트래픽을 증가시키고, cluster 전체적으로 response time 좋게 하기 때문이다.


Debian/Ubuntu

데비안 패키지에는 표준 데비안 업데이트 툴인 update-rc.d 실행하면 필요한 모든 것이 포함되어 있다. 실행 스크립트는 /etc/init.d/elasticsearch이다. 설정 파일은 /etc/default/elasticsearch 있다.

데비안 패키지는 기본적으로 service 시작하지는 않는다. 적합하게 설정되어 있지 않으면 갑작스럽게 cluster 참여하지 않도록 하기 위해서이다. dpkg -i 설치한 이후, 다음 command 사용하여 system 부팅할 , elasticsearch 시작할 있다.


sudo update-rc.d elasticsearch defaults 95 10
sudo
/etc/init.d/elasticsearch start


Installing the oracle JDK

일반적으로 추천하는 것은 Oracle JDK 환경에서 elasticsearch 구동하는 것이다. 그러나 Ubuntu Debian에는 라이선스 이슈로 OpenJDK 탑재되어 있다. 하지만 쉽게 oracle installer 이용해 설치할 있다. 데비안이나 리눅스 환경에서 add-apt-repositry command 사용하여 Debian Wheezy python-software-properties 설치되어 있는지 확인하라.


sudo add-apt-repository ppa:webupd8team/java
sudo apt
-get update
sudo apt
-get install oracle-java7-installer
java
-version


마지막 command 사용하여 Oracle JDK 성공적으로 설치되었는지 확인할 있다. Java 8 설치하려면 apt-get install oracle-java8-installer 통해서 설치할 있다.


RPM based distributions

Using chkconfig

Chkconfig 사용하여 RPM기반 배포파일을 얻을 있다. Init script /etc/init.d/elasticsearch 있다. 설정 파일은 /etc/sysconfig/elasticsearch 있다. 데비안처럼 RPM 패키지는 기본적으로 install이후 실행되지 않는다. 다음 command 통해서 수동으로 실행해야 한다.


sudo /sbin/chkconfig --add elasticsearch
sudo service elasticsearch start


Using systemd

SUSE 배포판에서는 서비스 등록을 위해서 chkconfig 사용할 없다. 서비스 실행과 종료를 위해서 systemd /bin/systemctl 사용한다.  (가장 최신 버전에서는 chkconfig command 사용할 있다.) 설정 파일은 /etc/sysconfig/elasticsearch 있다. RPM 설치 , systemd 설정을 변경하고 elasticsearch 실행해야 한다.


sudo /bin/systemctl daemon-reload
sudo
/bin/systemctl enable elasticsearch.service
sudo
/bin/systemctl start elasticsearch.service


/etc/sysconfig/elasticsearch 있는 MAX_MAP_COUNT 변경하는 것은 아무 효과가 없다. 시작시점에 변경된 값을 반영하려면 /usr/lib/sysctl.d/elasticsearch.conf 변경해야 한다는 것에 유의하라.

받은 트랙백이 없고, 댓글이 없습니다.

댓글+트랙백 RSS :: http://www.yongbi.net/rss/response/709

아, 오픈 소스!

Daily Memo 2015/04/24 16:51 용비
오늘날 오픈 소스를 보면 다양한 모습으로 서로 엮여 있다. 오픈 소스 기반으로 새로운 오픈 소스를 만드는가 하면, 오픈 소스끼리 엮어서 새로운 오픈 소스 스택을 만들기도 한다.

사실, 소프트웨어 스택으로 보면 End-to-End 모두를 하나의 소프트웨어로 만족시키기는 불가능에 가깝기 때문에 당연한 일일 것이다. 하지만, 뭔가 하나를 알려고 하면 들여다봐야할 오픈소스가 너무 많다.

Elasticsearch를 들여다 보니, 우선 Lucene에 대해서 알아야 하고, Solr에 대해서도 참고할 필요가 있다. ELK Stack에서는 로그를 수집하는 logstash, 사용자 화면 구성 자바스크립트인 kibana에 대해서도 알아야 한다. 그래서 이것저것 많이 들여다 보고 있는데, 갑자기 ELK stack을 대체하는 나만의 스택을 만들어 보고 싶어졌다.

회사에서 스터디 그룹 만들어서 3개월 정도 진행하면 활동비도 나오고 자기계발 시간으로 인정도 해준다고 하는데... 오픈 소스 스터디 그룹이나 만들어서 공부나 할까...-.-
받은 트랙백이 없고, 댓글이 없습니다.

댓글+트랙백 RSS :: http://www.yongbi.net/rss/response/708