LogSystem
-
Kibana 설치 및 사용법LogSystem 2016. 7. 21. 20:46
Kibana설치$ docker pull kibana $ docker run --link some-elasticsearch:elasticsearch -d kibana # default로 kibana를 실행시키는 명령어 $ docker run --link some-elasticsearch:elasticsearch -d kibana --plugins /somewhere/else # flag를 추가해 kibana를 실행시키는 명령어 $ docker run --name some-kibana --link some-elasticsearch:elasticsearch -p 5601:5601 -d kibana # 해당 이미지의 기본포트는 5601 따라서 5601 포트를 host 포트와 바인딩 $ docker run --n..
-
Logstash 설치 및 사용법LogSystem 2016. 7. 14. 11:13
Log Stash설치$ docker pull logstash $ docker run -it --rm logstash logstash -e 'input { stdin { } } output { stdout { } }' # 커맨드라인 상에서 실행을 하려면 다음과 같이 사용 $ docker run -it --rm -v "$PWD":/config-dir logstash logstash -f /config-dir/logstash.conf # logstash.conf파일을 직접 수정해 커맨드라인 상에서 실행을 하고자 할 때 (elasticsearch와 통신할 수 있는지 확인해봐야함)문법logstash는 입출력 도구이며, input > filter > output 의 pipeline구조로 이루어져 있습니다. 이러한 ..
-
Elasticsearch 설치 및 사용법LogSystem 2016. 7. 14. 11:12
Elastic Search설치$ docker pull elasticsearch # 이미지 다운로드 $ docker run -d -p 9200:9200 --name elastic elasticsearch # 기본세팅으로 바로 실행 $ docker run -d -p 9200:9200 --name elastic elasticsearch elasticsearch -Des.node.name="TestNode" # 옆과 같이 flag를 달 수 있음 $ docker run -d -p 9200:9200 --name elastic -v "$PWD/config":/usr/share/elasticsearch/config elasticsearch # 수정한 config파일을 적용하여 컨테이너를 실행할 때 $ docker ru..
-
ELK와 스플렁크LogSystem 2015. 11. 14. 21:18
스플렁크 개요Splunk는 모든 머신 데이터를 실시간으로 collecting하고 Indexing하고 Reporting하는 End-to-End Solution. 모든 머신 데이터를 제한 없이 처리 할 수 있습니다. 사용자가 원하는 데이터를 즉시 분석할수 있으며, 원하는 Reporter, Dashboard를 추가적인 개발없이 구성 할 수 있습니다.또한 통계적 명령들을 조합하여 여러가지 Query문으로 Search가 가능하며 Query문의 자동완성 기능까지 갖추고 있어 사용하기 매우 편리합니다. 하지만 상당히 높은 가격대가 높다는 단점이 있습니다. 특징머신 데이터(machine data)를 강력한 통찰력으로 변환 모든 소스의 머신 데이터(machine data)를 실시간으로 수집하고 인덱싱합니다. 이를 통해 ..
-
루씬(Lucene)이란?LogSystem 2015. 11. 14. 21:18
1) 소개루씬(Lucene)은 자바로 개발된 오픈소스 정보검색(IR, Information Retrieval) 라이브러리입니다. 루씬은 강력한 기능을 포함하고 간단해서 많은 IT업계에서 사용하고 있습니다.루씬은 독립된 프로그램이 아닌 소프트웨어 라이브러리이기 때문에 루씬을 설치 후, 바로 검색서비스를 실행할 수 있는 것이 아닌, 사용자가 루씬 라이브러리를 사용해 검색서비스, 어플리케이션을 구현해야 합니다.루씬을 사용할 때, 검색에 대한 전문적인 지식을 반드시 알 필요가 없고, 꼭 필요한 몇 가지 클래스들의 사용법만 익히면 색인과 검색 기능을 직접 추가할 수 있습니다. 2) Indexing과 검색이 적용 가능한 사례이메일 검색: 저장된 메시지를 검색할 수 있고 새로 도착한 메시지를 색인에 추가할 수 있는 ..
-
Full text index란?LogSystem 2015. 11. 14. 21:18
Full text index는 full text serach를 위한 index입니다. 예를 하나 들면, 아래 예시 1)과 같은 내용을 어떠한 게시판에서 검색하려고 한다고 가정합니다. Full Text Index가 무엇인가요?그냥 index로 찾는 것과 차이가 뭔가요??예시 1) 만약 게시판에 'index'가 들어가 있는 본문 + 내용이 많다라고 하면 'index' 글자가 들어있는 레코드를 찾으려면 검색 속도가 현저히 떨어집니다.. 그렇다고 내용 필드에 index(정규인덱스)를 심어놔도 이 검색은 전혀 index를 사용하지 못하는 꼴이 됩니다,예를 들어, SELECT id FROM board WHERE Content LIKE "%index%" 이런식으로 쿼리를 만들어 사용한다고 하면 모든 행의 문자열을 검..
-
노드 생성, 동작 원리 및 shard란?LogSystem 2015. 11. 14. 21:17
1) 노드의 생성 및 동작 원리 사용자가 하나의 머신에서 Elasicsearch를 시작하게 되면, 하나의 Elasticsearch 노드가 생성되며, 이 노드는 동일한 네트워크 상에서 같은 클러스터명을 같는 클러스터가 존재하는 지를 찾게 됩니다. 만약, 연결(join)될 수 있는 클러스터가 없다면 이 노드는 스스로 클러스터를 생성하게 되고, 만약 클러스터가 존재한다면 해당 클러스터에 연결됩니다.새로운 클러스터가 생성되었다면, 노드에는 아직 어떠한 인덱스도 존재하지 않는 상태이며, 새로운 인덱스를 생성할 때 인덱스를 몇 개의 shard로 나누어 저장할 것인지를 정의할 수 있습니다. Shard의 개수를 따로 지정하지 않는다면, Elasticsearch의 기본 shard 개수인 5개로 데이터가 나누어져 저장됩니..
-
Elastic search란?LogSystem 2015. 11. 14. 21:17
1) 소개 Elastic search는 아파치의 Lucene 기반으로 개발한 오픈소스 실시간 분산 검색 엔진(서버)으로 JSON 기반의 비정형 데이터 분산 검색과 분석을 지원합니다. 설치와 서버확장이 매우 편리하다는 장점과 실시간 검색 서비스 지원, 분산 및 병렬 처리 그리고 멀티테넌시 기능을 제공하며, 다양한 기능을 플러그인 형태로 구현하여 적용할 수 있는 것이 큰 특징입니다. 아마존 웹 서비스의 클라우드 서비스와 빅 데이터 처리를 위한 하둡 연동도 지원하고 있습니다. 또한 분산시스템이기 때문에 검색 대상의 용량이 증가했을 때, 대응하기가 수월하다는 장점이 있습니다.Elastic search는 현재 웹 문서 검색, 소셜 데이터 분석, 쇼핑몰 검색 등 다양한 서비스에서 사용되고 있으며, 앞으로도 중•소규..