ELK/logstash4 모니터링 로그스태시에서 모니터링을 하는 방법에는 두가지가 있음 1. 로그스태시가 제공하는 API를 활용하여 특정 시점의 통계 정보를 얻는 방법 2. 모니터링 기능을 활성화하여 지속적인 통계 정보를 수집하고, 키바나를 통해 대시보드 형태로 연속적인 모니터링을 수행하는 방법 하나씩 해보자. 1. API를 활용하는 방법 로그스태시 정보 가져오기 curl -XGET "localhost:9600?pretty" 결과는 아래와 같다. { "host" : "ichan-yeong-ui-MacBookPro.local", "version" : "8.8.1", "http_address" : "127.0.0.1:9600", "id" : "e878ac8b-e9ce-4ad3-b266-90a14946f49f", "name" : "ichan-.. 2023. 7. 3. ELK - Logstash 1 : 로그스태시 output 출력 출력은 필터를 거쳐 가공된 데이터를 지정한 대상으로 내보내는 단계이다. 출력 역시 입력, 필터 플러그인 처럼 다양한 플러그인을 가지고 있다. 주로 사용되는 플러그인은 elasticsearch, file, kafka와 같은 출력 플러그인들이 있다. 엘라스틱 서치 플러그인을 사용해보자. 반드시 엘라스틱 서치를 먼저 실행시켜야한다. 먼저 logstash-test.conf 파일을 아래와 같이 수정한다. input { file { path => "로그 파일 경로" start_position => "beginning" sincedb_path => "nul" } } output { file { path => "로그스태시 경로/output.json" } elasticsearch { index => "output".. 2023. 6. 28. ELK - Logstash 1 : 로그스태시 filter 필터는 입력 플러그인이 받은 데이터를 의미있는 데이터로 구조화하는 역할을 한다. 로그스태시 필터는 비정형 데이터를 정형화하고 데이터 분석을 위한 구조를 잡아준다. 입력으로 받은 데이터를 로그스태시 필터를 사용하여 필요한 정보만 추출하거나 형태를 변환하고 부족한 정보는 추가하는 등 전반적인 데이터 정제/가공 작업을 할 수 있다. 필터 역시 플러그인 형태이며, 입력과 비슷하게 다양한 필터 플러그인들이 존재한다. 자주 사용되는 필터 플러그인을 몇가지 사용해보자. 필터 플러그인 설명 grok grok 패턴을 사용하여 메시지를 구조화된 형태로 분석한다. grok 패턴은 일반적인 정규식과 유사하지만, 추가적으로 미리 정의된 패턴이나 필드 이름 설정, 데이터 타입 정의 등을 도와준다. dissect 간단한 패턴을 사.. 2023. 6. 22. ELK - Logstash 1 : 로그스태시란 로그스태시란 로그스태시는 플러그인 기반의 오픈소스 데이터 처리 파이프라인 도구이다. 복잡한 데이터 전처리 과정을 별도의 애플리케이션 작성 없이 간단한게 설정만으로 수행할 수 있다. 즉 데이터를 저장하기 전에 사용자가 원하는 형태로 변경할 수 있는 강력한 기능을 제공한다. 로그스태시는 비츠, 로그스태시, 엘라스틱서치, 키바나를 이용해 데이터를 수집-변환-저장-시각화 하는 서비스를 구상할 때 데이터를 저장하기 전에 원하는 형태로 가공하는 역할을 한다. 수집 - 변환 - 저장 - 시각화 로그스태시는 비츠를 포함한 여러 소스 파일을 입력으로 받을 수 있고, 데이터를 수정/삭제/추가해 엘라스틱서치나 다른 시스템으로 데이터를 전송할 수 있다. 로그스태시 특징 • 플러그인 기반 로그스태시의 파이프라인을 구성하는 각 .. 2023. 6. 21. 이전 1 다음
