ELK7 ELK - Logstash 1 : 로그스태시 filter 필터는 입력 플러그인이 받은 데이터를 의미있는 데이터로 구조화하는 역할을 한다. 로그스태시 필터는 비정형 데이터를 정형화하고 데이터 분석을 위한 구조를 잡아준다. 입력으로 받은 데이터를 로그스태시 필터를 사용하여 필요한 정보만 추출하거나 형태를 변환하고 부족한 정보는 추가하는 등 전반적인 데이터 정제/가공 작업을 할 수 있다. 필터 역시 플러그인 형태이며, 입력과 비슷하게 다양한 필터 플러그인들이 존재한다. 자주 사용되는 필터 플러그인을 몇가지 사용해보자. 필터 플러그인 설명 grok grok 패턴을 사용하여 메시지를 구조화된 형태로 분석한다. grok 패턴은 일반적인 정규식과 유사하지만, 추가적으로 미리 정의된 패턴이나 필드 이름 설정, 데이터 타입 정의 등을 도와준다. dissect 간단한 패턴을 사.. 2023. 6. 22. ELK - Logstash 1 : 로그스태시란 로그스태시란 로그스태시는 플러그인 기반의 오픈소스 데이터 처리 파이프라인 도구이다. 복잡한 데이터 전처리 과정을 별도의 애플리케이션 작성 없이 간단한게 설정만으로 수행할 수 있다. 즉 데이터를 저장하기 전에 사용자가 원하는 형태로 변경할 수 있는 강력한 기능을 제공한다. 로그스태시는 비츠, 로그스태시, 엘라스틱서치, 키바나를 이용해 데이터를 수집-변환-저장-시각화 하는 서비스를 구상할 때 데이터를 저장하기 전에 원하는 형태로 가공하는 역할을 한다. 수집 - 변환 - 저장 - 시각화 로그스태시는 비츠를 포함한 여러 소스 파일을 입력으로 받을 수 있고, 데이터를 수정/삭제/추가해 엘라스틱서치나 다른 시스템으로 데이터를 전송할 수 있다. 로그스태시 특징 • 플러그인 기반 로그스태시의 파이프라인을 구성하는 각 .. 2023. 6. 21. 엘라스틱 스택 엘라스틱 스택 줄여서 ELK는 Elastic Search, Logstash, Kibana 3가지 기술 스택을 말한다. 해당 스택은 빅데이터 파이프라인을 구성하기 위한 데이터 수집, 가공, 저장, 분석, 시각화에 필요한 모든 소프트웨어를 갖추고 있다고 할 수 있다. 이들 스택의 각 역할을 간단히 말한다면 로그 스태시가 데이터를 수집하고, 엘라스틱 서치는 데이터를 저장하고 검색이 가능한 엔진을 제공한다. 마지막으로 키바나는 이들 데이터의 시각화를 담당한다. 이들 각 스택에 대해 간단하게 알아보자. 1. 엘라스틱 서치 : 분산 검색 엔진 엘라스틱 서치는 검색 엔진이다. 검색 엔진: 내부적으로 각 도큐먼트를 인덱싱하고 빠르게 검색하는 데 사용되는 기술 모든 레코드들을 JSON 도큐먼트 형태로 관리. 일반적인 데.. 2023. 6. 19. 이전 1 2 다음
