적용 사유 이전에는 ELK를 사용할때 nginx로그 수집을 filebeat로 했었다. 그런 이유는 아래와 같다. 1. 구축난의도가 쉽다. (kibana 접속하여 "add data" 들어갈경우 자세하게 알려줌) 2. 모듈형식이라 유지보수할게 거의 없다. 3. 메모리를 적게 사용한다. (사실 이럴경우 flunted, flunted-bit를 사용하면 되지만 설정값을 찾는게 어려웠다. 또한 설치된 앱의 이름이 실제 td-agent 라서 실제 구축한 사람이 아니면 다른사람들은 기억하기 어려울수 있다 생각했다.) 그러나 nginx 로그를 logstash로 변경한 이유는 아래와 같다. 1. aws의 Amazon opensearch service (구 Amazon elasticsearch) 로 서비스를 옮기면서 ope..

이번 처음으로 aws elasticsearch를 이용하여 ELK 스택을 구성해 보았고 기본적으로 사용하는 elastic의 elasticsearch(https://www.elastic.co/kr/) 과 다른점이 있었다 그것에 대해 정리를 해볼려 한다. 확실한건 나는 elasticsarch를 많이 써보지 않았기도 하고 aws는 이번에 처음 접해보는것이라 틀린점이 많을것이다. 그렇기에 그런부분에 지적을해준다면 정말 감사히 생각하니 많으 지적과 말씀을 부탁한다. 차이점 aws elasticsearch는 elastic의 elasticsarch가 아니라 Open Distro for Elasticsearch(https://opendistro.github.io/for-elasticsearch/)를 쓴다. elastic..

ELK 란? ELK란 Elasticsearch, Logstah, Kibana 각각 앞자리를 따서 ELK라고 합니다. 요즘은 EFK로 많이 쓰는데 있는데 EFK는 Elasticsearch, Fluentd 또는 Filebeat, Kibana를 말합니다. ELK를 사용하게 된 이유 이전에는 서버가 1개 였는데 LB를 사용하게 되면서 서버를 총 6개로 늘림. 그렇게 되다보니 nginx로그랑 앱 로그를 확인하기가 어려워 지는경우가 발생 구축하는 방법 환경 : vm 서버(vCPU 2 core, memory 8GB, storage 80GB) OS : ubuntu 20.04 LTS 중요사항 : elasticsearch 7버전대를 설치하는 이유는 최신버전인것도 있지만 xpack이 7버전부터 일부 무료가 되었다. 로그서버..