크리두 Story

Logging Tool ResearchLogging이란, 프로그램을 개발하거나 운영할 때 생기는 문제점을 관리하고 모니터링 할수 있는 데이터를 말함.Logging Tool은 애플리케이션 또는 시스템에서 발생하는 이벤트, 동작, 오류 등의 정보를 기록하고 저장하는 도구이다. 주로 개발 및 운영 환경에서 사용되며, 애플리케이션의 동작을 추적하고 디버깅하는데 사용된다.Logging, 바로 시스템을 모니터링 하는 데이터를 어떻게 구성하고 저장할 것인지에 대해서 생각해봐야한다.타사의 사례를 일단 참조하여 Tool을 정하고 기능을 분석하여 알맞은 선택에 도움을 줄 것이라고 본다.타사 사례회사명 Tool Link Summary리멤버AWS CloudWatch, New Relichttps://blog.dramancomp..

Ops/Monitoring 2024. 10. 23. 15:46

1.1 Elasticsearch란 Elasticsearch는 Apache Lucene에 구축되어 배포된 검색 및 분석 엔진입니다. 2010년에 릴리스되기 시작한 이후로 Elasticsearch는 빠르게 인기 검색 엔진이 되었으며 로그 분석, 전체 텍스트 검색, 보안 인텔리전스, 비즈니스 분석 및 운영 인텔리전스 사용 사례에 일반적으로 사용되었습니다. 클러스터를 추가하여 부하 분산에 이용하기가 용이한 점이 큰 특징이다. 주로 웹 문서 검색, 소셜 데이터 분석, 쇼핑몰 검색 등에 활용되고 있으며, 빅데이터 분석/처리 및 MSA 환경의 로그 모니터링 등에도 활용되고 있다. 1.2 특징 준실시간 검색 엔진 실시간으로 생각이 들 만큼 index 한 데이터가 굉장히 빠르게 검색된다. 클러스터 구성 (고가용성) 한 ..

Ops/Monitoring 2021. 12. 16. 13:28

Logrotate란? 리눅스 서버를 관리하기 위해 log를 다들 열심히 남깁니다. 서버 상태 또는 디버깅, 장애를 대비하기 위해 남기도록 설정하지만 서비스를 오래 운영하다보면 엄청난 양이 쌓이게 됩니다. 로그의 양이 너무 많아지면 서비스를 위한 서버가 필요한 resource들이 부족해지는 문제 또는 여러 영향이 있기 때문에 logrotate를 통해 관리를 하게 됩니다. 기능 여러 개의 로그 파일을 동시에 관리 rotate 수 설정 압축 로테이트 전/후로 스크립트를 실행 Logrotate 실행 logrotate.conf 구조 전체 구조는 아래와 같으며 하나씩 구조를 파악해보자. # see "man logrotate" for details # rotate log files weekly weekly # kee..

Ops/Monitoring 2020. 11. 3. 19:08

https://sketchofcreed.tistory.com/entry/fluentd-%EC%84%A4%EC%B9%98-%EB%B0%8F-%EB%8F%84%EC%BB%A4%ED%99%94-CentOS-7 @type record_modifier remove_keys date, time, encoding, length host "#{Socket.gethostname}" key agent expression /^$/ replace - key referer expression /^$/ replace - - @type record_modifier config 파일 체크 ( --dry-run 옵션 추가) fluentd --dry-run -c fluent.conf td-agent-gem install fluent-p..

Ops/Monitoring 2020. 4. 7. 11:45

도커 사용해서 모니터링 페이지 만들기 dockprom 이용 git clone https://github.com/stefanprodan/dockprom.git https://github.com/stefanprodan/dockprom stefanprodan/dockprom Docker hosts and containers monitoring with Prometheus, Grafana, cAdvisor, NodeExporter and AlertManager - stefanprodan/dockprom github.com Prerequisites: Docker Engine >= 1.13 Docker Compose >= 1.11 Containers 구성 Prometheus (metrics database) htt..

Ops/Monitoring 2020. 2. 18. 11:53

공식 사이트 https://www.fluentd.org/ Fluentd | Open Source Data Collector "Logs are streams, not files. I love that Fluentd puts this concept front-and-center, with a developer-friendly approach for distributed systems logging." Adam Wiggins, Heroku co-founder www.fluentd.org Supported Platforms Treasure Data, Inc. maintains stable packages for Fluentd and canonical plugins as Treasure Agent (the pac..

Ops/Monitoring 2020. 1. 10. 15:05

Configuration 컨피그 설정 $ sudo vi /etc/td-agent/td-agent.conf 도커 ::: term docker run -ti --rm -v /path/to/dir:/fluentd/etc fluentd -c /fluentd/etc/ -v [Host가 Linux or MacOS인 경우] 1) Host의 localtime을 설정한다 (올바르게 설정되어 있다면 바로 2번으로 넘어가자) ln -sf /usr/share/zoneinfo/Asia/Seoul /etc/localtime 2) Host의 localtime 파일을 (ro)읽기전용으로 바인딩하고 Docker Container를 실행한다. docker run -v /etc/localtime:/etc/localtime:ro 기타옵션들..

Ops/Monitoring 2020. 1. 10. 15:03

모니터링 오픈 소스 중 리얼타임 로그를 얻기 위한 Collector를 찾는 중 Fluentbit를 찾게되었다. 시스템 정보들이나 로그들을 real-time으로 얼마나 가볍게 빠르고 정확하게 모아서 쌓는가가 초점인거 같다. 최종 목표는 도커화하여 쿠버네티스로 배포하는 버전까지 세팅하는 것이다. 아래는 공식 사이트이며 전반적으로 읽어보는 것이 좋다. 어떤 프로그램이든 자료가 없는 경우 읽어서 알아보는 능력이 필요하기 때문이다. fluentbit 공식 사이트 https://fluentbit.io/ Fluent Bit Configuration The service use a simple and human-readable configuration file, it allow to specify how it will..

Ops/Monitoring 2020. 1. 7. 19:38