탕구리's 블로그

사전의 전말...ㅠㅡㅜ 오늘은 fluentd(td-agent)를 사용하여 생각지도 못한 부분에 대해 통수 맞았던 내용을 정리하려 한다. 사건의 발단은 이렇다 내가 업무를 진행하며 로그 관리 및 처리를 위해 구성한 파이프 라인에서 로그를 전송하는 과정에서 밀림 현상이 발생하고 있었고 그걸 이제야 알아차렸다는 것... ㅜㅡㅜ 절망적이다. 내가 구성한 파이프라인은 아래와 같다. "웹 서버" -> "로그 생성" -> "td-agent 1차 처리" -> "s3 전송" -> "aws athena" 여러 개의 웹 서버에서 발생된 로그 파일들을 aws s3에 수집하여 로그를 통합적으로 관리하는 것이 목표였다. 통합 관리를 진행해야 로그를 통해 필요한 데이터를 찾을 때 좀 더 효율적이었고 로그 관리에 대한 부분도 반드시..

게임서버들이 남기고 전송하는 로그들의 종류 게임서버 에러 로그 현재 : 서버 로컬에 파일로 남겨서 ELK로 전송 or S3를 통해 공유 플랫폼으로 전송하는 각종 로그 현재 : 게임서버에서 https 프로토콜로 플랫폼에 전송 게임로그 디비로 전송하는 게임 로그 현재 : 게임서버에서 로그디비로 인서트 고민 유저들에게 직접적으로 영향이 없는 게임데이터를 제외한 로그 전송 파이프라인을 하나로 통합 할 수는 없을까? 일반 로그를 https로 플랫폼에 전송 할 때 게임서버에 걸리는 부하를 줄이고 싶음. 게임서버 입장에서는 플랫폼 로그와 게임로그를 2중으로 남겨야 하는 부담감이 있음 게임서버에 남기는 모든 로그들의 형식을 공통화 하여 모든 게임들에서 일관된 로그 컬렉팅을 할 수 있게. 1. fluentd fluent..

fluentd Docker image 생성 알파인 기반의 이미지는 플러그인 설치가 불가능 데비안 기반의 이미지에 커스텀 도커라이징 진행 이미지에 설치한 플러그인 리스트 elasticsearch output-http mysql-bulk Dockerfile FROM fluent/fluentd:v1.11-debian-1 # Use root account to use apt USER root # below RUN includes plugin as examples elasticsearch is not required # you may customize including plugins as you wish RUN buildDeps="sudo make gcc g++ libc-dev" \ && apt-get updat..