탕구리's 블로그

사전의 전말...ㅠㅡㅜ 오늘은 fluentd(td-agent)를 사용하여 생각지도 못한 부분에 대해 통수 맞았던 내용을 정리하려 한다. 사건의 발단은 이렇다 내가 업무를 진행하며 로그 관리 및 처리를 위해 구성한 파이프 라인에서 로그를 전송하는 과정에서 밀림 현상이 발생하고 있었고 그걸 이제야 알아차렸다는 것... ㅜㅡㅜ 절망적이다. 내가 구성한 파이프라인은 아래와 같다. "웹 서버" -> "로그 생성" -> "td-agent 1차 처리" -> "s3 전송" -> "aws athena" 여러 개의 웹 서버에서 발생된 로그 파일들을 aws s3에 수집하여 로그를 통합적으로 관리하는 것이 목표였다. 통합 관리를 진행해야 로그를 통해 필요한 데이터를 찾을 때 좀 더 효율적이었고 로그 관리에 대한 부분도 반드시..