Recent Posts
Recent Comments
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
Tags
- 쿠버네티스 컨트롤러
- fluentd
- Site Reliability engineering
- Reducer
- #api 문서화
- #Swagger-codegen
- ecs
- IP
- 프로세스 통신
- Kubernetes
- AWS
- docker
- javascript
- Redux
- 모캠
- action
- #Swagger-editor
- 모두의캠퍼스
- 쿠버네티스
- React
- 북딜
- SRE
- React.js
- 카카오게임즈
- 기술PM
- #스웨거
- server
- #Swagger-ui
- #Swagger
- 프로세스
반응형
Archives
- Today
- Total
반응형
목록flush_thread_count (1)
탕구리's 블로그
Fluentd 구조 & 삽질 후기
사전의 전말...ㅠㅡㅜ 오늘은 fluentd(td-agent)를 사용하여 생각지도 못한 부분에 대해 통수 맞았던 내용을 정리하려 한다. 사건의 발단은 이렇다 내가 업무를 진행하며 로그 관리 및 처리를 위해 구성한 파이프 라인에서 로그를 전송하는 과정에서 밀림 현상이 발생하고 있었고 그걸 이제야 알아차렸다는 것... ㅜㅡㅜ 절망적이다. 내가 구성한 파이프라인은 아래와 같다. "웹 서버" -> "로그 생성" -> "td-agent 1차 처리" -> "s3 전송" -> "aws athena" 여러 개의 웹 서버에서 발생된 로그 파일들을 aws s3에 수집하여 로그를 통합적으로 관리하는 것이 목표였다. 통합 관리를 진행해야 로그를 통해 필요한 데이터를 찾을 때 좀 더 효율적이었고 로그 관리에 대한 부분도 반드시..
회사생활/카겜 HISTORY
2021. 6. 5. 21:36
반응형