와탭랩스 블로그기업장애 때 필요한 로그를 바로 찾으려면? 로그 설정 가이드
장애 때 필요한 로그를 바로 찾으려면 APM이나 트레이싱 도구가 요청마다 만드는 trace_id를 로그 한 줄마다 찍도록 로그 형식을 설정해야 합니다. 도구가 MDC에 넣은 값을 로그 패턴이 꺼내는 원리, Spring Boot와 OpenTelemetry Java 에이전트 설정, 비동기 작업 로그에서 trace_id가 빠질 때 해결 방법을 정리합니다.
와탭랩스 블로그
기업최근 글
- 와탭랩스 블로그기업
- 와탭랩스 블로그기업
GPU 사용률 100%면 성능을 다 쓰는 걸까? SM Active 확인 방법
GPU 사용률 100%는 GPU 성능을 다 쓴다는 뜻이 아니라, 측정 구간 내내 계산 작업이 하나 이상 실행됐다는 뜻입니다. dcgmi dmon으로 GPU-Util과 SM Active를 나란히 출력해, 전체 SM이 얼마나 활성 상태였는지 NVIDIA 기준값으로 읽는 방법을 정리했습니다.
- 와탭랩스 블로그기업
쿠버네티스 파드 Pending 원인, FailedScheduling 메시지로 구분하는 방법
파드가 Pending에 머물면 kubectl describe pod의 FailedScheduling 메시지에 스케줄러가 노드를 고르지 못한 이유가 노드 수와 함께 남습니다. 먼저 실행할 kubectl 명령과 메시지 문구별로 확인할 설정을 정리하고, 리소스 부족, 노드 선택 조건, 테인트, PVC, 쿼터 가운데 어디를 고칠지 정하는 순서를 다룹니다.
- 와탭랩스 블로그기업
로그와 트레이스 연결이란, trace_id로 요청별 로그 찾기
로그와 트레이스 연결은 로그 한 줄마다 그 로그를 남긴 요청의 트레이스를 식별하는 고유 값인 trace_id를 함께 기록하는 일입니다. trace_id와 span_id, correlation id의 차이를 정리하고, 장애 때 trace_id로 요청 하나의 로그를 찾는 순서를 다룹니다.
- 와탭랩스 블로그기업
MTTR, MTBF, MTTD, MTTF 뜻과 차이, 계산법까지
MTTD, MTTR, MTBF, MTTF가 장애 타임라인에서 각각 어느 구간을 측정하는지 정리하고, 한 달치 장애 기록으로 네 지표와 가용성을 직접 계산해 봤습니다. MTTR과 MTBF, MTBF와 MTTF의 차이와 평균값을 읽을 때 주의할 점도 담았습니다.
- 와탭랩스 블로그기업
OOMKilled와 Exit Code 137 원인과 해결 방법
Exit Code 137은 프로세스가 SIGKILL로 강제 종료됐다는 뜻이고, 메모리 문제인지는 Reason 칸의 OOMKilled로 확인합니다. kubectl 명령 세 개로 종료 사유와 메모리 사용량을 확인하고, 종료 패턴으로 원인을 좁혀 limits, 힙 설정, replicas 가운데 무엇을 고칠지 정하는 순서를 정리했습니다.
- 와탭랩스 블로그기업
Java GC 로그 보는 법, GC 일시정지로 응답 지연 원인 찾기
응답시간이 몇 분에 한 번씩 튈 때 GC가 원인인지는 GC 로그의 정지 시각과 정지 시간을 응답 지연 시각에 맞춰 보면 판단할 수 있습니다. jstat과 jcmd로 상태를 확인하고, GC 로그를 켜서 읽은 뒤 Full GC 반복과 메모리 누수 신호를 가려내는 진단 순서를 담았습니다.
- 와탭랩스 블로그기업
정적 임계값과 동적 기준선 차이, 이상 탐지 알림 설계
정적 임계값은 사람이 정한 고정 값으로, 동적 기준선은 과거 같은 시간대의 분포로 알림 여부를 판단합니다. 두 방식의 장단점과 동적 기준선의 학습 기간, 예외 처리, 서서히 나빠지는 변화 문제, 지표별로 둘을 섞어 쓰는 설계 방법을 정리했습니다.
- 와탭랩스 블로그기업
LLM API 토큰 사용량 확인하는 3가지 방법
LLM 토큰 사용량은 제공사 콘솔과 API 응답 본문, 응답 헤더 세 곳에서 확인할 수 있고 곳마다 알 수 있는 값이 다릅니다. 세 곳의 차이, 요청 수 한도와 토큰 한도가 따로 적용되는 이유, 호출마다 기록할 값을 정리했습니다.
- 와탭랩스 블로그기업
하이퍼바이저란? 뜻과 종류, Type 1과 Type 2 차이
하이퍼바이저의 뜻과 Type 1, Type 2 차이, 가상 머신과 컨테이너가 다른 점을 정리했습니다. 하이퍼바이저가 자원을 나눠 줄 때 생기는 대기를 게스트와 호스트에서 각각 어떤 값으로 확인하는지도 함께 담았습니다.
- 와탭랩스 블로그기업
RTO와 RPO란? 뜻과 차이, 재해복구(DR) 전략까지
RTO는 장애 뒤 서비스를 다시 돌려놓기까지 허용하는 최대 시간이고, RPO는 잃어도 되는 데이터의 최대 범위를 시간으로 나타낸 값입니다. 두 값을 업무 영향에서 계산하는 방법과 백업부터 멀티 리전까지 재해복구 전략별로 맞출 수 있는 RTO와 RPO를 정리했습니다.
- 와탭랩스 블로그기업
VMware 모니터링이란? VM이 느릴 때 확인해야 할 호스트 지표
가상 머신에 할당한 몫과 실제로 쓴 물리 자원은 다릅니다. 게스트 지표에 안 잡히는 호스트 지표 다섯 가지와 증상별로 먼저 볼 곳을 정리했습니다.
- 와탭랩스 블로그기업
AI 에이전트 감사 로그, 사람과 에이전트 구분하기
AI 에이전트에 사용자 토큰을 그대로 넘기면 감사 로그에서 사람과 에이전트를 구분할 수 없고 권한도 필요 이상으로 열립니다. 에이전트에 자체 신원을 주고 위임을 따로 싣는 설계와, 감사 로그에 남겨야 할 항목을 정리했습니다.
- 와탭랩스 블로그기업
쿠버네티스 GPU 할당의 혁신: 노드 전체 격리 없이 장애 GPU만 제어하기
쿠버네티스 v1.37에서 GPU 한 장만 골라 격리하는 DRA 디바이스 테인트가 정식 기능이 됐고, 여러 파드를 한 단위로 배치해 최소 수량을 보장하는 갱 스케줄링이 베타로 올라왔습니다. 두 기능의 동작 방식과 실제 설정, 쓰기 전에 갖춰야 할 조건을 정리합니다.
- 와탭랩스 블로그기업
Continuous Profiling이란? CPU 병목을 코드 단위로 찾는 방법
Continuous Profiling은 실행 중인 애플리케이션의 스택을 주기적으로 수집해 어느 코드가 자원을 쓰는지 남기는 방식입니다. OpenTelemetry가 이를 네 번째 시그널로 표준화하는 중이며 2026년 3월 공개 알파에 들어갔습니다.
- 와탭랩스 블로그기업
502 Bad Gateway 원인과 nginx 에러 로그 구분법
502 Bad Gateway는 게이트웨이가 업스트림에서 정상적인 HTTP 응답을 받지 못했을 때 반환하는 상태 코드입니다. nginx가 직접 만든 502인지 업스트림이 반환한 502를 전달한 것인지 구분하고, 에러 로그 문구별 원인과 실패 범위에 따라 확인할 곳을 나눠 정리했습니다.
- 와탭랩스 블로그기업
GPU 비용 절감 방법과 사용률·유휴 GPU 확인 순서
GPU 비용을 설명하려면 이미 사 둔 GPU를 얼마나 쓰고 있는지부터 숫자로 만들어야 합니다. 가동률·유휴·비용 배분 세 숫자를 만드는 방법과 그 과정에서 어긋나기 쉬운 지점을 정리했습니다.
- 와탭랩스 블로그기업
디스크가 여유 있는데 No space left on device가 뜨는 이유와 해결 방법
디스크 사용률이 40%대인데 파일이 만들어지지 않는 경우가 있습니다. No space left on device의 원인은 블록 부족만이 아니라 inode 고갈, 삭제됐는데 프로세스가 붙잡고 있는 파일까지 세 가지입니다. df -h, df -i, lsof 순으로 좁히는 절차를 정리했습니다.
- 와탭랩스 블로그기업
eBPF 모니터링이란? 코드 수정 없이 쿠버네티스 옵저버빌리티 구축하기
eBPF 무계측 수집은 코드를 고치지 않고 프로세스 밖에서 프로토콜 단위 데이터를 얻습니다. 대신 커널 버전과 높은 권한을 요구하며, 애플리케이션 내부의 업무 맥락까지 자동으로 알아내지는 못합니다. 공식 문서에 적힌 제약을 근거로 에이전트·SDK 계측과의 차이와 상황별 선택 기준을 정리했습니다.
- 와탭랩스 블로그기업
429 Too Many Requests 원인과 해결 방법
429 Too Many Requests는 정해진 시간 안에 보낸 요청이 한도를 넘었을 때 서버가 돌려주는 HTTP 상태 코드입니다. 429의 뜻과 발생 상황, 503과의 차이, 어느 계층과 어떤 한도에 걸렸는지 확인하는 순서, 확인 결과별로 고칠 곳을 정리했습니다.
- 와탭랩스 블로그기업
리눅스 CPU 사용률이 높은 이유와 확인 방법
리눅스에서 CPU 사용률은 어딘가에서 벌어진 일이 겉으로 드러난 결과 값입니다. 알림을 받고 바로 실행할 명령 다섯 개와 결과별 다음 단계를 앞에 두고, 상위 프로세스와 Java 스레드 덤프, 디스크 병목, 컨테이너 스로틀링을 차례로 좁히는 순서를 정리했습니다.
- 와탭랩스 블로그기업
504 Gateway Timeout 원인과 해결 방법
504 Gateway Timeout은 게이트웨이가 애플리케이션 응답을 제때 받지 못해 연결을 끊은 오류입니다. 에러 로그로 연결 실패와 응답 지연을 가른 뒤 애플리케이션·DB·외부 호출·네트워크 가운데 어디서 시간이 걸렸는지 좁히는 6단계 해결 순서를 담았습니다.
- 와탭랩스 블로그기업
API 응답 시간이 느린 이유 7가지와 진단 순서
API가 느려지는 원인은 애플리케이션·DB·외부 호출·인프라·네트워크 어디에나 있습니다. 요청 경로를 순서대로 따라가며 어느 구간에서 시간이 새는지 먼저 좁히는 진단 방법을 원인 7가지로 정리했습니다.
- 와탭랩스 블로그기업
로그 레벨 종류와 순서, ERROR·WARN 차이와 구조화 로깅
로그 레벨은 로그 한 줄이 얼마나 급한 일인지를 단계로 표시해 둔 값입니다. TRACE부터 FATAL까지의 순서와 표준별 대응 관계, 어느 레벨에 무엇을 남길지 정하는 기준, 그리고 로그를 JSON으로 남기는 구조화 로깅의 효과와 대가를 정리합니다.
- 와탭랩스 블로그기업
LLM 프롬프트 로그 개인정보 마스킹과 비식별화 가이드
프롬프트와 응답을 로그로 남기면 사용자가 입력한 이름과 연락처가 함께 저장됩니다. 프롬프트는 자유 텍스트라 어디에 무엇이 적혔는지 미리 알 수 없어, 정규식과 개체명 인식으로 걸러 내고 저장 범위와 보관 기간으로 남는 위험을 줄입니다.
- 와탭랩스 블로그기업
LLM 답변 품질 평가 방법과 LLM-as-a-Judge 활용법
사람이 프롬프트와 응답을 전수로 읽을 수 없게 되면 답변 품질을 자동으로 채점해야 합니다. 형식과 금지어는 규칙으로 세고 사실성과 톤은 다른 모델에게 채점을 맡기는데, 판정자 모델에도 순서 편향과 자기 편애가 보고돼 있어 사람이 점수를 매겨 둔 기준 표본으로 계속 맞춰 봐야 합니다.
- 와탭랩스 블로그기업
LLM API 비용이 급증하는 3가지 원인과 토큰 비용 절감 방법
사용자 수는 그대로인데 LLM API 청구 금액이 두 배가 됩니다. LLM API 비용은 호출 하나에 담긴 토큰이 많아지거나 요청 하나가 여러 호출로 번질 때 늘어납니다. 대화 이력 누적, 캐시 적중률 하락, 재시도와 에이전트 루프라는 원인 3개를 나눠 보고 원인별 절감 방법과 기록해야 할 값을 정리했습니다.
- 와탭랩스 블로그기업
AI 모델 드리프트란? LLM 성능 저하 원인과 탐지 방법
배포도 프롬프트도 그대로인데 지난달과 답이 다릅니다. 모델을 그대로 두었는데 품질이 떨어지는 모델 드리프트와, 제공사가 모델을 새 버전으로 바꾼 경우는 증상이 같아 보이지만 다릅니다. 세부 버전과 출력 지표를 함께 남겨 두어야 어느 쪽인지 가려낼 수 있습니다.
- 와탭랩스 블로그기업
AI 게이트웨이란? API 게이트웨이, MCP 게이트웨이와 무엇이 다를까
하나의 사용자 요청 안에서 모델 호출과 도구 호출이 어떻게 나뉘는지에서 출발해, AI 게이트웨이와 MCP 게이트웨이가 각각 무엇을 통제하는지 정리했습니다. API 게이트웨이와의 차이, 각각 필요한 상황, 함께 사용할 때의 구조, 옵저버빌리티와의 역할 구분까지 다룹니다.
- 와탭랩스 블로그기업
모니터링 비용을 수집 단에서 줄이는 법
모니터링 비용은 관측 데이터를 백엔드에 다 넣고 나서 줄이는 것보다 넣기 전에 거르는 편이 비용이 적게 듭니다. 샘플링·필터링·보존 티어 등 다섯 가지 방법을 각각 무엇을 잃는지와 함께 정리했습니다.
