Airflow 3의 새벽 배치를 멈춘 건 JWT가 아니라 OOM이었다
Airflow 2.7.3 → 3.2.2 전환 후 약 두 달간 운영하다 만난 장애 대응 기록입니다. 장애 발생 후 로그 상에서 JWT Signature has expired를 확인했지만, 좀 더 내용을 확인해 보니 결과적으로는 호스트의 Out Of Memory였으며, Prefork와 컨테이너 메모리 튜닝을 거쳐, 마지막으로 DAG Version 폭증 (dat…
롯데ON 기술 블로그
기업최근 글
롯데ON 기술 블로그기업
AI 기반 온라인 서비스 24X7 즉시 대응 체계 구축
들어가며 롯데ON은 WhaTap, Datadog, Grafana 등 으로 시스템을 모니터링하고, Slack을 통해 실시간 알림을 수신하는 관제 환경을 운영 중입니다. 주중 업무 시간에는 각 담당자들이 실시간 알림을 확인하고 대응하지만 야간/휴일에는 신속한 대응이 어려우므로 모니터링 운영 요원을 24 시간 운영하고 있었습니다. 모니터링 운영 요원은 약 100…
Agentic AI — RCA 에이전트 ‘SentryOn’ 도입기 (feat. Strands SDK)
Generated By ChatGPT Image 2.0 안녕하세요. 롯데e커머스 TechOps팀에서 DevOps 직무를 맡고있는 신우주입니다. 최근 플랫폼 엔지니어링의 운영 트렌드는 단연 ‘AI를 활용한 자동화 플랫폼 구축’ 이라고 생각합니다. 롯데온에서도 이러한 흐름에 맞춰 SRE 성격의 AI 에이전트를 운영 중인데요. 이번 글에서는 서비스 장애 발생 시…
AskON: 코드를 검색 가능한 지식으로
개발자라면 “이 정책이 코드에서는 어떻게 구현되어 있나요?”라는 질문을 한번쯤 받아보셨을 겁니다. 문서는 없거나 오래되었고, 코드에서 찾다가 시간이 훌쩍 지나가버립니다. AskON은 이러한 고민에서 출발한 RAG 기반 코드 지식화 플랫폼 입니다. 1. 들어가며 AskON은 대규모 코드베이스를 구조적으로 인덱싱 하고, RAG(Retrieval-Augmente…
DynamoDB야 진정해! Kafka와 Redis로 구현하는 실시간 역압력 아키텍처 구축기
안녕하세요. 롯데ON Product Developer 박재현 입니다. 데이터베이스를 공유 자원으로 다양한 서버에서 이를 활용하다 보면 처리량에 우선순위를 둬야할 필요가 있습니다. 이번 시간에는 AWS DynamoDB 사용 환경에서 Kafka와 Redis를 활용하여 실시간으로 DB의 부하를 감지해 이에 대한 처리량을 제어하는 아키텍처를 구축해 본 사례를 공유…
Batch Scheduler 내재화 — OnQuartz 개발 여정
롯데ON은 최근 오랜 기간 사용해 온 외부 Batch Scheduler 솔루션을 내재화하였습니다. 이 글에서는 솔루션을 대체하던 과정은 물론, 실제 운영 환경에서 안정성을 확보하기까지의 시행착오와 최종 구조를 공유해 드리고자 합니다. 목차 목표 Quartz Scheduler 설정 최종 아키텍처 시행착오 마치며 1. 목표 외부 솔루션은 다양한 기능을 제공한다…
AI로 로그인 이상 징후 탐지하기: AWS Bedrock 기반 로그인 보안 관제 자동화
안녕하세요 롯데ON Product Developer 이상원입니다. 기존의 크리덴셜 스터핑 모니터링 프로세스가 가진 비효율과 실시간 분석의 어려움을 해결하기 위해 AI 기반 로그인 보안 관제 자동화 시스템 을 설계하고 도입하게 되었습니다. 이번 포스팅에서는 AWS Bedrock을 활용해 크리덴셜 스터핑 공격과 다 계정 어뷰징 케이스를 자동으로 분석하고 유형을…
Slack Command를 통한 Jira–GitLab 연동 기능 개발기
들어가며 롯데 ON에서는 Jira 로 업무를 관리하고 GitLab 으로 코드 버전을 관리하고 있습니다. 운영 배포는 티켓 기반으로 진행되는데 대상 프로젝트가 많을수록 아래와 같은 불편함이 커졌습니다. 반복 수작업 : 티켓 생성, 브랜치/태그 관리, 상태 변경, 머지 작업 등 단계마다 수동 처리 휴먼 에러 가능성 : 태그 생성 또는 머지 누락, 티켓 내 정보…
롯데ON의 실시간 이미지 처리 (a.k.a LLIS — LotteOn Live Image Service) 자체구축기
롯데ON의 실시간 이미지 처리 (a.k.a LLIS — LotteOn Live Image Service) 자체구축기 LLIS — Lotte Live Image Service 들어가며 롯데ON 다양한 영역의 상품 이미지들 롯데ON에서는 매일 수많은 상품 이미지와 기술서가 등록되고, 이 데이터들은 고객의 쇼핑 경험에 직접적인 영향을 줍니다. 그러나 기존의 외부…
AOP와 MDC로 구현하는 보급형 APM - 인터페이스 이력 관리부터 호출 추적까지
안녕하세요. 롯데ON Product Developer 이채민입니다. 기존 시스템에서 이력을 남기지 않아 불편함이 생겨 인터페이스 이력 관리 시스템을 도입했는데요. 이 작업이 왜 필요한지, 그리고 이 과정에서 겪은 시행착오와 해결 방법은 무엇인지를 중심으로 이야기를 나누려고 합니다. 목차 인터페이스 이력이란? 인터페이스 이력을 남기는 이유 사전 지식 시스템…
에러? 1초 만에 잡아드립니다 - AOP와 Redis로 구축한 실시간 알림 시스템
안녕하세요. 롯데ON Product Developer 이채민입니다. 기존 에러 알림 시스템에 불편함이 생겨 실시간 에러 알림 시스템을 도입했는데요. 기존 시스템과 어떤 차이점이 있는지, 그리고 어떤 점이 개선되었는지 이야기를 나누려고 합니다. 목차 실시간 에러 알림 시스템이란? 실시간 에러 알림이 필요한 이유 기존 시스템의 한계 및 개선점 도출 시스템 흐름…
롯데ON 통합 인증(OKTA) 도입여정
롯데ON 시스템 통합 인증을 위한 OKTA 도입기 급변하는 디지털 환경에서 사용자 계정 관리와 보안은 그 어느 때보다 중요한 과제가 되었습니다. 특히 다양한 사내 시스템과 사용자 계정이 분산되어 있는 환경에서 효율적인 계정 관리와 통합 인증의 필요성이 커지고 있었죠. 롯데ON도 마찬가지로 50개 이상의 사내 시스템 이 존재하였고 각 시스템에서 사용자 계정을…