토스 기술 블로그기업손가락 튕기기로 LLM 비용 줄이기
토스에서 늘어나는 LLM 비용을 빠르게 줄이는 방법을 소개합니다.
토스 기술 블로그
기업최근 글
머릿속에 있던 로그 정의 기준을 모두의 AI 스킬로 만들기
도구가 규칙을 검사하고 AI가 제안하면 사람이 확정해서, 누구나 같은 기준으로 로그를 정의해요
평균 CPU는 여유로운데, 커밋은 왜 느릴까?
NIC 인터럽트에서 찾은 병목
실행은 도메인별로, 문맥은 한 레포에
중앙 DW Airflow를 멈추지 않고 도메인별 DW로 나눈 9개월
토스뱅크가 패키지를 관리하는 방식 #2: 토스뱅크 패키지의 세 가지 기준
안정성, 예측 가능성, 디버깅 편의성. 패키지가 갖춰야 할 세 가지 기준과, 문법 변환과 번들링을 사용하는 서비스에 맡긴 이유를 소개해요.
토스뱅크가 패키지를 관리하는 방식 #1: 패키지를 ESM으로만 제공하기로 했어요
ESM과 CJS를 함께 제공할 때 생길 수 있는 상태 분리와 타입 누락 문제를 살펴보고, 패키지를 ESM-only로 전환한 이유를 소개해요.
Spark Connect on Kubernetes #2: Operator로 만드는 Control Plane
Spark 서버 하나의 기동과 복구부터, 여러 서버의 세션을 유지하는 교체까지. Kubernetes 위에 Spark Tenant Operator를 만든 과정을 소개합니다.
디자이너의 아이디어가 금융상품이 되기까지
요청받지 않은 경험 개선을, 팀이 출시할 이유로 바꾼 과정을 공유해요.
서비스 개발에 집중할 수 있는 AI 플랫폼 만들기
서비스 팀의 반복되는 고민을 줄여주는 토스의 AI 플랫폼을 소개합니다.
CPU 뼛속까지 써먹고, Milvus 사이징 기준을 만들기까지
검색 품질을 유지하며 같은 서버에서 처리량을 높인 토스증권의 Milvus 최적화 이야기
추천 후보는 많을수록 좋을까? TopK를 최적화해 전환율을 높인 방법
TopK를 감이 아닌 최적화로 정한 이야기
9인조 다람쥐 아이돌을 데뷔시켰습니다
가입하고 한 번도 열어보지 않던 적금을, 매일 열어보게 만들었어요.
연 300시간을 아낀 AI 상담 서비스
전화 문의를 줄이려다 사용자의 경험에서 답을 찾은 이야기예요.
방해하지 않고, 눈에 띌 수 있을까
CVR을 3배 높이면서도 사용자 경험을 놓치지 않기 위해 고민한 과정을 들려드려요.
쉼 없이 도는 테스트, 사람이 어디까지 돌봐야 할까요? - 토스닥터(Toss Doctor)
스스로 만들고 고치는 자동화, 토스닥터 V2를 다시 만든 이야기
도메인 지식 없는 디자이너가 팀의 기준을 바꾼 방법
은행 지식이 없던 디자이너가 규제가 가득한 도메인에서 어떻게 팀의 기준을 바꿨는지 이야기해 보려고 해요.
사용자를 위해 일부러 어렵게 만드는 경험, 어디까지 괜찮을까?
10대를 위한 잠금 저금통을 만들며 찾은 ‘좋은 불편함’의 기준을 공유합니다.
리더보드 1등 LLM, 토스에서도 1등일까? - Toss Benchmark 구축기
Toss의 AI 기반 서비스에 적합한 LLM이 무엇인지 평가하는 Toss Benchmark 구축기
토스증권이 GPU-aware를 넘어 GPU-native 클러스터를 구축한 방법
토스증권이 Kubernetes GPU 클러스터의 운영 한계를 해결한 방법
App Router의 장점은 우리에게도 장점일까요?
App Router가 토스뱅크에도 좋은 선택일지, 직접 측정한 결과와 도입 여부를 판단한 기준을 공유해요.
AI가 팀 규칙을 지키도록 하는 방법
Coding Agent를 위한 Stylepack
2. Beyond Our Expertise
This is the story of how we turned Technical Writers’ challenges and expertise into a product called "todoc", and how the process helped us take that expertise even further.
1. Creating a Role That Didn’t Exist Before
Learn how Toss’s Technical Writers have expanded their role from writing documentation to designing knowledge systems for the organization.
How Documents Find Developers at Toss
The Toss Frontend team no longer has to dig through documents to find what they need. We’re building an environment where developers can get immediate answers to their questions through docs and AI. H…
AI가 만든 코드가 어드민이 되기까지
실시간으로 생성되는 코드를 어드민 화면으로 보여 주기 위해, 개발 환경을 브라우저 안으로 옮긴 이야기를 소개해요.
1%가 겪은 버그 고쳐야할까요?
점진 배포와 핫픽스의 모순 속에서, 판단을 만든 이야기
토스증권 추천과 검색은 어떻게 진화하고 있을까?
안녕하세요, 토스증권 AI 데이터 플랫폼 팀에서 ML 엔지니어로 일하고 있는 황호익입니다. 이번 글에서는 토스증권 안에서 추천과 검색이 어떤 방향으로 진화하고 있는지 이야기해보려고 해요. 추천은 어떻게 배치 중심에서 실시간 개인화로 바뀌고 있는지, 검색은 어떻게 키워드와 필터를 넘어 RAG와 그래프 RAG로 확장되고 있는지 순서대로 다룰게요. 완성된 정답이…
LLM 서빙, 띄우는 것과 잘 띄우는 것 사이
비어 있는 캐시, 완벽한 알리바이, 사라진 처리량
전체 데이터를 브라우저에 두는 광고 대시보드 만들기
서버가 하던 필터링·정렬·검색·페이지네이션을 브라우저로 옮겼더니, 속도뿐 아니라 손대지 못하던 문제 네 개가 같이 풀렸습니다.
토스는 어떻게 광고 속에 게임을 넣었을까
토스에서 게임 광고를 받기 위해 MRAID 기반 플레이어블 광고 SDK를 직접 만든 이야기를 소개해요.