OCR API를 호출하면 안에서 무슨 일이 일어날까 - 백엔드 개발자를 위한 OCR 원리
OCR은 글자를 찾는 검출과 글자를 읽는 인식, 두 단계로 나뉜다. 고전 OCR에서 딥러닝 OCR까지 원리를 따라가고, CLOVA OCR로 계약서의 민감정보를 가린 뒤 VLM에 넘기는 방법과 VLM이 OCR과 다른 점을 살펴본다.
블로그
LLM API 게이트웨이 - OpenRouter, LiteLLM, Cloudflare 비교
LLM API 게이트웨이는 OpenAI, Anthropic, Gemini 호출의 형식과 장애 대응, 키와 비용을 한곳에 모은다. OpenRouter, LiteLLM, Cloudflare의 지연, fallback, 캐시, 팀 예산을 비교한다.
동시에 들어온 예약을 막는 방법 - PostgreSQL EXCLUDE 제약조건
같은 회의실, 겹치는 시간의 예약이 동시에 들어올 때 PostgreSQL의 EXCLUDE 제약조건으로 하나만 받아들이는 방법과 그 원리를 정리했다.
AI 캐시가 제값을 하려면
AI API의 캐시 히트는 저장된 답을 돌려주는 응답 캐시가 아니라 입력 앞부분의 KV를 재사용하는 것이다. 쓰기 비용을 넣은 본전 적중률과, 에이전트 입력의 97.6%가 캐시 읽기였던 실측을 살펴본다.
LiteLLM 프록시 모니터링 - Admin UI로 충분한 것과 Grafana, Langfuse가 있어야 보이는 것
LiteLLM 프록시에 Prometheus, Grafana, Langfuse를 붙이고 같은 mock 트래픽을 14분간 흘렸다. Admin UI로 충분한 지점과, 시계열·알림·트레이스를 어떤 순서로 붙이는지 정리했다.