OCR API를 호출하면 안에서 무슨 일이 일어날까 - 백엔드 개발자를 위한 OCR 원리
OCR은 글자를 찾는 검출과 글자를 읽는 인식, 두 단계로 나뉜다. 고전 OCR에서 딥러닝 OCR까지 원리를 따라가고, CLOVA OCR로 계약서의 민감정보를 가린 뒤 VLM에 넘기는 방법과 VLM이 OCR과 다른 점을 살펴본다.
llm
글 5편
LLM API 게이트웨이 - OpenRouter, LiteLLM, Cloudflare 비교
LLM API 게이트웨이는 OpenAI, Anthropic, Gemini 호출의 형식과 장애 대응, 키와 비용을 한곳에 모은다. OpenRouter, LiteLLM, Cloudflare의 지연, fallback, 캐시, 팀 예산을 비교한다.
AI 캐시가 제값을 하려면
AI API의 캐시 히트는 저장된 답을 돌려주는 응답 캐시가 아니라 입력 앞부분의 KV를 재사용하는 것이다. 쓰기 비용을 넣은 본전 적중률과, 에이전트 입력의 97.6%가 캐시 읽기였던 실측을 살펴본다.
LiteLLM 프록시 모니터링 - Admin UI로 충분한 것과 Grafana, Langfuse가 있어야 보이는 것
LiteLLM 프록시에 Prometheus, Grafana, Langfuse를 붙이고 같은 mock 트래픽을 14분간 흘렸다. Admin UI로 충분한 지점과, 시계열·알림·트레이스를 어떤 순서로 붙이는지 정리했다.
MCP 서버가 메모리 6.7GB를 먹길래 프록시를 만들었다
세션마다 복제되는 stdio MCP 서버가 프로세스 169개, 메모리 6.7GB를 차지하고 있었다. 프록시로 프로세스를 공유하게 만들어 줄였는데, 만들고 나니 더 큰 질문이 남았다. 이 서버들, 지금도 MCP여야 하나?