LLM API 게이트웨이 - OpenRouter, LiteLLM, Cloudflare 비교
LLM API 게이트웨이는 OpenAI, Anthropic, Gemini 호출의 형식과 장애 대응, 키와 비용을 한곳에 모은다. OpenRouter, LiteLLM, Cloudflare의 지연, fallback, 캐시, 팀 예산을 비교한다.
litellm
글 3편
AI 캐시가 제값을 하려면
AI API의 캐시 히트는 저장된 답을 돌려주는 응답 캐시가 아니라 입력 앞부분의 KV를 재사용하는 것이다. 쓰기 비용을 넣은 본전 적중률과, 에이전트 입력의 97.6%가 캐시 읽기였던 실측을 살펴본다.
LiteLLM 프록시 모니터링 - Admin UI로 충분한 것과 Grafana, Langfuse가 있어야 보이는 것
LiteLLM 프록시에 Prometheus, Grafana, Langfuse를 붙이고 같은 mock 트래픽을 14분간 흘렸다. Admin UI로 충분한 지점과, 시계열·알림·트레이스를 어떤 순서로 붙이는지 정리했다.