Mapa mental de AI Gateway: LiteLLM, Bifrost, Portkey, AgentCore Gateway, Azure API Management y Apigee, con casos de uso
Un único punto de control entre tus aplicaciones, agentes y cada proveedor de modelos: por qué lo necesitas, qué hace, los gateways de código abierto que alojas tú, los servicios de AWS, Azure y Google Cloud, y los escenarios en los que encaja cada uno.
Por qué un gateway
Un punto de control
- Qué es
- Un AI gateway es una capa proxy entre tus aplicaciones, agentes y clientes MCP por un lado y los proveedores de modelos y herramientas por el otro. En lugar de que cada servicio guarde sus propias credenciales de OpenAI, Anthropic, Gemini o Bedrock, todo llama a un único endpoint que autentica, enruta, limita, cachea y registra.
- Cuándo usarlo
- En cuanto más de una aplicación o equipo llama a modelos, o hay más de un proveedor en juego.
Claves dispersas
Claves en todas partes
- Qué es
- Sin gateway, cada microservicio, notebook y agente guarda claves de API de proveedores; rotar una obliga a redesplegar muchos servicios y una clave filtrada no tiene dueño. Un gateway guarda las claves del proveedor en un solo sitio y reparte sus propias claves con alcance limitado.
- Cuándo usarlo
- Revisiones de seguridad que preguntan quién puede llamar a qué modelo con qué clave.
Una sola API
Compatible con OpenAI
- Qué es
- La mayoría de gateways exponen un endpoint compatible con OpenAI (algunos también la API Messages de Anthropic) y traducen al formato de cada proveedor, así que cambiar de modelo es cambiar un nombre, no un SDK.
- Cuándo usarlo
- Equipos que quieren probar un modelo nuevo sin tocar el código de la aplicación.
Atribución de costes
Gasto por equipo y app
- Qué es
- Las facturas del proveedor muestran un total. El gateway registra tokens y coste por clave, usuario, equipo o etiqueta, para que finanzas pueda repercutir costes e ingeniería vea qué funcionalidad consume el presupuesto.
- Cuándo usarlo
- Repercusión interna de costes, facturación por cliente en un SaaS, alertas de presupuesto.
Conmutación por error
Caídas y errores 429
- Qué es
- Los proveedores limitan peticiones (HTTP 429), se degradan y retiran modelos. El gateway reintenta, mueve la petición a otro despliegue, región o proveedor, y abre un circuit breaker ante un backend enfermo para que las aplicaciones sigan respondiendo.
- Cuándo usarlo
- Asistentes de cara al cliente con un objetivo de disponibilidad.
Gobierno y auditoría
Políticas en un sitio
- Qué es
- Qué modelos están aprobados, qué datos pueden salir de la red, qué se registra y durante cuánto tiempo: un gateway lo aplica una vez para todos en lugar de confiar en que cada equipo lo implemente.
- Cuándo usarlo
- Empresas reguladas y cualquier política de IA que haya que demostrar ante un auditor.
Dispersión de agentes y MCP
Herramientas con puerta
- Qué es
- Los agentes llaman a servidores MCP, API internas y otros agentes además de a modelos. Los gateways ya cubren también ese tráfico: un endpoint MCP autenticado, permisos por herramienta, credenciales de salida inyectadas para cada herramienta y registro de cada llamada.
- Cuándo usarlo
- Más de un puñado de servidores MCP, o agentes que actúan en nombre de usuarios.
- Ángulo de IA
- La búsqueda semántica de herramientas mantiene los prompts pequeños cuando un agente puede usar cientos de herramientas.
No es un gestor de secretos
Combínalo con un vault
- Qué es
- Un gateway enruta peticiones y aplica políticas de acceso; no es automáticamente el lugar donde deben vivir las credenciales del proveedor. Guárdalas en HashiCorp Vault, AWS Secrets Manager o Azure Key Vault, o usa identidades administradas, y deja que el gateway las lea al arrancar.
- Cuándo usarlo
- Cualquier despliegue en producción: la base de datos del gateway nunca debe ser la única copia de una clave del proveedor.
Capacidades clave
Qué hace un gateway
- Qué es
- El conjunto de funciones común a los gateways de código abierto y en la nube: identidad y claves, límites y presupuestos, enrutado y resiliencia, caché, seguridad, observabilidad y proxy de herramientas. La disponibilidad cambia según producto, versión y nivel de pago.
- Cuándo usarlo
- Úsalo como lista de comprobación al comparar gateways.
Claves virtuales
Claves con alcance
- Qué es
- El gateway emite sus propias claves, cada una limitada a ciertos modelos, un presupuesto y límites de velocidad, y asignada a un usuario o equipo. Revocar una nunca afecta a la clave del proveedor que hay detrás. En LiteLLM necesitan una clave maestra y una base de datos Postgres.
- Cuándo usarlo
- Una clave por aplicación, por entorno y por desarrollador.
- En código
curl http://localhost:4000/key/generate \ -H "Authorization: Bearer $LITELLM_MASTER_KEY" \ -d '{"models": ["smart"], "max_budget": 50, "budget_duration": "30d", "tpm_limit": 100000}'
Límites de velocidad
Peticiones y tokens
- Qué es
- Límites de peticiones por minuto (RPM) y tokens por minuto (TPM) por clave, equipo o IP, para que una aplicación no agote la cuota compartida del proveedor. Los límites por tokens cuentan los tokens del prompt y de la respuesta, no solo las llamadas.
- Cuándo usarlo
- Varias aplicaciones que comparten un despliegue aprovisionado o una cuenta de proveedor.
Presupuestos de tokens
Topes de gasto
- Qué es
- Un tope de gasto o de tokens por clave, usuario o equipo durante un periodo (diario, mensual). Al agotarse, el gateway rechaza nuevas peticiones; Vercel AI Gateway, por ejemplo, responde HTTP 402 y documenta sus presupuestos como topes blandos.
- Cuándo usarlo
- Hackathons, pruebas, agentes de programación para muchos desarrolladores, planes por cliente.
Enrutado y balanceo
Elegir el backend
- Qué es
- Repartir el tráfico entre varios despliegues, claves, regiones o proveedores: round-robin, ponderado, por prioridad (primero la capacidad prepagada) o por latencia, y en algunos gateways un enrutado que elige modelo para cada prompt.
- Cuándo usarlo
- Llenar la capacidad aprovisionada antes de pasar a pago por uso.
Reintentos y respaldos
Sobrevivir a errores
- Qué es
- Reintentos acotados ante timeouts y errores 429, después una cadena de respaldo hacia otro despliegue o modelo, con un circuit breaker que deja de enviar tráfico a un backend que falla durante un tiempo.
- Cuándo usarlo
- Cualquier flujo de cara al usuario; evalúa el modelo de respaldo, no te limites a configurarlo.
Caché exacta
Misma petición, cero coste
- Qué es
- Las peticiones idénticas se responden desde una caché (a menudo Redis) en lugar del proveedor: cero tokens y latencia de milisegundos. Distinta de la caché de prompts del proveedor, que solo abarata un prefijo de prompt repetido.
- Cuándo usarlo
- Repeticiones de evaluaciones, clasificación determinista, prompts repetidos de FAQ.
Caché semántica
Prompt similar, reutiliza
- Qué es
- El prompt se convierte en embedding y se compara con prompts anteriores; por encima de un umbral de similitud se devuelve la respuesta guardada. Ahorra tokens en preguntas reformuladas, pero puede devolver una respuesta equivocada si el umbral es laxo.
- Cuándo usarlo
- Preguntas de soporte de gran volumen; nunca para respuestas personales o que dependen del momento.
- Ángulo de IA
- Ajusta el umbral con tráfico real y separa la caché por cliente.
Guardarraíles y PII
Filtrar entrada y salida
- Qué es
- Comprobaciones de prompts y respuestas en el gateway: detección de inyección de prompts y jailbreaks, temas prohibidos, moderación de contenido y anonimización de datos personales antes de llegar al proveedor. A menudo se delega en Bedrock Guardrails, Azure AI Content Safety, Model Armor o un guardián de terceros.
- Cuándo usarlo
- Chatbots abiertos al público, datos personales en tickets de soporte, asesoramiento regulado.
Registros, métricas, trazas
Tokens, latencia, coste
- Qué es
- Cada petición registrada con modelo, proveedor, tokens, latencia, estado y coste; métricas exportadas a Prometheus, Azure Monitor o CloudWatch; spans de OpenTelemetry para que una llamada al modelo aparezca dentro de la traza de la petición que la provocó.
- Cuándo usarlo
- Depurar respuestas lentas, planificar capacidad, paneles de costes.
Alias de modelos
"smart", "fast", "cheap"
- Qué es
- Las aplicaciones piden un nombre lógico y el gateway lo traduce a un modelo concreto del proveedor. Actualizar o sustituir un modelo pasa a ser un cambio de configuración del gateway, y un modelo retirado nunca rompe una aplicación.
- Cuándo usarlo
- Actualizaciones de modelo y pruebas A/B sin redesplegar aplicaciones.
- En código
model_list: - model_name: smart litellm_params: model: anthropic/<model-id> api_key: os.environ/ANTHROPIC_API_KEY - model_name: smart litellm_params: model: bedrock/<model-id>
Proxy de MCP y A2A
Herramientas detrás
- Qué es
- Los gateways ya exponen servidores MCP (y API entre agentes) por la misma puerta que los modelos: un endpoint que agrega herramientas, autentica a quien llama, aplica reglas de acceso por herramienta y registra cada llamada. LiteLLM, Bifrost, Portkey, Kong, Azure API Management, Apigee y AgentCore Gateway lo documentan.
- Cuándo usarlo
- Agentes que necesitan API internas como herramientas sin que cada agente guarde credenciales.
Código abierto, autoalojado
En tu propia VPC
- Qué es
- Gateways que despliegas tú (Docker, Kubernetes, una VM): los prompts y registros se quedan en tu red y pagas cómputo, no por petición. La mayoría siguen un modelo open core, con SSO, RBAC avanzado o algunos guardarraíles en una edición enterprise de pago.
- Cuándo usarlo
- Datos que no deben pasar por un gateway de terceros, multicloud, o muchos proveedores a la vez.
LiteLLM
El mejor punto de partida
- Qué es
- El SDK de Python y servidor proxy de BerriAI: más de 100 proveedores de LLM tras el formato de OpenAI, claves virtuales, seguimiento de gasto por clave, usuario y equipo, presupuestos y límites, router con reintentos y respaldos, caché, guardarraíles, una interfaz de administración, gateways MCP y A2A, y registro hacia Langfuse, MLflow y otros. Las funciones enterprise van con licencia comercial.
- Cuándo usarlo
- Equipos de IA centrados en Python que quieren la mayor cobertura de proveedores y empezar rápido.
- En código
docker run -p 4000:4000 -v ./config.yaml:/app/config.yaml \ ghcr.io/berriai/litellm:v1.83.0-stable --config /app/config.yaml- Cifras clave
- Prueba del fabricante: 8 ms de latencia P95 a 1.000 peticiones por segundo.Fuente: LiteLLM README
Bifrost
Go, poca sobrecarga
- Qué es
- El gateway de Maxim escrito en Go con licencia Apache 2.0: una API compatible con OpenAI sobre más de 23 proveedores, conmutación por error y balanceo automáticos entre claves y proveedores, caché semántica, soporte MCP, claves virtuales con presupuestos y límites, métricas de Prometheus y trazas, y una interfaz web. Sustituye a los SDK de OpenAI, Anthropic y Google GenAI cambiando la URL base.
- Cuándo usarlo
- Flujos de producción de alto volumen donde la sobrecarga del gateway debe quedarse en microsegundos.
- En código
npx -y @maximhq/bifrost docker run -p 8080:8080 maximhq/bifrost- Cifras clave
- Prueba del fabricante: 11 µs añadidos por petición a 5.000 peticiones por segundo sostenidas en una AWS t3.xlarge.Fuente: Bifrost README
Portkey Gateway
TypeScript, para edge
- Qué es
- El gateway de Portkey en TypeScript con licencia MIT: enrutado a más de 1.600 modelos de más de 45 proveedores, respaldos, hasta cinco reintentos automáticos, balanceo, timeouts, guardarraíles de entrada y salida, caché simple y un gateway MCP aparte. Se ejecuta con npx, Docker, Node.js o Cloudflare Workers; la caché semántica y la gestión de prompts están en el producto alojado o enterprise, que Portkey dice que se fusiona con el código abierto en su versión 2.0.
- Cuándo usarlo
- Stacks de JavaScript, despliegues en el edge y equipos que quieren guardarraíles integrados.
- En código
npx @portkey-ai/gateway # http://localhost:8787/v1- Cifras clave
- Según el fabricante: menos de 1 ms de latencia y 122 KB de tamaño.Fuente: Portkey Gateway README
Agent Router (Envoy AI Gateway)
Nativo de Kubernetes
- Qué es
- El plano de control para tráfico de IA y agentes construido sobre Envoy y Envoy Gateway, con licencia Apache 2.0. Se llamó Envoy AI Gateway hasta septiembre de 2026, cuando se unió a la Agentic AI Foundation como Agent Router con el mismo código, mantenedores y nombres de CRD. Una API compatible con OpenAI para proveedores alojados, inferencia autoalojada y servidores MCP; los equipos de plataforma gestionan credenciales, enrutado, cuotas, conmutación por error y atribución de uso.
- Cuándo usarlo
- Equipos de plataforma que ya usan Envoy o la Gateway API de Kubernetes.
- En código
aigw run # OpenAI-compatible router on localhost:1975
Apache APISIX
API gateway + IA
- Qué es
- Un API gateway de alto rendimiento cuyo plugin ai-proxy traduce una configuración al formato de cada proveedor (OpenAI, Anthropic, Gemini, Vertex AI, Bedrock, DeepSeek, OpenRouter, cualquier endpoint compatible con OpenAI) y registra tokens y tiempo hasta el primer token. Plugins complementarios: ai-proxy-multi, ai-cache, ai-rate-limiting, ai-prompt-guard, ai-rag y moderación de contenido.
- Cuándo usarlo
- Empresas que ya usan APISIX para sus API REST y quieren un único gateway para ambos.
Kong AI Gateway
Kong + políticas de IA
- Qué es
- La capa de IA de Kong: entidades AI Model y Provider para el enrutado, AI Consumer Groups para presupuestos de tokens por equipo, una entidad AI MCP Server que expone API como herramientas, y políticas como AI Prompt Guard, AI Semantic Cache, AI Sanitizer (PII), AI Rate Limiting Advanced y conectores a AWS Guardrails, Azure Content Safety y Model Armor. Comprueba qué plugins incluye tu licencia de Kong.
- Cuándo usarlo
- Empresas con Kong que quieren el tráfico de IA bajo las mismas políticas y portal que sus API.
Modelos autoalojados detrás
vLLM, Ollama, SGLang
- Qué es
- vLLM, SGLang y Ollama sirven modelos de pesos abiertos en endpoints compatibles con OpenAI, así que el gateway los trata como un proveedor más: envía el tráfico sensible al modelo local y el resto a una API frontera, con las mismas claves y registros.
- Cuándo usarlo
- Montajes híbridos: datos privados en tus GPU, razonamiento difícil en una API frontera.
AWSBedrock + AgentCore
- Qué es
- En AWS el papel del gateway se reparte: Amazon Bedrock da una API, IAM y CloudTrail sobre muchas familias de modelos; Bedrock Guardrails filtra contenido; AgentCore Gateway sirve de puerta a herramientas, agentes y proveedores de modelos para los agentes; y AWS publica una guía basada en LiteLLM para un gateway multiproveedor autogestionado.
- Cuándo usarlo
- Cargas que ya están en AWS y quieren IAM, endpoints de VPC y CloudTrail para el tráfico de IA.
Amazon BedrockMuchos modelos, una API
- Qué es
- Acceso gestionado a modelos fundacionales de varios fabricantes a través de una API de AWS (Converse), con permisos IAM por modelo, endpoints privados de VPC, registro en CloudTrail y cuotas por cuenta. Es un servicio de modelos, no un gateway completo: los presupuestos por equipo y los proveedores fuera de AWS necesitan algo delante.
- Cuándo usarlo
- La capa de modelos por defecto para equipos nativos de AWS.
Inferencia entre regiones
Geográfica o global
- Qué es
- Los perfiles de inferencia dejan que Bedrock elija la región que atiende cada petición: un perfil geográfico mantiene el procesamiento dentro de EE. UU., la UE o APAC, y uno global enruta a cualquier región comercial. El tráfico se queda en la red de AWS y CloudTrail registra dónde se ejecutó cada petición.
- Cuándo usarlo
- Capacidad para picos; perfiles geográficos cuando aplica la residencia de datos.
- Cifras clave
- Sin coste adicional de enrutado; los perfiles globales cuestan alrededor de un 10% menos que los geográficos.Fuente: AWS docs, Cross-Region inference
Bedrock Guardrails
Filtros de entrada, salida
- Qué es
- Salvaguardas configurables sobre prompts y respuestas: filtros de contenido (odio, insultos, sexual, violencia, conducta indebida, ataque de prompt), temas prohibidos, filtros de palabras, bloqueo o enmascarado de PII, comprobaciones de anclaje contextual y comprobaciones de razonamiento automatizado. La API ApplyGuardrail las ejecuta sin invocar un modelo de Bedrock.
- Cuándo usarlo
- Una política de seguridad reutilizada por un gateway delante de cualquier modelo, no solo los de Bedrock.
AgentCore Gateway
Agentes a herramientas
- Qué es
- Un AI gateway totalmente gestionado para tráfico de agentes: convierte API, funciones Lambda y servicios en herramientas MCP, hace de puerta a otros agentes y servicios HTTP (incluido A2A) y enruta la inferencia entre proveedores de modelos con un único endpoint de enrutado por modelo. Gestiona la autenticación de entrada (quién es el agente) y la de salida (credenciales de cada herramienta) y es serverless con observabilidad integrada.
- Cuándo usarlo
- Agentes en AWS que necesitan API de la empresa y herramientas SaaS sin código de integración propio.
Destinos del gateway
OpenAPI, Lambda, MCP
- Qué es
- Los destinos pueden ser funciones Lambda, API REST de API Gateway, especificaciones OpenAPI, modelos Smithy, servidores MCP existentes y conectores integrados (Salesforce, Slack, Jira, Asana, Zendesk). Los clientes ven un único tools/list consolidado de todos los destinos.
- Cuándo usarlo
- Publicar una API REST existente para agentes a partir de su especificación OpenAPI.
Búsqueda semántica de herramientas
Miles de herramientas
- Qué es
- Se activa al crear el gateway: una herramienta de búsqueda integrada (x_amz_bedrock_agentcore_search) respaldada por un índice vectorial de descripciones de herramientas, para que el agente pida las herramientas que encajan con su tarea en lugar de cargarlas todas en el prompt.
- Cuándo usarlo
- Agentes con catálogos grandes de herramientas donde el prompt y la latencia crecen con cada herramienta.
- Ángulo de IA
- Menos herramientas en contexto suele significar una mejor elección de herramienta.
AgentCore Identity
Identidad de agentes
- Qué es
- Gestión de identidad y credenciales para agentes: identidades de agente como identidades de carga de trabajo, un autorizador JWT de entrada para tu IdP, proveedores de credenciales que guardan tokens OAuth y claves de API, y un flujo de consentimiento para que un agente actúe en nombre de un usuario con registro de auditoría.
- Cuándo usarlo
- Agentes que llaman a API de Google, Microsoft o Salesforce como el usuario que ha iniciado sesión.
Guía de gateway multiproveedor
LiteLLM en ECS o EKS
- Qué es
- La arquitectura de referencia publicada por AWS despliega LiteLLM con Terraform en ECS Fargate o EKS detrás de un Application Load Balancer con AWS WAF, imágenes en ECR, TLS de ACM, cifrado con KMS y CloudWatch: un endpoint estilo OpenAI para Bedrock y otros proveedores con presupuestos por equipo.
- Cuándo usarlo
- Empresas en AWS que necesitan presupuestos y proveedores fuera de Bedrock en un endpoint.
AzureAI gateway de APIM
- Qué es
- El AI gateway de Azure API Management es un conjunto de políticas y funciones del API gateway existente, no un producto aparte. Gobierna API compatibles con OpenAI, Anthropic Messages y Vertex AI, modelos en Microsoft Foundry o en otros proveedores como Amazon Bedrock, modelos autoalojados, servidores MCP y API de agentes A2A. La disponibilidad cambia según el nivel.
- Cuándo usarlo
- Empresas centradas en Microsoft que ya publican sus API con API Management.
llm-token-limit
TPM y cuotas de tokens
- Qué es
- Una política que impone un límite de tokens por minuto o una cuota de tokens por hora, día, semana, mes o año sobre cualquier clave de conteo (suscripción, IP o una expresión propia), y puede precontar los tokens del prompt para que una petición por encima del límite nunca llegue al backend.
- Cuándo usarlo
- Compartir un despliegue PTU entre aplicaciones sin que una deje sin cuota a las demás.
- En código
<llm-token-limit counter-key="@(context.Subscription.Id)" tokens-per-minute="500" estimate-prompt-tokens="false" remaining-tokens-variable-name="remainingTokens" />
llm-emit-token-metric
Tokens por consumidor
- Qué es
- Envía los recuentos de tokens a Azure Monitor con dimensiones propias (IP del cliente, API, ID de usuario desde una cabecera), además de registrar prompts y respuestas en Application Insights y un panel integrado de consumo de tokens.
- Cuándo usarlo
- Repercusión por departamento y auditoría de quién envió qué.
Caché semántica
Redis + embeddings
- Qué es
- Las políticas llm-semantic-cache-store y llm-semantic-cache-lookup usan una API de embeddings y Azure Managed Redis (u otra caché compatible con RediSearch) para reutilizar respuestas de prompts semánticamente similares.
- Cuándo usarlo
- Asistentes internos con muchas preguntas casi idénticas.
Balanceador y circuit breaker
Primero PTU, luego PAYG
- Qué es
- Grupos de backends con balanceo round-robin, ponderado, por prioridad y con afinidad de sesión, y un circuit breaker cuya duración sigue la cabecera Retry-After del backend. Las prioridades permiten llenar la capacidad aprovisionada (PTU) antes del pago por uso.
- Cuándo usarlo
- Despliegues de Azure OpenAI en varias regiones con objetivo de disponibilidad.
Seguridad de contenido e identidadSin claves en las apps
- Qué es
- Las identidades administradas autentican el gateway ante los servicios de IA de Azure sin claves de API, el gestor de credenciales maneja OAuth para aplicaciones y agentes que llaman a API o servidores MCP, y una política modera los prompts con Azure AI Content Safety.
- Cuándo usarlo
- Eliminar por completo las claves del proveedor de la configuración de las aplicaciones.
Servidores MCP en APIM
De API REST a MCP
- Qué es
- API Management puede exponer una API REST existente como servidor MCP, hacer de paso y gobernar un servidor MCP existente, e importar API de agentes A2A; Azure API Center mantiene un catálogo de la organización con API, servidores MCP y skills.
- Cuándo usarlo
- Dar a agentes de Copilot Studio o Foundry acceso gobernado a API internas.
API de modelos unificada
Preview, un endpoint
- Qué es
- Una función en preview que expone varios backends de LLM de distintos proveedores a través de un único endpoint compatible con OpenAI, traduce los formatos automáticamente y aplica las políticas de gobierno una sola vez para todos los modelos.
- Cuándo usarlo
- Nuevos montajes multiproveedor en Azure.
AI gateway en Foundry
Preview, desde el portal
- Qué es
- Una instancia de API Management asociada a un recurso de Microsoft Foundry lo gobierna desde el portal de Foundry: cuotas de tokens y límites para los despliegues de modelos, registro de agentes que se ejecutan en cualquier sitio y herramientas MCP gobernadas en el inventario de Foundry.
- Cuándo usarlo
- Equipos centrados en Foundry que no quieren gestionar políticas de APIM a mano.
Google CloudApigee + Model Armor
- Qué es
- Apigee, la plataforma de gestión de API de Google, lleva las funciones de AI gateway: cuotas de tokens, enrutado de modelos, caché semántica, seguridad MCP y Model Armor para revisar prompts y respuestas. Vertex AI también puede llamar a Model Armor directamente.
- Cuándo usarlo
- Cargas en Google Cloud y Gemini, o empresas que ya usan Apigee.
Políticas de tokens LLM
LLMTokenQuota y más
- Qué es
- LLMTokenQuota y PromptTokenLimit limitan los tokens por usuario o aplicación (por ejemplo un máximo diario), y Apigee mide el uso de tokens por modelo y aplicación con latencia, tasas de error y rendimiento de herramientas MCP.
- Cuándo usarlo
- Presupuestos de tokens por socio o aplicación publicados con Apigee.
Model Armor
Revisa prompts, respuestas
- Qué es
- El servicio de Google que revisa inyecciones de prompt y contenido dañino. En Apigee, las políticas SanitizeUserPrompt y SanitizeModelResponse envían el tráfico a Model Armor, que puede permitir, bloquear o anonimizar; Apigee y Model Armor deben estar en la misma región y Apigee necesita un entorno Comprehensive.
- Cuándo usarlo
- Aplicaciones de Gemini abiertas al público y cualquier modelo detrás de Apigee.
Enrutado y caché
Guiado por políticas
- Qué es
- El enrutado dinámico de modelos envía cada petición a un modelo distinto según el caso de uso mediante reglas de políticas, y una política de caché semántica sirve respuestas guardadas a consultas similares.
- Cuándo usarlo
- Enviar las peticiones fáciles a un modelo Gemini pequeño y las difíciles a uno grande.
API como herramientas MCP
API hub, OAuth
- Qué es
- Apigee expone API como herramientas MCP, protege los proxies MCP con una política OAuth v2 y políticas JSON-RPC, y gestiona servidores MCP, herramientas y skills de agentes en API hub con búsqueda en lenguaje natural.
- Cuándo usarlo
- Creadores de agentes en Google Cloud que reutilizan el catálogo de API de la empresa.
Gateways alojados
Sin proxy que operar
- Qué es
- Gateways operados por un proveedor: una clave, un endpoint, registros, presupuestos y conmutación por error sin operar un proxy, una base de datos ni un plano de control. El tráfico pasa por el proveedor, así que importan sus condiciones de tratamiento de datos.
- Cuándo usarlo
- Start-ups y prototipos que quieren funciones de gateway esta semana.
Cloudflare AI Gateway
Analítica, caché, límites
- Qué es
- Disponible en todos los planes de Cloudflare: analítica (peticiones, tokens, coste), registros, caché en el edge de Cloudflare, límites de velocidad, reintentos y respaldo de modelos, y enrutado con alias de modelos y rutas dinámicas. Funciona con Workers AI, OpenAI, Anthropic, Gemini y otros.
- Cuándo usarlo
- Aplicaciones que ya están detrás de Cloudflare y quieren visibilidad con una línea de código.
Vercel AI Gateway
Sin recargo, BYOK
- Qué es
- Un gateway alojado en ai-gateway.vercel.sh, accesible desde cualquier nube con el AI SDK o los clientes de OpenAI y Anthropic: registros de peticiones, coste por petición, presupuestos por equipo, proyecto, clave o miembro, caché de prompts, respaldos de proveedor y modelo, y clave propia (BYOK). Vercel indica que no añade recargo a los precios por token de los proveedores.
- Cuándo usarlo
- Equipos de TypeScript y agentes de programación que necesitan muchos proveedores rápido.
OpenRouter
Cientos de modelos
- Qué es
- Una API compatible con OpenAI (URL base openrouter.ai/api/v1) para cientos de modelos, con respaldos automáticos de proveedor y enrutado a la opción más rentable en cada petición.
- Cuándo usarlo
- Probar muchos modelos abiertos y cerrados sin cuentas separadas.
Alojado o autoalojado
El compromiso
- Qué es
- Alojado: nada que operar y el inicio más rápido, pero los prompts pasan por otra empresa y las funciones siguen su hoja de ruta. Autoalojado: tú operas Postgres, Redis y las actualizaciones y te encargas de los parches de seguridad, pero los datos y registros se quedan en tu VPC.
- Cuándo usarlo
- Decide primero por la clasificación de los datos y después por comodidad.
Arquitectura de referencia
De clientes a proveedores
- Qué es
- La disposición recomendada para una plataforma de IA central que sirve a muchas aplicaciones y agentes: clientes, después el gateway, después una capa de seguridad y gobierno, después modelos en la nube y autoalojados, con observabilidad en todo el recorrido.
- Cuándo usarlo
- El diagrama de partida de una propuesta de plataforma de IA empresarial.
Clientes
Apps, agentes, MCP
- Qué es
- Aplicaciones web, servicios backend, agentes, flujos de trabajo y asistentes de programación: cada uno recibe una clave del gateway y una URL base, nunca una clave del proveedor.
- Cuándo usarlo
- Incorporar a un equipo nuevo es emitir una clave, no un trámite de compras.
Capa de gateway
Autentica, enruta, limita
- Qué es
- Autenticación, límites de velocidad, enrutado de modelos, respaldos, seguimiento de costes, caché, registro de peticiones y políticas de acceso, en una capa sin estado que escala horizontalmente.
- Cuándo usarlo
- Ejecuta al menos dos réplicas detrás de un balanceador; está en el camino de cada petición.
Seguridad y gobierno
Vault, RBAC, auditoría
- Qué es
- Credenciales del proveedor en HashiCorp Vault o el gestor de secretos de la nube, RBAC desde tu proveedor de identidad (los grupos de SSO se corresponden con equipos del gateway) y registros de auditoría enviados a un almacén que el gateway no puede modificar.
- Cuándo usarlo
- Credenciales centralizadas sin repartir claves del proveedor entre microservicios.
LLM en la nubeOpenAI, Anthropic, Gemini
- Qué es
- API frontera llamadas directamente o a través de Bedrock, Microsoft Foundry y Vertex AI. Pasar por una nube mantiene la facturación, la red privada y las condiciones de tratamiento de datos dentro de un contrato existente.
- Cuándo usarlo
- Tráfico de razonamiento difícil, contexto largo y programación agéntica.
Modelos autoalojados
vLLM, Ollama en GPU
- Qué es
- Modelos de pesos abiertos en tus GPU, registrados en el gateway como cualquier proveedor; el gateway decide qué peticiones pueden salir de la red y cuáles se quedan en local.
- Cuándo usarlo
- Datos sensibles, volumen alto y predecible, sitios sin conexión.
OpenTelemetry
Trazas y métricas
- Qué es
- El gateway emite spans y métricas de OTel (tokens, latencia, errores por modelo) al mismo backend que el resto de tus servicios, para que una llamada al LLM sea un span más en la traza de extremo a extremo.
- Cuándo usarlo
- Averiguar si una respuesta lenta es culpa del modelo, del recuperador o del gateway.
Langfuse
Trazas y evaluaciones
- Qué es
- Una herramienta de observabilidad de LLM de código abierto a la que LiteLLM y otros gateways envían registros: trazas de prompts y respuestas, coste por traza, evaluaciones y versiones de prompts. Complementa a OTel con el contenido de cada llamada.
- Cuándo usarlo
- Vigilancia de calidad y detección de regresiones cuando cambia un modelo o un prompt.
Estado: Postgres y RedisClaves, gasto, caché
- Qué es
- Los gateways autoalojados guardan claves, equipos y gasto en Postgres y usan Redis para los contadores compartidos de límites y la caché, para que las réplicas coincidan en los límites. Haz copia de ambos; perderlos es perder presupuestos y claves.
- Cuándo usarlo
- Cualquier despliegue con más de una réplica del gateway.
Desplegar en KubernetesRéplicas, HPA, privado
- Qué es
- El gateway como Deployment con un autoescalador horizontal, un balanceador interno, secretos montados desde el vault y salida solo hacia endpoints de proveedores aprobados.
- Cuándo usarlo
- Equipos de plataforma que ya ejecutan sus servicios en EKS, AKS o GKE.
Higiene de la cadena de suministro
Fijar, verificar, rotar
- Qué es
- Un gateway guarda todas las claves de proveedor, lo que lo convierte en un objetivo principal. En marzo de 2026 dos versiones de LiteLLM en PyPI eran maliciosas; fija versiones exactas o digests de imagen, usa las imágenes estables del fabricante, analiza las dependencias y sigue los avisos del proyecto.
- Cuándo usarlo
- Todo gateway autoalojado, elijas el proyecto que elijas.
- Cifras clave
- litellm 1.82.7 y 1.82.8 estuvieron publicadas en PyPI unos 40 minutos el 24 de marzo de 2026; la imagen oficial de Docker no se vio afectada y la 1.83.0 salió con un pipeline reconstruido. A los usuarios afectados se les pidió rotar todos los secretos.Fuente: LiteLLM security update, March 2026
Escenarios y casos de uso
Cuándo necesitas uno
- Qué es
- Las situaciones que justifican un gateway, cada una con las capacidades en las que se apoya, más una guía para elegir el gateway que encaja con cada stack.
- Cuándo usarlo
- Empieza por el escenario y después elige el producto.
AI gateway empresarial
Una puerta para todo
- Qué es
- Un equipo de plataforma central ofrece modelos a todos los departamentos: un endpoint, claves por equipo vinculadas al SSO, lista de modelos aprobados, presupuestos y repercusión de costes, registros centrales y un único sitio para cambiar de proveedor.
- Cuándo usarlo
- Empresas que han pasado la fase piloto y tienen varias aplicaciones de IA en producción.
- Ángulo de IA
- Se apoya en claves virtuales, presupuestos, alias de modelos, registros y RBAC.
Gateway de agentes
Agentes, MCP, tools
- Qué es
- Los agentes necesitan modelos, herramientas y otros agentes. El gateway agrega servidores MCP tras un endpoint autenticado, inyecta las credenciales de cada herramienta, limita qué agente puede llamar a qué herramienta y registra las llamadas a herramientas junto a las llamadas al modelo.
- Cuándo usarlo
- Plataformas de agentes con muchos servidores MCP o agentes que actúan en nombre de usuarios.
- Ángulo de IA
- AgentCore Gateway, Azure API Management, Apigee, LiteLLM y Kong lo cubren.
Coste y respaldo multiproveedor
El más barato que sirva
- Qué es
- Enruta cada petición al modelo más barato que la resuelve, cachea las repeticiones, pasa a un segundo proveedor ante errores 429 o caídas y mantén un respaldo probado para cuando se retiren modelos.
- Cuándo usarlo
- Productos de gran volumen donde el gasto en tokens es una de las principales partidas.
AI gateway seguro
Claves, acceso, auditoría
- Qué es
- Claves del proveedor solo en el vault, claves de mínimo privilegio por servicio, anonimización de PII y guardarraíles a la salida, y un registro de auditoría inmutable de quién envió qué prompt a qué modelo.
- Cuándo usarlo
- Finanzas, salud, legal y cualquier equipo sujeto a una política de IA o un NDA.
Residencia de datos
Datos en la región
- Qué es
- El gateway fija el tráfico sensible a endpoints dentro de la región (perfiles geográficos de Bedrock, despliegues regionales de Azure) o a un modelo autoalojado, y solo deja que las peticiones anonimizadas lleguen a endpoints globales.
- Cuándo usarlo
- Datos personales de la UE bajo el RGPD, sector público, cláusulas contractuales de residencia.
Agentes de programación a escalaPresupuesto por persona
- Qué es
- Agentes de programación como Claude Code o Codex apuntando a la URL base del gateway: una clave y un presupuesto por desarrollador, uso por equipo y el modelo que hay detrás elegido de forma central. LiteLLM y Vercel AI Gateway documentan este montaje.
- Cuándo usarlo
- Extender agentes de programación a cientos de ingenieros con un techo de costes.
IA por cliente en un SaaS
Medir y limitar clientes
- Qué es
- Una clave del gateway por cliente permite facturar por uso, aplicar límites de plan (tokens al mes), aislar la caché por cliente y bloquear a un cliente abusivo sin afectar al resto.
- Cuándo usarlo
- Productos B2B que revenden funciones de IA dentro de sus planes.
Cuándo puedes esperar
Una app, un proveedor
- Qué es
- Una sola aplicación que llama a un solo proveedor puede apoyarse en los límites y paneles del propio proveedor: la documentación de Microsoft indica que un límite de TPM en el despliegue basta hasta que crece el número de aplicaciones. Añade un gateway cuando llegue la segunda aplicación, equipo o proveedor.
- Cuándo usarlo
- Prototipos y herramientas de un solo propósito.
Qué gateway
Según tu stack
- Qué es
- Una recomendación de partida para cada situación; compruébala con una prueba de carga y una revisión de seguridad sobre tu propio tráfico antes de comprometerte.
- Cuándo usarlo
- Elegir dos candidatos para una prueba de concepto.
Uso general
LiteLLM
- Qué es
- La mayor cobertura de proveedores, claves virtuales, presupuestos y una interfaz de administración, en un stack de Python que la mayoría de equipos de IA ya conoce.
- Cuándo usarlo
- Equipos de IA en Python y plataformas multicloud.
Alto volumen
Bifrost
- Qué es
- Un gateway en Go pensado para una sobrecarga mínima por petición con miles de peticiones por segundo.
- Cuándo usarlo
- Flujos de producción de gran volumen sensibles a la latencia.
Plataforma Kubernetes
Agent Router (Envoy)
- Qué es
- El tráfico de IA gestionado con el mismo plano de datos de Envoy y los mismos recursos de Gateway API que el resto del clúster.
- Cuándo usarlo
- Equipos de plataforma que estandarizan en Envoy.
Nativo de AWSBedrock + AgentCore
- Qué es
- Bedrock con Guardrails e inferencia entre regiones para los modelos, AgentCore Gateway e Identity para agentes y herramientas; añade la guía de LiteLLM cuando necesites presupuestos por equipo o proveedores fuera de AWS.
- Cuándo usarlo
- Empresas cuyos datos e identidades ya están en AWS.
Azure y MicrosoftAPI Management
- Qué es
- Las políticas de AI gateway de API Management delante de Foundry y otros proveedores, con identidades administradas y Content Safety.
- Cuándo usarlo
- Organizaciones centradas en Microsoft 365 y Azure.
Google CloudApigee + Model Armor
- Qué es
- Las políticas de tokens, el enrutado y la caché de Apigee con la revisión de Model Armor delante de Gemini y otros modelos.
- Cuándo usarlo
- Stacks centrados en Gemini y clientes de Apigee.
Inicio más rápido
Un gateway alojado
- Qué es
- Cloudflare AI Gateway, Vercel AI Gateway u OpenRouter: registros, presupuestos y respaldos sin infraestructura, si los datos pueden pasar por el proveedor.
- Cuándo usarlo
- Prototipos y equipos pequeños.
Fuentes, consultadas el 16 de noviembre de 2026: los README y la documentación de LiteLLM (BerriAI/litellm), Bifrost (maximhq/bifrost), Portkey Gateway (Portkey-AI/gateway), Agent Router (envoyproxy/ai-gateway), Apache APISIX y Kong AI Gateway; la actualización de seguridad de LiteLLM de marzo de 2026; la documentación de AWS sobre la inferencia entre regiones y Guardrails de Amazon Bedrock, Amazon Bedrock AgentCore Gateway y AgentCore Identity, y la AWS Guidance for Multi-Provider Generative AI Gateway; Microsoft Learn, "AI gateway capabilities in Azure API Management"; la documentación de Google Cloud sobre las capacidades de IA de Apigee y la integración con Model Armor; la documentación de Cloudflare AI Gateway, Vercel AI Gateway y OpenRouter; el anuncio de la Agentic AI Foundation de septiembre de 2026. Las cifras de latencia son pruebas de los propios fabricantes. Las funciones cambian entre versiones y niveles: revisa la documentación de la versión que despliegues.