DavidGadyan

Mapa mental de AI Gateway: LiteLLM, Bifrost, Portkey, AgentCore Gateway, Azure API Management y Apigee, con casos de uso

Un único punto de control entre tus aplicaciones, agentes y cada proveedor de modelos: por qué lo necesitas, qué hace, los gateways de código abierto que alojas tú, los servicios de AWS, Azure y Google Cloud, y los escenarios en los que encaja cada uno.

  1. Por qué un gateway

    Un punto de control

    Qué es
    Un AI gateway es una capa proxy entre tus aplicaciones, agentes y clientes MCP por un lado y los proveedores de modelos y herramientas por el otro. En lugar de que cada servicio guarde sus propias credenciales de OpenAI, Anthropic, Gemini o Bedrock, todo llama a un único endpoint que autentica, enruta, limita, cachea y registra.
    Cuándo usarlo
    En cuanto más de una aplicación o equipo llama a modelos, o hay más de un proveedor en juego.
    1. Claves dispersas

      Claves en todas partes

      Qué es
      Sin gateway, cada microservicio, notebook y agente guarda claves de API de proveedores; rotar una obliga a redesplegar muchos servicios y una clave filtrada no tiene dueño. Un gateway guarda las claves del proveedor en un solo sitio y reparte sus propias claves con alcance limitado.
      Cuándo usarlo
      Revisiones de seguridad que preguntan quién puede llamar a qué modelo con qué clave.
    2. Una sola API

      Compatible con OpenAI

      Qué es
      La mayoría de gateways exponen un endpoint compatible con OpenAI (algunos también la API Messages de Anthropic) y traducen al formato de cada proveedor, así que cambiar de modelo es cambiar un nombre, no un SDK.
      Cuándo usarlo
      Equipos que quieren probar un modelo nuevo sin tocar el código de la aplicación.
    3. Atribución de costes

      Gasto por equipo y app

      Qué es
      Las facturas del proveedor muestran un total. El gateway registra tokens y coste por clave, usuario, equipo o etiqueta, para que finanzas pueda repercutir costes e ingeniería vea qué funcionalidad consume el presupuesto.
      Cuándo usarlo
      Repercusión interna de costes, facturación por cliente en un SaaS, alertas de presupuesto.
    4. Conmutación por error

      Caídas y errores 429

      Qué es
      Los proveedores limitan peticiones (HTTP 429), se degradan y retiran modelos. El gateway reintenta, mueve la petición a otro despliegue, región o proveedor, y abre un circuit breaker ante un backend enfermo para que las aplicaciones sigan respondiendo.
      Cuándo usarlo
      Asistentes de cara al cliente con un objetivo de disponibilidad.
    5. Gobierno y auditoría

      Políticas en un sitio

      Qué es
      Qué modelos están aprobados, qué datos pueden salir de la red, qué se registra y durante cuánto tiempo: un gateway lo aplica una vez para todos en lugar de confiar en que cada equipo lo implemente.
      Cuándo usarlo
      Empresas reguladas y cualquier política de IA que haya que demostrar ante un auditor.
    6. Dispersión de agentes y MCP

      Herramientas con puerta

      Qué es
      Los agentes llaman a servidores MCP, API internas y otros agentes además de a modelos. Los gateways ya cubren también ese tráfico: un endpoint MCP autenticado, permisos por herramienta, credenciales de salida inyectadas para cada herramienta y registro de cada llamada.
      Cuándo usarlo
      Más de un puñado de servidores MCP, o agentes que actúan en nombre de usuarios.
      Ángulo de IA
      La búsqueda semántica de herramientas mantiene los prompts pequeños cuando un agente puede usar cientos de herramientas.
    7. No es un gestor de secretos

      Combínalo con un vault

      Qué es
      Un gateway enruta peticiones y aplica políticas de acceso; no es automáticamente el lugar donde deben vivir las credenciales del proveedor. Guárdalas en HashiCorp Vault, AWS Secrets Manager o Azure Key Vault, o usa identidades administradas, y deja que el gateway las lea al arrancar.
      Cuándo usarlo
      Cualquier despliegue en producción: la base de datos del gateway nunca debe ser la única copia de una clave del proveedor.
  2. Capacidades clave

    Qué hace un gateway

    Qué es
    El conjunto de funciones común a los gateways de código abierto y en la nube: identidad y claves, límites y presupuestos, enrutado y resiliencia, caché, seguridad, observabilidad y proxy de herramientas. La disponibilidad cambia según producto, versión y nivel de pago.
    Cuándo usarlo
    Úsalo como lista de comprobación al comparar gateways.
    1. Claves virtuales

      Claves con alcance

      Qué es
      El gateway emite sus propias claves, cada una limitada a ciertos modelos, un presupuesto y límites de velocidad, y asignada a un usuario o equipo. Revocar una nunca afecta a la clave del proveedor que hay detrás. En LiteLLM necesitan una clave maestra y una base de datos Postgres.
      Cuándo usarlo
      Una clave por aplicación, por entorno y por desarrollador.
      En código
      curl http://localhost:4000/key/generate \
        -H "Authorization: Bearer $LITELLM_MASTER_KEY" \
        -d '{"models": ["smart"], "max_budget": 50, "budget_duration": "30d", "tpm_limit": 100000}'
    2. Límites de velocidad

      Peticiones y tokens

      Qué es
      Límites de peticiones por minuto (RPM) y tokens por minuto (TPM) por clave, equipo o IP, para que una aplicación no agote la cuota compartida del proveedor. Los límites por tokens cuentan los tokens del prompt y de la respuesta, no solo las llamadas.
      Cuándo usarlo
      Varias aplicaciones que comparten un despliegue aprovisionado o una cuenta de proveedor.
    3. Presupuestos de tokens

      Topes de gasto

      Qué es
      Un tope de gasto o de tokens por clave, usuario o equipo durante un periodo (diario, mensual). Al agotarse, el gateway rechaza nuevas peticiones; Vercel AI Gateway, por ejemplo, responde HTTP 402 y documenta sus presupuestos como topes blandos.
      Cuándo usarlo
      Hackathons, pruebas, agentes de programación para muchos desarrolladores, planes por cliente.
    4. Enrutado y balanceo

      Elegir el backend

      Qué es
      Repartir el tráfico entre varios despliegues, claves, regiones o proveedores: round-robin, ponderado, por prioridad (primero la capacidad prepagada) o por latencia, y en algunos gateways un enrutado que elige modelo para cada prompt.
      Cuándo usarlo
      Llenar la capacidad aprovisionada antes de pasar a pago por uso.
    5. Reintentos y respaldos

      Sobrevivir a errores

      Qué es
      Reintentos acotados ante timeouts y errores 429, después una cadena de respaldo hacia otro despliegue o modelo, con un circuit breaker que deja de enviar tráfico a un backend que falla durante un tiempo.
      Cuándo usarlo
      Cualquier flujo de cara al usuario; evalúa el modelo de respaldo, no te limites a configurarlo.
    6. Caché exacta

      Misma petición, cero coste

      Qué es
      Las peticiones idénticas se responden desde una caché (a menudo Redis) en lugar del proveedor: cero tokens y latencia de milisegundos. Distinta de la caché de prompts del proveedor, que solo abarata un prefijo de prompt repetido.
      Cuándo usarlo
      Repeticiones de evaluaciones, clasificación determinista, prompts repetidos de FAQ.
    7. Caché semántica

      Prompt similar, reutiliza

      Qué es
      El prompt se convierte en embedding y se compara con prompts anteriores; por encima de un umbral de similitud se devuelve la respuesta guardada. Ahorra tokens en preguntas reformuladas, pero puede devolver una respuesta equivocada si el umbral es laxo.
      Cuándo usarlo
      Preguntas de soporte de gran volumen; nunca para respuestas personales o que dependen del momento.
      Ángulo de IA
      Ajusta el umbral con tráfico real y separa la caché por cliente.
    8. Guardarraíles y PII

      Filtrar entrada y salida

      Qué es
      Comprobaciones de prompts y respuestas en el gateway: detección de inyección de prompts y jailbreaks, temas prohibidos, moderación de contenido y anonimización de datos personales antes de llegar al proveedor. A menudo se delega en Bedrock Guardrails, Azure AI Content Safety, Model Armor o un guardián de terceros.
      Cuándo usarlo
      Chatbots abiertos al público, datos personales en tickets de soporte, asesoramiento regulado.
    9. Registros, métricas, trazas

      Tokens, latencia, coste

      Qué es
      Cada petición registrada con modelo, proveedor, tokens, latencia, estado y coste; métricas exportadas a Prometheus, Azure Monitor o CloudWatch; spans de OpenTelemetry para que una llamada al modelo aparezca dentro de la traza de la petición que la provocó.
      Cuándo usarlo
      Depurar respuestas lentas, planificar capacidad, paneles de costes.
    10. Alias de modelos

      "smart", "fast", "cheap"

      Qué es
      Las aplicaciones piden un nombre lógico y el gateway lo traduce a un modelo concreto del proveedor. Actualizar o sustituir un modelo pasa a ser un cambio de configuración del gateway, y un modelo retirado nunca rompe una aplicación.
      Cuándo usarlo
      Actualizaciones de modelo y pruebas A/B sin redesplegar aplicaciones.
      En código
      model_list:
        - model_name: smart
          litellm_params:
            model: anthropic/<model-id>
            api_key: os.environ/ANTHROPIC_API_KEY
        - model_name: smart
          litellm_params:
            model: bedrock/<model-id>
    11. Proxy de MCP y A2A

      Herramientas detrás

      Qué es
      Los gateways ya exponen servidores MCP (y API entre agentes) por la misma puerta que los modelos: un endpoint que agrega herramientas, autentica a quien llama, aplica reglas de acceso por herramienta y registra cada llamada. LiteLLM, Bifrost, Portkey, Kong, Azure API Management, Apigee y AgentCore Gateway lo documentan.
      Cuándo usarlo
      Agentes que necesitan API internas como herramientas sin que cada agente guarde credenciales.
  3. Código abierto, autoalojado

    En tu propia VPC

    Qué es
    Gateways que despliegas tú (Docker, Kubernetes, una VM): los prompts y registros se quedan en tu red y pagas cómputo, no por petición. La mayoría siguen un modelo open core, con SSO, RBAC avanzado o algunos guardarraíles en una edición enterprise de pago.
    Cuándo usarlo
    Datos que no deben pasar por un gateway de terceros, multicloud, o muchos proveedores a la vez.
    1. LiteLLM

      El mejor punto de partida

      Qué es
      El SDK de Python y servidor proxy de BerriAI: más de 100 proveedores de LLM tras el formato de OpenAI, claves virtuales, seguimiento de gasto por clave, usuario y equipo, presupuestos y límites, router con reintentos y respaldos, caché, guardarraíles, una interfaz de administración, gateways MCP y A2A, y registro hacia Langfuse, MLflow y otros. Las funciones enterprise van con licencia comercial.
      Cuándo usarlo
      Equipos de IA centrados en Python que quieren la mayor cobertura de proveedores y empezar rápido.
      En código
      docker run -p 4000:4000 -v ./config.yaml:/app/config.yaml \
        ghcr.io/berriai/litellm:v1.83.0-stable --config /app/config.yaml
      Cifras clave
      • Prueba del fabricante: 8 ms de latencia P95 a 1.000 peticiones por segundo.Fuente: LiteLLM README
    2. Bifrost

      Go, poca sobrecarga

      Qué es
      El gateway de Maxim escrito en Go con licencia Apache 2.0: una API compatible con OpenAI sobre más de 23 proveedores, conmutación por error y balanceo automáticos entre claves y proveedores, caché semántica, soporte MCP, claves virtuales con presupuestos y límites, métricas de Prometheus y trazas, y una interfaz web. Sustituye a los SDK de OpenAI, Anthropic y Google GenAI cambiando la URL base.
      Cuándo usarlo
      Flujos de producción de alto volumen donde la sobrecarga del gateway debe quedarse en microsegundos.
      En código
      npx -y @maximhq/bifrost
      docker run -p 8080:8080 maximhq/bifrost
      Cifras clave
      • Prueba del fabricante: 11 µs añadidos por petición a 5.000 peticiones por segundo sostenidas en una AWS t3.xlarge.Fuente: Bifrost README
    3. Portkey Gateway

      TypeScript, para edge

      Qué es
      El gateway de Portkey en TypeScript con licencia MIT: enrutado a más de 1.600 modelos de más de 45 proveedores, respaldos, hasta cinco reintentos automáticos, balanceo, timeouts, guardarraíles de entrada y salida, caché simple y un gateway MCP aparte. Se ejecuta con npx, Docker, Node.js o Cloudflare Workers; la caché semántica y la gestión de prompts están en el producto alojado o enterprise, que Portkey dice que se fusiona con el código abierto en su versión 2.0.
      Cuándo usarlo
      Stacks de JavaScript, despliegues en el edge y equipos que quieren guardarraíles integrados.
      En código
      npx @portkey-ai/gateway   # http://localhost:8787/v1
      Cifras clave
      • Según el fabricante: menos de 1 ms de latencia y 122 KB de tamaño.Fuente: Portkey Gateway README
    4. Agent Router (Envoy AI Gateway)

      Nativo de Kubernetes

      Qué es
      El plano de control para tráfico de IA y agentes construido sobre Envoy y Envoy Gateway, con licencia Apache 2.0. Se llamó Envoy AI Gateway hasta septiembre de 2026, cuando se unió a la Agentic AI Foundation como Agent Router con el mismo código, mantenedores y nombres de CRD. Una API compatible con OpenAI para proveedores alojados, inferencia autoalojada y servidores MCP; los equipos de plataforma gestionan credenciales, enrutado, cuotas, conmutación por error y atribución de uso.
      Cuándo usarlo
      Equipos de plataforma que ya usan Envoy o la Gateway API de Kubernetes.
      En código
      aigw run   # OpenAI-compatible router on localhost:1975
    5. Apache APISIX

      API gateway + IA

      Qué es
      Un API gateway de alto rendimiento cuyo plugin ai-proxy traduce una configuración al formato de cada proveedor (OpenAI, Anthropic, Gemini, Vertex AI, Bedrock, DeepSeek, OpenRouter, cualquier endpoint compatible con OpenAI) y registra tokens y tiempo hasta el primer token. Plugins complementarios: ai-proxy-multi, ai-cache, ai-rate-limiting, ai-prompt-guard, ai-rag y moderación de contenido.
      Cuándo usarlo
      Empresas que ya usan APISIX para sus API REST y quieren un único gateway para ambos.
    6. Kong AI Gateway

      Kong + políticas de IA

      Qué es
      La capa de IA de Kong: entidades AI Model y Provider para el enrutado, AI Consumer Groups para presupuestos de tokens por equipo, una entidad AI MCP Server que expone API como herramientas, y políticas como AI Prompt Guard, AI Semantic Cache, AI Sanitizer (PII), AI Rate Limiting Advanced y conectores a AWS Guardrails, Azure Content Safety y Model Armor. Comprueba qué plugins incluye tu licencia de Kong.
      Cuándo usarlo
      Empresas con Kong que quieren el tráfico de IA bajo las mismas políticas y portal que sus API.
    7. Modelos autoalojados detrás

      vLLM, Ollama, SGLang

      Qué es
      vLLM, SGLang y Ollama sirven modelos de pesos abiertos en endpoints compatibles con OpenAI, así que el gateway los trata como un proveedor más: envía el tráfico sensible al modelo local y el resto a una API frontera, con las mismas claves y registros.
      Cuándo usarlo
      Montajes híbridos: datos privados en tus GPU, razonamiento difícil en una API frontera.
  4. AWS

    Bedrock + AgentCore

    Qué es
    En AWS el papel del gateway se reparte: Amazon Bedrock da una API, IAM y CloudTrail sobre muchas familias de modelos; Bedrock Guardrails filtra contenido; AgentCore Gateway sirve de puerta a herramientas, agentes y proveedores de modelos para los agentes; y AWS publica una guía basada en LiteLLM para un gateway multiproveedor autogestionado.
    Cuándo usarlo
    Cargas que ya están en AWS y quieren IAM, endpoints de VPC y CloudTrail para el tráfico de IA.
    1. Amazon Bedrock

      Muchos modelos, una API

      Qué es
      Acceso gestionado a modelos fundacionales de varios fabricantes a través de una API de AWS (Converse), con permisos IAM por modelo, endpoints privados de VPC, registro en CloudTrail y cuotas por cuenta. Es un servicio de modelos, no un gateway completo: los presupuestos por equipo y los proveedores fuera de AWS necesitan algo delante.
      Cuándo usarlo
      La capa de modelos por defecto para equipos nativos de AWS.
    2. Inferencia entre regiones

      Geográfica o global

      Qué es
      Los perfiles de inferencia dejan que Bedrock elija la región que atiende cada petición: un perfil geográfico mantiene el procesamiento dentro de EE. UU., la UE o APAC, y uno global enruta a cualquier región comercial. El tráfico se queda en la red de AWS y CloudTrail registra dónde se ejecutó cada petición.
      Cuándo usarlo
      Capacidad para picos; perfiles geográficos cuando aplica la residencia de datos.
      Cifras clave
      • Sin coste adicional de enrutado; los perfiles globales cuestan alrededor de un 10% menos que los geográficos.Fuente: AWS docs, Cross-Region inference
    3. Bedrock Guardrails

      Filtros de entrada, salida

      Qué es
      Salvaguardas configurables sobre prompts y respuestas: filtros de contenido (odio, insultos, sexual, violencia, conducta indebida, ataque de prompt), temas prohibidos, filtros de palabras, bloqueo o enmascarado de PII, comprobaciones de anclaje contextual y comprobaciones de razonamiento automatizado. La API ApplyGuardrail las ejecuta sin invocar un modelo de Bedrock.
      Cuándo usarlo
      Una política de seguridad reutilizada por un gateway delante de cualquier modelo, no solo los de Bedrock.
    4. AgentCore Gateway

      Agentes a herramientas

      Qué es
      Un AI gateway totalmente gestionado para tráfico de agentes: convierte API, funciones Lambda y servicios en herramientas MCP, hace de puerta a otros agentes y servicios HTTP (incluido A2A) y enruta la inferencia entre proveedores de modelos con un único endpoint de enrutado por modelo. Gestiona la autenticación de entrada (quién es el agente) y la de salida (credenciales de cada herramienta) y es serverless con observabilidad integrada.
      Cuándo usarlo
      Agentes en AWS que necesitan API de la empresa y herramientas SaaS sin código de integración propio.
    5. Destinos del gateway

      OpenAPI, Lambda, MCP

      Qué es
      Los destinos pueden ser funciones Lambda, API REST de API Gateway, especificaciones OpenAPI, modelos Smithy, servidores MCP existentes y conectores integrados (Salesforce, Slack, Jira, Asana, Zendesk). Los clientes ven un único tools/list consolidado de todos los destinos.
      Cuándo usarlo
      Publicar una API REST existente para agentes a partir de su especificación OpenAPI.
    6. AgentCore Identity

      Identidad de agentes

      Qué es
      Gestión de identidad y credenciales para agentes: identidades de agente como identidades de carga de trabajo, un autorizador JWT de entrada para tu IdP, proveedores de credenciales que guardan tokens OAuth y claves de API, y un flujo de consentimiento para que un agente actúe en nombre de un usuario con registro de auditoría.
      Cuándo usarlo
      Agentes que llaman a API de Google, Microsoft o Salesforce como el usuario que ha iniciado sesión.
    7. Guía de gateway multiproveedor

      LiteLLM en ECS o EKS

      Qué es
      La arquitectura de referencia publicada por AWS despliega LiteLLM con Terraform en ECS Fargate o EKS detrás de un Application Load Balancer con AWS WAF, imágenes en ECR, TLS de ACM, cifrado con KMS y CloudWatch: un endpoint estilo OpenAI para Bedrock y otros proveedores con presupuestos por equipo.
      Cuándo usarlo
      Empresas en AWS que necesitan presupuestos y proveedores fuera de Bedrock en un endpoint.
  5. Azure

    AI gateway de APIM

    Qué es
    El AI gateway de Azure API Management es un conjunto de políticas y funciones del API gateway existente, no un producto aparte. Gobierna API compatibles con OpenAI, Anthropic Messages y Vertex AI, modelos en Microsoft Foundry o en otros proveedores como Amazon Bedrock, modelos autoalojados, servidores MCP y API de agentes A2A. La disponibilidad cambia según el nivel.
    Cuándo usarlo
    Empresas centradas en Microsoft que ya publican sus API con API Management.
    1. llm-token-limit

      TPM y cuotas de tokens

      Qué es
      Una política que impone un límite de tokens por minuto o una cuota de tokens por hora, día, semana, mes o año sobre cualquier clave de conteo (suscripción, IP o una expresión propia), y puede precontar los tokens del prompt para que una petición por encima del límite nunca llegue al backend.
      Cuándo usarlo
      Compartir un despliegue PTU entre aplicaciones sin que una deje sin cuota a las demás.
      En código
      <llm-token-limit counter-key="@(context.Subscription.Id)"
        tokens-per-minute="500" estimate-prompt-tokens="false"
        remaining-tokens-variable-name="remainingTokens" />
    2. llm-emit-token-metric

      Tokens por consumidor

      Qué es
      Envía los recuentos de tokens a Azure Monitor con dimensiones propias (IP del cliente, API, ID de usuario desde una cabecera), además de registrar prompts y respuestas en Application Insights y un panel integrado de consumo de tokens.
      Cuándo usarlo
      Repercusión por departamento y auditoría de quién envió qué.
    3. Caché semántica

      Redis + embeddings

      Qué es
      Las políticas llm-semantic-cache-store y llm-semantic-cache-lookup usan una API de embeddings y Azure Managed Redis (u otra caché compatible con RediSearch) para reutilizar respuestas de prompts semánticamente similares.
      Cuándo usarlo
      Asistentes internos con muchas preguntas casi idénticas.
    4. Balanceador y circuit breaker

      Primero PTU, luego PAYG

      Qué es
      Grupos de backends con balanceo round-robin, ponderado, por prioridad y con afinidad de sesión, y un circuit breaker cuya duración sigue la cabecera Retry-After del backend. Las prioridades permiten llenar la capacidad aprovisionada (PTU) antes del pago por uso.
      Cuándo usarlo
      Despliegues de Azure OpenAI en varias regiones con objetivo de disponibilidad.
    5. Seguridad de contenido e identidad

      Sin claves en las apps

      Qué es
      Las identidades administradas autentican el gateway ante los servicios de IA de Azure sin claves de API, el gestor de credenciales maneja OAuth para aplicaciones y agentes que llaman a API o servidores MCP, y una política modera los prompts con Azure AI Content Safety.
      Cuándo usarlo
      Eliminar por completo las claves del proveedor de la configuración de las aplicaciones.
    6. Servidores MCP en APIM

      De API REST a MCP

      Qué es
      API Management puede exponer una API REST existente como servidor MCP, hacer de paso y gobernar un servidor MCP existente, e importar API de agentes A2A; Azure API Center mantiene un catálogo de la organización con API, servidores MCP y skills.
      Cuándo usarlo
      Dar a agentes de Copilot Studio o Foundry acceso gobernado a API internas.
    7. API de modelos unificada

      Preview, un endpoint

      Qué es
      Una función en preview que expone varios backends de LLM de distintos proveedores a través de un único endpoint compatible con OpenAI, traduce los formatos automáticamente y aplica las políticas de gobierno una sola vez para todos los modelos.
      Cuándo usarlo
      Nuevos montajes multiproveedor en Azure.
    8. AI gateway en Foundry

      Preview, desde el portal

      Qué es
      Una instancia de API Management asociada a un recurso de Microsoft Foundry lo gobierna desde el portal de Foundry: cuotas de tokens y límites para los despliegues de modelos, registro de agentes que se ejecutan en cualquier sitio y herramientas MCP gobernadas en el inventario de Foundry.
      Cuándo usarlo
      Equipos centrados en Foundry que no quieren gestionar políticas de APIM a mano.
  6. Google Cloud

    Apigee + Model Armor

    Qué es
    Apigee, la plataforma de gestión de API de Google, lleva las funciones de AI gateway: cuotas de tokens, enrutado de modelos, caché semántica, seguridad MCP y Model Armor para revisar prompts y respuestas. Vertex AI también puede llamar a Model Armor directamente.
    Cuándo usarlo
    Cargas en Google Cloud y Gemini, o empresas que ya usan Apigee.
    1. Políticas de tokens LLM

      LLMTokenQuota y más

      Qué es
      LLMTokenQuota y PromptTokenLimit limitan los tokens por usuario o aplicación (por ejemplo un máximo diario), y Apigee mide el uso de tokens por modelo y aplicación con latencia, tasas de error y rendimiento de herramientas MCP.
      Cuándo usarlo
      Presupuestos de tokens por socio o aplicación publicados con Apigee.
    2. Model Armor

      Revisa prompts, respuestas

      Qué es
      El servicio de Google que revisa inyecciones de prompt y contenido dañino. En Apigee, las políticas SanitizeUserPrompt y SanitizeModelResponse envían el tráfico a Model Armor, que puede permitir, bloquear o anonimizar; Apigee y Model Armor deben estar en la misma región y Apigee necesita un entorno Comprehensive.
      Cuándo usarlo
      Aplicaciones de Gemini abiertas al público y cualquier modelo detrás de Apigee.
    3. Enrutado y caché

      Guiado por políticas

      Qué es
      El enrutado dinámico de modelos envía cada petición a un modelo distinto según el caso de uso mediante reglas de políticas, y una política de caché semántica sirve respuestas guardadas a consultas similares.
      Cuándo usarlo
      Enviar las peticiones fáciles a un modelo Gemini pequeño y las difíciles a uno grande.
    4. API como herramientas MCP

      API hub, OAuth

      Qué es
      Apigee expone API como herramientas MCP, protege los proxies MCP con una política OAuth v2 y políticas JSON-RPC, y gestiona servidores MCP, herramientas y skills de agentes en API hub con búsqueda en lenguaje natural.
      Cuándo usarlo
      Creadores de agentes en Google Cloud que reutilizan el catálogo de API de la empresa.
  7. Gateways alojados

    Sin proxy que operar

    Qué es
    Gateways operados por un proveedor: una clave, un endpoint, registros, presupuestos y conmutación por error sin operar un proxy, una base de datos ni un plano de control. El tráfico pasa por el proveedor, así que importan sus condiciones de tratamiento de datos.
    Cuándo usarlo
    Start-ups y prototipos que quieren funciones de gateway esta semana.
    1. Cloudflare AI Gateway

      Analítica, caché, límites

      Qué es
      Disponible en todos los planes de Cloudflare: analítica (peticiones, tokens, coste), registros, caché en el edge de Cloudflare, límites de velocidad, reintentos y respaldo de modelos, y enrutado con alias de modelos y rutas dinámicas. Funciona con Workers AI, OpenAI, Anthropic, Gemini y otros.
      Cuándo usarlo
      Aplicaciones que ya están detrás de Cloudflare y quieren visibilidad con una línea de código.
    2. Vercel AI Gateway

      Sin recargo, BYOK

      Qué es
      Un gateway alojado en ai-gateway.vercel.sh, accesible desde cualquier nube con el AI SDK o los clientes de OpenAI y Anthropic: registros de peticiones, coste por petición, presupuestos por equipo, proyecto, clave o miembro, caché de prompts, respaldos de proveedor y modelo, y clave propia (BYOK). Vercel indica que no añade recargo a los precios por token de los proveedores.
      Cuándo usarlo
      Equipos de TypeScript y agentes de programación que necesitan muchos proveedores rápido.
    3. OpenRouter

      Cientos de modelos

      Qué es
      Una API compatible con OpenAI (URL base openrouter.ai/api/v1) para cientos de modelos, con respaldos automáticos de proveedor y enrutado a la opción más rentable en cada petición.
      Cuándo usarlo
      Probar muchos modelos abiertos y cerrados sin cuentas separadas.
    4. Alojado o autoalojado

      El compromiso

      Qué es
      Alojado: nada que operar y el inicio más rápido, pero los prompts pasan por otra empresa y las funciones siguen su hoja de ruta. Autoalojado: tú operas Postgres, Redis y las actualizaciones y te encargas de los parches de seguridad, pero los datos y registros se quedan en tu VPC.
      Cuándo usarlo
      Decide primero por la clasificación de los datos y después por comodidad.
  8. Arquitectura de referencia

    De clientes a proveedores

    Qué es
    La disposición recomendada para una plataforma de IA central que sirve a muchas aplicaciones y agentes: clientes, después el gateway, después una capa de seguridad y gobierno, después modelos en la nube y autoalojados, con observabilidad en todo el recorrido.
    Cuándo usarlo
    El diagrama de partida de una propuesta de plataforma de IA empresarial.
    1. Clientes

      Apps, agentes, MCP

      Qué es
      Aplicaciones web, servicios backend, agentes, flujos de trabajo y asistentes de programación: cada uno recibe una clave del gateway y una URL base, nunca una clave del proveedor.
      Cuándo usarlo
      Incorporar a un equipo nuevo es emitir una clave, no un trámite de compras.
    2. Capa de gateway

      Autentica, enruta, limita

      Qué es
      Autenticación, límites de velocidad, enrutado de modelos, respaldos, seguimiento de costes, caché, registro de peticiones y políticas de acceso, en una capa sin estado que escala horizontalmente.
      Cuándo usarlo
      Ejecuta al menos dos réplicas detrás de un balanceador; está en el camino de cada petición.
    3. Seguridad y gobierno

      Vault, RBAC, auditoría

      Qué es
      Credenciales del proveedor en HashiCorp Vault o el gestor de secretos de la nube, RBAC desde tu proveedor de identidad (los grupos de SSO se corresponden con equipos del gateway) y registros de auditoría enviados a un almacén que el gateway no puede modificar.
      Cuándo usarlo
      Credenciales centralizadas sin repartir claves del proveedor entre microservicios.
    4. LLM en la nube

      OpenAI, Anthropic, Gemini

      Qué es
      API frontera llamadas directamente o a través de Bedrock, Microsoft Foundry y Vertex AI. Pasar por una nube mantiene la facturación, la red privada y las condiciones de tratamiento de datos dentro de un contrato existente.
      Cuándo usarlo
      Tráfico de razonamiento difícil, contexto largo y programación agéntica.
    5. Modelos autoalojados

      vLLM, Ollama en GPU

      Qué es
      Modelos de pesos abiertos en tus GPU, registrados en el gateway como cualquier proveedor; el gateway decide qué peticiones pueden salir de la red y cuáles se quedan en local.
      Cuándo usarlo
      Datos sensibles, volumen alto y predecible, sitios sin conexión.
    6. OpenTelemetry

      Trazas y métricas

      Qué es
      El gateway emite spans y métricas de OTel (tokens, latencia, errores por modelo) al mismo backend que el resto de tus servicios, para que una llamada al LLM sea un span más en la traza de extremo a extremo.
      Cuándo usarlo
      Averiguar si una respuesta lenta es culpa del modelo, del recuperador o del gateway.
    7. Langfuse

      Trazas y evaluaciones

      Qué es
      Una herramienta de observabilidad de LLM de código abierto a la que LiteLLM y otros gateways envían registros: trazas de prompts y respuestas, coste por traza, evaluaciones y versiones de prompts. Complementa a OTel con el contenido de cada llamada.
      Cuándo usarlo
      Vigilancia de calidad y detección de regresiones cuando cambia un modelo o un prompt.
    8. Estado: Postgres y Redis

      Claves, gasto, caché

      Qué es
      Los gateways autoalojados guardan claves, equipos y gasto en Postgres y usan Redis para los contadores compartidos de límites y la caché, para que las réplicas coincidan en los límites. Haz copia de ambos; perderlos es perder presupuestos y claves.
      Cuándo usarlo
      Cualquier despliegue con más de una réplica del gateway.
    9. Desplegar en Kubernetes

      Réplicas, HPA, privado

      Qué es
      El gateway como Deployment con un autoescalador horizontal, un balanceador interno, secretos montados desde el vault y salida solo hacia endpoints de proveedores aprobados.
      Cuándo usarlo
      Equipos de plataforma que ya ejecutan sus servicios en EKS, AKS o GKE.
    10. Higiene de la cadena de suministro

      Fijar, verificar, rotar

      Qué es
      Un gateway guarda todas las claves de proveedor, lo que lo convierte en un objetivo principal. En marzo de 2026 dos versiones de LiteLLM en PyPI eran maliciosas; fija versiones exactas o digests de imagen, usa las imágenes estables del fabricante, analiza las dependencias y sigue los avisos del proyecto.
      Cuándo usarlo
      Todo gateway autoalojado, elijas el proyecto que elijas.
      Cifras clave
      • litellm 1.82.7 y 1.82.8 estuvieron publicadas en PyPI unos 40 minutos el 24 de marzo de 2026; la imagen oficial de Docker no se vio afectada y la 1.83.0 salió con un pipeline reconstruido. A los usuarios afectados se les pidió rotar todos los secretos.Fuente: LiteLLM security update, March 2026
  9. Escenarios y casos de uso

    Cuándo necesitas uno

    Qué es
    Las situaciones que justifican un gateway, cada una con las capacidades en las que se apoya, más una guía para elegir el gateway que encaja con cada stack.
    Cuándo usarlo
    Empieza por el escenario y después elige el producto.
    1. AI gateway empresarial

      Una puerta para todo

      Qué es
      Un equipo de plataforma central ofrece modelos a todos los departamentos: un endpoint, claves por equipo vinculadas al SSO, lista de modelos aprobados, presupuestos y repercusión de costes, registros centrales y un único sitio para cambiar de proveedor.
      Cuándo usarlo
      Empresas que han pasado la fase piloto y tienen varias aplicaciones de IA en producción.
      Ángulo de IA
      Se apoya en claves virtuales, presupuestos, alias de modelos, registros y RBAC.
    2. Gateway de agentes

      Agentes, MCP, tools

      Qué es
      Los agentes necesitan modelos, herramientas y otros agentes. El gateway agrega servidores MCP tras un endpoint autenticado, inyecta las credenciales de cada herramienta, limita qué agente puede llamar a qué herramienta y registra las llamadas a herramientas junto a las llamadas al modelo.
      Cuándo usarlo
      Plataformas de agentes con muchos servidores MCP o agentes que actúan en nombre de usuarios.
      Ángulo de IA
      AgentCore Gateway, Azure API Management, Apigee, LiteLLM y Kong lo cubren.
    3. Coste y respaldo multiproveedor

      El más barato que sirva

      Qué es
      Enruta cada petición al modelo más barato que la resuelve, cachea las repeticiones, pasa a un segundo proveedor ante errores 429 o caídas y mantén un respaldo probado para cuando se retiren modelos.
      Cuándo usarlo
      Productos de gran volumen donde el gasto en tokens es una de las principales partidas.
    4. AI gateway seguro

      Claves, acceso, auditoría

      Qué es
      Claves del proveedor solo en el vault, claves de mínimo privilegio por servicio, anonimización de PII y guardarraíles a la salida, y un registro de auditoría inmutable de quién envió qué prompt a qué modelo.
      Cuándo usarlo
      Finanzas, salud, legal y cualquier equipo sujeto a una política de IA o un NDA.
    5. Residencia de datos

      Datos en la región

      Qué es
      El gateway fija el tráfico sensible a endpoints dentro de la región (perfiles geográficos de Bedrock, despliegues regionales de Azure) o a un modelo autoalojado, y solo deja que las peticiones anonimizadas lleguen a endpoints globales.
      Cuándo usarlo
      Datos personales de la UE bajo el RGPD, sector público, cláusulas contractuales de residencia.
    6. Agentes de programación a escala

      Presupuesto por persona

      Qué es
      Agentes de programación como Claude Code o Codex apuntando a la URL base del gateway: una clave y un presupuesto por desarrollador, uso por equipo y el modelo que hay detrás elegido de forma central. LiteLLM y Vercel AI Gateway documentan este montaje.
      Cuándo usarlo
      Extender agentes de programación a cientos de ingenieros con un techo de costes.
    7. IA por cliente en un SaaS

      Medir y limitar clientes

      Qué es
      Una clave del gateway por cliente permite facturar por uso, aplicar límites de plan (tokens al mes), aislar la caché por cliente y bloquear a un cliente abusivo sin afectar al resto.
      Cuándo usarlo
      Productos B2B que revenden funciones de IA dentro de sus planes.
    8. Cuándo puedes esperar

      Una app, un proveedor

      Qué es
      Una sola aplicación que llama a un solo proveedor puede apoyarse en los límites y paneles del propio proveedor: la documentación de Microsoft indica que un límite de TPM en el despliegue basta hasta que crece el número de aplicaciones. Añade un gateway cuando llegue la segunda aplicación, equipo o proveedor.
      Cuándo usarlo
      Prototipos y herramientas de un solo propósito.
    9. Qué gateway

      Según tu stack

      Qué es
      Una recomendación de partida para cada situación; compruébala con una prueba de carga y una revisión de seguridad sobre tu propio tráfico antes de comprometerte.
      Cuándo usarlo
      Elegir dos candidatos para una prueba de concepto.
      1. Uso general

        LiteLLM

        Qué es
        La mayor cobertura de proveedores, claves virtuales, presupuestos y una interfaz de administración, en un stack de Python que la mayoría de equipos de IA ya conoce.
        Cuándo usarlo
        Equipos de IA en Python y plataformas multicloud.
      2. Alto volumen

        Bifrost

        Qué es
        Un gateway en Go pensado para una sobrecarga mínima por petición con miles de peticiones por segundo.
        Cuándo usarlo
        Flujos de producción de gran volumen sensibles a la latencia.
      3. Plataforma Kubernetes

        Agent Router (Envoy)

        Qué es
        El tráfico de IA gestionado con el mismo plano de datos de Envoy y los mismos recursos de Gateway API que el resto del clúster.
        Cuándo usarlo
        Equipos de plataforma que estandarizan en Envoy.
      4. Nativo de AWS

        Bedrock + AgentCore

        Qué es
        Bedrock con Guardrails e inferencia entre regiones para los modelos, AgentCore Gateway e Identity para agentes y herramientas; añade la guía de LiteLLM cuando necesites presupuestos por equipo o proveedores fuera de AWS.
        Cuándo usarlo
        Empresas cuyos datos e identidades ya están en AWS.
      5. Azure y Microsoft

        API Management

        Qué es
        Las políticas de AI gateway de API Management delante de Foundry y otros proveedores, con identidades administradas y Content Safety.
        Cuándo usarlo
        Organizaciones centradas en Microsoft 365 y Azure.
      6. Google Cloud

        Apigee + Model Armor

        Qué es
        Las políticas de tokens, el enrutado y la caché de Apigee con la revisión de Model Armor delante de Gemini y otros modelos.
        Cuándo usarlo
        Stacks centrados en Gemini y clientes de Apigee.
      7. Inicio más rápido

        Un gateway alojado

        Qué es
        Cloudflare AI Gateway, Vercel AI Gateway u OpenRouter: registros, presupuestos y respaldos sin infraestructura, si los datos pueden pasar por el proveedor.
        Cuándo usarlo
        Prototipos y equipos pequeños.

Fuentes, consultadas el 16 de noviembre de 2026: los README y la documentación de LiteLLM (BerriAI/litellm), Bifrost (maximhq/bifrost), Portkey Gateway (Portkey-AI/gateway), Agent Router (envoyproxy/ai-gateway), Apache APISIX y Kong AI Gateway; la actualización de seguridad de LiteLLM de marzo de 2026; la documentación de AWS sobre la inferencia entre regiones y Guardrails de Amazon Bedrock, Amazon Bedrock AgentCore Gateway y AgentCore Identity, y la AWS Guidance for Multi-Provider Generative AI Gateway; Microsoft Learn, "AI gateway capabilities in Azure API Management"; la documentación de Google Cloud sobre las capacidades de IA de Apigee y la integración con Model Armor; la documentación de Cloudflare AI Gateway, Vercel AI Gateway y OpenRouter; el anuncio de la Agentic AI Foundation de septiembre de 2026. Las cifras de latencia son pruebas de los propios fabricantes. Las funciones cambian entre versiones y niveles: revisa la documentación de la versión que despliegues.