¿Qué es Requesty LLM Gateway?

Requesty es un LLM Gateway que funciona como un middleware inteligente para todas sus necesidades de LLM. Intégrelo con Más de 200 proveedores de LLM Cambiando un solo valor: tu URL base. Usa una única clave API para acceder a todos los proveedores y olvídate de las recargas y los límites de velocidad.

En el momento en que cambias la URL base, obtienes:

• Rastreo: Vea todas sus llamadas de inferencia LLM sin cambiar nada en su código.
• Telemetría: Consulta la latencia, el número de solicitudes, las tasas de almacenamiento en caché y mucho más sin modificar nada en tu código.
• Facturación: Vea exactamente cuánto gasta con cada proveedor y para cada caso de uso.
• Seguridad de los datos: Proteja su información personal identificable (PII) y los secretos de su empresa enmascarándolos antes de que lleguen al proveedor de LLM.
• Privacidad: Restringir el uso a proveedores en una región específica.
• Enrutamiento inteligente: Enrutamiento de solicitudes basado en el modelo de clasificación de enrutamiento inteligente de Requesty, lo que ahorra costes y mejora el rendimiento.

Casos de uso y características

1. Acceda a más de 200 modelos con una sola clave API. sin ningún límite de velocidad

2. Obtén acceso compatible con OpenAI a todos los proveedores de LLM

3. Obtenga seguimiento, telemetría y facturación agregados. para todas sus llamadas de inferencia LLM