Qu'est-ce que Requesty LLM Gateway ?

Requesty est un Passerelle LLM qui fonctionne comme un middleware intelligent pour tous vos besoins LLM. Intégrez-le avec Plus de 200 fournisseurs de LLM En modifiant une seule valeur : votre URL de base. Utilisez une seule clé API pour accéder à tous les fournisseurs et oubliez les recharges et les limites de débit.

Dès que vous modifiez l'URL de base, vous obtenez :

• Tracé: Visualisez tous vos appels d'inférence LLM sans modifier votre code.
• Télémétrie : Visualisez la latence, le nombre de requêtes, les taux de mise en cache et bien plus encore sans modifier votre code.
• Facturation: Découvrez précisément vos dépenses auprès de chaque fournisseur et pour chaque cas d'utilisation.
• Sécurité des données : Protégez vos informations personnelles et les secrets de votre entreprise en les masquant avant qu'ils ne soient transmis au prestataire LLM.
• Confidentialité: Limiter l'utilisation aux fournisseurs d'une région spécifique
• Routage intelligent : Les requêtes d'acheminement sont basées sur le modèle de classification d'acheminement intelligent de Requesty, ce qui permet de réduire les coûts et d'améliorer les performances.

Cas d'utilisation et fonctionnalités

1. Accédez à plus de 200 modèles avec une seule clé API. sans aucune limite de débit

2. Obtenir un accès compatible avec OpenAI à tous les fournisseurs de LLM

3. Obtenez des données agrégées de traçage, de télémétrie et de facturation pour tous vos appels d'inférence LLM