Une passerelle pour tout.
Connectez, routez et gouvernez l'accès aux modèles d'IA via une passerelle unifiée, conçue pour les charges de travail d'entreprise.
Une seule adresse pour tous les modèles
Votre code appelle la passerelle. La passerelle choisit quel fournisseur sert la requête et consigne ce qui s'est passé.
Ce que la passerelle vous enlève
Le travail qui apparaît dès qu'arrivent un deuxième modèle, un deuxième fournisseur ou une deuxième équipe.
Une bascule qui n'est pas votre problème
Quand un fournisseur ralentit ou échoue, le suivant dans la politique prend la requête sans déploiement.
Des plafonds de dépense qui mordent
Des limites par équipe et par clé appliquées à la passerelle, pas découvertes sur la facture.
Les clés fournisseur tiennent en un seul endroit
Les applications détiennent une clé de passerelle. Les identifiants fournisseur ne la quittent jamais.
Le travail répété ne coûte rien
Les requêtes identiques sortent du cache, avec le taux de succès affiché à côté de la dépense.
Ce que prend en charge la passerelle
- Fournisseurs
- Anthropic, OpenAI, Google, Mistral, et tout point d'entrée compatible OpenAI que vous hébergez.
- Routage
- Politiques pondérées, sensibles au coût, à la latence et à la région, avec bascule ordonnée.
- Limites
- Plafonds de débit et de dépense par clé, par équipe et par modèle.
- Cache
- Correspondance exacte et préfixe de prompt, configurable par route.
- Traces
- Chaque requête conservée avec le modèle, les jetons, le coût, la latence et l'appelant.
Avant d'y faire passer la production
Ce que demandent les équipes plateforme quand un composant unique se place devant chaque appel de modèle.
Dirigez-y un appel
Changez une URL de base, envoyez une requête et lisez la décision de routage prise.