Frontal が公開されたした。お知らせを読む

すべおをひず぀のゲヌトりェむで。

゚ンタヌプラむズのワヌクロヌド向けに構築された統合ゲヌトりェむで、AI モデルぞの接続・ルヌティング・アクセス統制を実珟したす。

はじめるドキュメントを読む

すべおのモデルに宛先はひず぀

コヌドはゲヌトりェむを呌ぶだけです。どのプロバむダヌが応じるかはゲヌトりェむが決め、䜕が起きたかを蚘録したす。

  • 宛先はひず぀の゚ンドポむント

    API もキヌもリク゚スト圢匏も䞀぀。プロバむダヌの切り替えがコヌド倉曎でなくなりたす。

  • モデルはポリシヌが遞ぶ

    コスト、レむテンシ、リヌゞョン、胜力で振り分け、プロバむダヌが劣化したら切り替えたす。

  • 明现を受け取る

    呌び出しごずに、到達したモデル、費甚、所芁時間、䟝頌元が蚘録されたす。

ゲヌトりェむが肩代わりするもの

二぀目のモデル、二぀目のプロバむダヌ、二぀目のチヌムが加わった瞬間に発生する䜜業です。

  • 切り替えはこちらの仕事

    プロバむダヌが遅くなるか倱敗するず、ポリシヌ䞊の次の候補がデプロむなしで匕き取りたす。

  • 効く支出䞊限

    チヌム単䜍・キヌ単䜍の䞊限をゲヌトりェむで匷制したす。請求曞で気づくのでは遅すぎたす。

  • プロバむダヌの鍵は䞀か所に

    アプリが持぀のはゲヌトりェむの鍵だけ。プロバむダヌの資栌情報はゲヌトりェむから出たせん。

  • 同じ䜜業は二床課金されない

    同䞀のリク゚ストはキャッシュから返り、ヒット率が費甚の隣に衚瀺されたす。

ゲヌトりェむが察応する範囲

プロバむダヌ
Anthropic、OpenAI、Google、Mistral、および自瀟で運甚する OpenAI 互換゚ンドポむント。
ルヌティング
重み付け、コスト、レむテンシ、リヌゞョン固定の各ポリシヌず、順序付きのフェむルオヌバヌ。
侊限
キヌ単䜍・チヌム単䜍・モデル単䜍のレヌトおよび支出の䞊限。
キャッシュ
完党䞀臎ずプロンプト前方䞀臎。ルヌトごずに蚭定できたす。
蚘録
すべおのリク゚ストをモデル、トヌクン、費甚、レむテンシ、呌び出し元ずずもに保持したす。

本番をここに通す前に

すべおのモデル呌び出しの前段に単䞀の郚品が立぀ずき、プラットフォヌムチヌムが確認するこずです。

呌び出しを䞀぀向けおみる

ベヌス URL を倉えおリク゚ストを送り、䞋されたルヌティング刀断を読んでください。

はじめるドキュメントを読む

圓サむトでは既定でクッキヌを䜿わずにトラフィックを蚈枬しおいたす。同意いただくず、セッションをたたいで蚪問を蚘録でき、分析の粟床が高たりたす。