모든 모델에 주소는 하나
코드는 게이트웨이를 부르기만 합니다. 어느 제공자가 요청을 받을지는 게이트웨이가 정하고, 무슨 일이 있었는지 기록합니다.
게이트웨이가 대신 떠맡는 일
두 번째 모델, 두 번째 제공자, 두 번째 팀이 들어오는 순간 생겨나는 작업입니다.
전환은 우리 몫
제공자가 느려지거나 실패하면 정책의 다음 후보가 배포 없이 요청을 받습니다.
실제로 무는 지출 상한
팀별·키별 상한을 게이트웨이에서 강제합니다. 청구서에서 알게 되는 것이 아닙니다.
제공자 키는 한곳에만
애플리케이션이 쥐는 것은 게이트웨이 키입니다. 제공자 자격 증명은 게이트웨이 밖으로 나가지 않습니다.
같은 일에 두 번 내지 않기
동일한 요청은 캐시에서 나가고, 적중률이 지출 옆에 함께 표시됩니다.
게이트웨이가 지원하는 범위
- 제공자
- Anthropic, OpenAI, Google, Mistral, 그리고 직접 운영하는 OpenAI 호환 엔드포인트.
- 라우팅
- 가중치, 비용, 지연, 리전 고정 정책과 순서가 정해진 장애 전환.
- 상한
- 키별·팀별·모델별 요청량과 지출 상한.
- 캐시
- 완전 일치와 프롬프트 접두사 일치, 경로별로 설정 가능.
- 기록
- 모든 요청을 모델, 토큰, 비용, 지연, 호출자와 함께 보관합니다.
운영 트래픽을 여기로 보내기 전에
모든 모델 호출 앞에 하나의 구성 요소가 서 있을 때 플랫폼 팀이 확인하는 것들입니다.