← Cloudflare AI Gateway / ai-gateway / usage / providers

Baseten

Baseten ↗ предоставляет инфраструктуру для создания и развёртывания моделей машинного обучения в большом масштабе. Baseten предоставляет доступ к различным языковым моделям через единый API chat completions.

Конечная точка

https://gateway.ai.cloudflare.com/v1/{account_id}/{gateway_id}/baseten

Предварительные требования

Для запросов к Baseten убедитесь, что у вас есть следующее:

Account ID вашего AI Gateway.
Название шлюза AI Gateway.
Активный API-токен Baseten.
Название модели Baseten, которую вы хотите использовать.

OpenAI-совместимый chat completions API

Baseten предоставляет совместимый с OpenAI API для завершения чата для поддерживаемых моделей.

cURL

Пример запроса fetch

curl https://gateway.ai.cloudflare.com/v1/{account_id}/{gateway_id}/baseten/v1/chat/completions \
  --header 'Authorization: Bearer {baseten_api_token}' \
  --header 'Content-Type: application/json' \
  --data '{
    "model": "openai/gpt-oss-120b",
    "messages": [
      {
        "role": "user",
        "content": "What is Cloudflare?"
      }
    ]
  }'

Использование OpenAI SDK с JavaScript

JavaScript

import OpenAI from "openai";

const apiKey = "{baseten_api_token}";
const accountId = "{account_id}";
const gatewayId = "{gateway_id}";
const baseURL = `https://gateway.ai.cloudflare.com/v1/${accountId}/${gatewayId}/baseten`;

const openai = new OpenAI({
  apiKey,
  baseURL,
});

const model = "openai/gpt-oss-120b";
const messages = [{ role: "user", content: "What is Cloudflare?" }];

const chatCompletion = await openai.chat.completions.create({
  model,
  messages,
});

console.log(chatCompletion);

OpenAI-совместимый эндпойнт

Вы также можете обращаться к моделям Baseten через схему OpenAI API, используя REST API. Отправляйте свои запросы на:

https://api.cloudflare.com/client/v4/accounts/{account_id}/ai/v1/chat/completions

Укажите:


{
"model": "baseten/{model}"
}

Эндпойнты для конкретных моделей

Для моделей, которые не используют API, совместимый с OpenAI, доступ можно получить через их специфические эндпойнты моделей.

cURL

Пример запроса fetch

curl https://gateway.ai.cloudflare.com/v1/{account_id}/{gateway_id}/baseten/model/{model_id} \
  --header 'Authorization: Bearer {baseten_api_token}' \
  --header 'Content-Type: application/json' \
  --data '{
    "prompt": "What is Cloudflare?",
    "max_tokens": 100
  }'

Использование с JavaScript

JavaScript

const accountId = "{account_id}";
const gatewayId = "{gateway_id}";
const basetenApiToken = "{baseten_api_token}";
const modelId = "{model_id}";
const baseURL = `https://gateway.ai.cloudflare.com/v1/${accountId}/${gatewayId}/baseten`;

const response = await fetch(`${baseURL}/model/${modelId}`, {
  method: "POST",
  headers: {
    "Authorization": `Bearer ${basetenApiToken}`,
    "Content-Type": "application/json",
  },
  body: JSON.stringify({
    prompt: "What is Cloudflare?",
    max_tokens: 100,
  }),
});

const result = await response.json();
console.log(result);