← Cloudflare Workers AI / workers-ai / configuration

Конечные точки API, совместимые с OpenAI

Workers AI поддерживает совместимые с OpenAI конечные точки для генерация текста (/v1/chat/completions) и модели текстовых эмбеддингов (/v1/embeddings). Это позволяет использовать тот же код, что и для команд OpenAI, просто легко заменив его на Workers AI.

Использование

Workers AI

Обычно Workers AI требует указывать имя модели в конечной точке cURL или в env.AI.run функцию.

Благодаря совместимым с OpenAI конечным точкам вы можете использовать openai-node sdk ↗ для вызова Workers AI. Это позволяет использовать Workers AI, просто изменив базовый URL и название модели.

Пример OpenAI SDK

import OpenAI from "openai";

const openai = new OpenAI({
	apiKey: env.CLOUDFLARE_API_KEY,
	baseURL: `https://api.cloudflare.com/client/v4/accounts/${env.CLOUDFLARE_ACCOUNT_ID}/ai/v1`,
});

// Use chat completions
const chatCompletion = await openai.chat.completions.create({
	messages: [{ role: "user", content: "Make some robot noises" }],
	model: "@cf/meta/llama-3.1-8b-instruct",
});

// Use responses
const response = await openai.responses.create({
	model: "@cf/openai/gpt-oss-120b",
	input: "Talk to me about open source",
});

const embeddings = await openai.embeddings.create({
	model: "@cf/baai/bge-large-en-v1.5",
	input: "I love matcha",
});

Пример cURL

curl --request POST \
  --url https://api.cloudflare.com/client/v4/accounts/{account_id}/ai/v1/chat/completions \
  --header "Authorization: Bearer {api_token}" \
  --header "Content-Type: application/json" \
  --data '
    {
      "model": "@cf/meta/llama-3.1-8b-instruct",
      "messages": [
        {
          "role": "user",
          "content": "how to build a wooden spoon in 3 short steps? give as short as answer as possible"
        }
      ]
    }
'

AI Gateway

Эти конечные точки также совместимы с AI Gateway.