← Cloudflare Workers AI / workers-ai / configuration

Koncové body API kompatibilní s OpenAI

Workers AI podporuje koncové body kompatibilní s OpenAI pro generování textu (/v1/chat/completions) a textové embedding modely (/v1/embeddings). Díky tomu můžete použít stejný kód jako pro příkazy OpenAI, jen snadno zaměníte Workers AI.

Použití

Workers AI

Workers AI běžně vyžaduje, abyste název modelu zadali v koncovém bodu cURL nebo ve funkci env.AI.run .

Díky kompatibilním koncovým bodům OpenAI můžete využít openai-node SDK ↗ pro volání Workers AI. Díky tomu můžete Workers AI použít jednoduše tak, že změníte základní URL adresu a název modelu.

Příklad OpenAI SDK

import OpenAI from "openai";

const openai = new OpenAI({
	apiKey: env.CLOUDFLARE_API_KEY,
	baseURL: `https://api.cloudflare.com/client/v4/accounts/${env.CLOUDFLARE_ACCOUNT_ID}/ai/v1`,
});

// Use chat completions
const chatCompletion = await openai.chat.completions.create({
	messages: [{ role: "user", content: "Make some robot noises" }],
	model: "@cf/meta/llama-3.1-8b-instruct",
});

// Use responses
const response = await openai.responses.create({
	model: "@cf/openai/gpt-oss-120b",
	input: "Talk to me about open source",
});

const embeddings = await openai.embeddings.create({
	model: "@cf/baai/bge-large-en-v1.5",
	input: "I love matcha",
});

Příklad cURL

curl --request POST \
  --url https://api.cloudflare.com/client/v4/accounts/{account_id}/ai/v1/chat/completions \
  --header "Authorization: Bearer {api_token}" \
  --header "Content-Type: application/json" \
  --data '
    {
      "model": "@cf/meta/llama-3.1-8b-instruct",
      "messages": [
        {
          "role": "user",
          "content": "how to build a wooden spoon in 3 short steps? give as short as answer as possible"
        }
      ]
    }
'

AI Gateway

Tyto endpointy jsou také kompatibilní s AI Gateway.