INTEGRITY Документация

← Cloudflare AI Gateway / ai-gateway / usage / providers

Groq

Groq ↗ обеспечивает высокоскоростную обработку и низкую задержку.

Конечная точка

https://gateway.ai.cloudflare.com/v1/{account_id}/{gateway_id}/groq

Структура URL

При отправке запросов к Groq ↗, замените https://api.groq.com/openai/v1 в URL, который вы сейчас используете с https://gateway.ai.cloudflare.com/v1/{account_id}/{gateway_id}/groq.

Предварительные требования

Отправляя запросы к Groq, убедитесь, что у вас есть следующее:

Примеры

cURL

Пример запроса fetch
curl https://gateway.ai.cloudflare.com/v1/{account_id}/{gateway_id}/groq/chat/completions \
  --header 'Authorization: Bearer {groq_api_key}' \
  --header 'Content-Type: application/json' \
  --data '{
    "messages": [
      {
        "role": "user",
        "content": "What is Cloudflare?"
      }
    ],
    "model": "llama3-8b-8192"
}'

Использование Groq SDK с JavaScript

Если используется groq-sdk ↗, задайте эндпойнт следующим образом:

JavaScript
import Groq from "groq-sdk";

const apiKey = env.GROQ_API_KEY;
const accountId = "{account_id}";
const gatewayId = "{gateway_id}";
const baseURL = `https://gateway.ai.cloudflare.com/v1/${accountId}/${gatewayId}/groq`;

const groq = new Groq({
	apiKey,
	baseURL,
});

const messages = [{ role: "user", content: "What is Cloudflare?" }];
const model = "llama3-8b-8192";

const chatCompletion = await groq.chat.completions.create({
	messages,
	model,
});

OpenAI-совместимый эндпойнт

Вы также можете обращаться к моделям Groq через схему OpenAI API, используя REST API. Отправляйте свои запросы на:

https://api.cloudflare.com/client/v4/accounts/{account_id}/ai/v1/chat/completions

Укажите:


{
"model": "groq/{model}"
}