← Cloudflare AI Gateway / ai-gateway / usage / providers

HuggingFace

HuggingFace ↗ pomáhá uživatelům vytvářet, nasazovat a trénovat modely strojového učení.

https://gateway.ai.cloudflare.com/v1/{account_id}/{gateway_id}/huggingface

Při odesílání požadavků do HuggingFace Inference API nahraďte https://api-inference.huggingface.co/models/ v URL adrese, kterou aktuálně používáte s https://gateway.ai.cloudflare.com/v1/{account_id}/{gateway_id}/huggingface. Model, ke kterému se snažíte přistupovat, by měl následovat hned za tím, například https://gateway.ai.cloudflare.com/v1/{account_id}/{gateway_id}/huggingface/bigcode/starcoder.

Při odesílání požadavků do HuggingFace se ujistěte, že máte následující:

• Vaše AI Gateway Account ID.
• Název vaší gateway v AI Gateway.
• Aktivní API token HuggingFace.
• Název modelu HuggingFace, který chcete použít.

curl https://gateway.ai.cloudflare.com/v1/{account_id}/{gateway_id}/huggingface/bigcode/starcoder \
  --header 'Authorization: Bearer {hf_api_token}' \
  --header 'Content-Type: application/json' \
  --data '{
    "inputs": "console.log"
}'

Pokud používáte knihovnu HuggingFace.js, můžete nastavit svůj inferenční koncový bod takto:

import { HfInferenceEndpoint } from "@huggingface/inference";

const accountId = "{account_id}";
const gatewayId = "{gateway_id}";
const model = "gpt2";
const baseURL = `https://gateway.ai.cloudflare.com/v1/${accountId}/${gatewayId}/huggingface/${model}`;
const apiToken = env.HF_API_TOKEN;

const hf = new HfInferenceEndpoint(baseURL, apiToken);