← Cloudflare AI Gateway / ai-gateway / usage / providers

HuggingFace

HuggingFace ↗ помогает пользователям создавать, развёртывать и обучать модели машинного обучения.

https://gateway.ai.cloudflare.com/v1/{account_id}/{gateway_id}/huggingface

При отправке запросов к HuggingFace Inference API замените https://api-inference.huggingface.co/models/ в URL, который вы сейчас используете с https://gateway.ai.cloudflare.com/v1/{account_id}/{gateway_id}/huggingface. Обратите внимание, что модель, к которой вы пытаетесь обратиться, должна идти сразу после, например https://gateway.ai.cloudflare.com/v1/{account_id}/{gateway_id}/huggingface/bigcode/starcoder.

Отправляя запросы к HuggingFace, убедитесь, что у вас есть следующее:

• Account ID вашего AI Gateway.
• Название шлюза AI Gateway.
• Активный API-токен HuggingFace.
• Название модели HuggingFace, которую вы хотите использовать.

curl https://gateway.ai.cloudflare.com/v1/{account_id}/{gateway_id}/huggingface/bigcode/starcoder \
  --header 'Authorization: Bearer {hf_api_token}' \
  --header 'Content-Type: application/json' \
  --data '{
    "inputs": "console.log"
}'

Если вы используете библиотеку HuggingFace.js, эндпойнт инференса можно задать так:

import { HfInferenceEndpoint } from "@huggingface/inference";

const accountId = "{account_id}";
const gatewayId = "{gateway_id}";
const model = "gpt2";
const baseURL = `https://gateway.ai.cloudflare.com/v1/${accountId}/${gatewayId}/huggingface/${model}`;
const apiToken = env.HF_API_TOKEN;

const hf = new HfInferenceEndpoint(baseURL, apiToken);