← Cloudflare Workers AI / workers-ai / configuration

Hugging Face Chat UI

Используйте Workers AI вместе с Chat UI ↗, чат-интерфейс с открытым исходным кодом от Hugging Face.

Предварительные требования

Вам потребуется следующее:

A Аккаунт Cloudflare ↗
Ваш Account ID
Одна API-токен для Workers AI

Настройка

Сначала решите, как ссылаться на Account ID и API token (либо напрямую в вашем .env.local с помощью CLOUDFLARE_ACCOUNT_ID и CLOUDFLARE_API_TOKEN переменных или в конфигурации эндпоинта).

Затем выполните оставшиеся шаги инструкции по настройке из Репозиторий Chat UI на GitHub ↗.

При настройке моделей укажите cloudflare конечная точка.

{
  "name" : "nousresearch/hermes-2-pro-mistral-7b",
  "tokenizer": "nousresearch/hermes-2-pro-mistral-7b",
  "parameters": {
    "stop": ["<|im_end|>"]
  },
  "endpoints" : [
    {
      "type": "cloudflare",
      // optionally specify these if not included in .env.local
      "accountId": "your-account-id",
      "apiToken": "your-api-token"
      //
    }
  ]
}

Поддерживаемые модели

Этот шаблон работает с любым модели для генерации текста начинающиеся с @hf параметр.