INTEGRITY Dokumentace

← Cloudflare AI Gateway / ai-gateway / evaluations

Přidání Human Feedback pomocí API

Tento návod vás provede kroky přidání human feedback k požadavku AI Gateway pomocí Cloudflare API. Naučíte se načíst příslušné protokoly požadavků a odeslat zpětnou vazbu pomocí API.

Pokud dáváte přednost přidání human feedback přes dashboard, podívejte se na Přidat Human Feedback.

1. Vytvořte token API

  1. Vytvořte token API s následujícími oprávněními:
  1. Získejte svůj ID účtu.
  2. Pomocí daného tokenu API a Account ID odešlete POST požadavek do Cloudflare API.

2. Načtěte cf-aig-log-id

cf-aig-log-id je jedinečný identifikátor konkrétní položky protokolu, ke které chcete přidat zpětnou vazbu. Níže jsou uvedeny dva způsoby, jak tento identifikátor získat.

Metoda 1: Vyhledejte cf-aig-log-id v odpovědi na požadavek

Tato metoda vám umožňuje přímo najít cf-aig-log-id v hlavičce odpovědi vrácené AI Gateway. Toto je nejjednodušší přístup, pokud máte přístup k původní odpovědi API.

Níže uvedené kroky popisují, jak na to.

  1. Odeslat požadavek do AI Gateway: Může se jednat o požadavek, který vaše aplikace odesílá do AI Gateway. Jakmile je požadavek odeslán, odpověď bude obsahovat různá metadata.
  2. Zkontrolujte hlavičky odpovědi: Odpověď bude obsahovat hlavičku s názvem cf-aig-log-id. Toto je identifikátor, který budete potřebovat k odeslání zpětné vazby.

V následujícím příkladu cf-aig-log-id je 01JADMCQQQBWH3NXZ5GCRN98DP.

{
	"status": "success",
	"headers": {
		"cf-aig-log-id": "01JADMCQQQBWH3NXZ5GCRN98DP"
	},
	"data": {
		"response": "Sample response data"
	}
}

Metoda 2: Načtěte cf-aig-log-id přes API (GET požadavek)

Pokud nemáte cf-aig-log-id v těle odpovědi, nebo k němu potřebujete přistupovat dodatečně, můžete jej získat dotazem do protokolů pomocí Cloudflare API.

Odešlete GET požadavek pro získání seznamu logů a následné vyhledání konkrétního ID

Požadovaná oprávnění API tokenu

Alespoň jeden z následujících oprávnění tokenu je povinné:
Vypsat protokoly gateway
curl "https://api.cloudflare.com/client/v4/accounts/$ACCOUNT_ID/ai-gateway/gateways/$GATEWAY_ID/logs" \
	--request GET \
	--header "Authorization: Bearer $CLOUDFLARE_API_TOKEN"
{
	"result": [
		{
			"id": "01JADMCQQQBWH3NXZ5GCRN98DP",
			"cached": true,
			"created_at": "2019-08-24T14:15:22Z",
			"custom_cost": true,
			"duration": 0,
			"id": "string",
			"metadata": "string",
			"model": "string",
			"model_type": "string",
			"path": "string",
			"provider": "string",
			"request_content_type": "string",
			"request_type": "string",
			"response_content_type": "string",
			"status_code": 0,
			"step": 0,
			"success": true,
			"tokens_in": 0,
			"tokens_out": 0
		}
	]
}

Metoda 3: Načtěte cf-aig-log-id přes binding

Také můžete načíst cf-aig-log-id pomocí binding, což celý proces zjednoduší. Zde je návod, jak získat ID protokolu přímo:

const resp = await env.AI.run(
	"@cf/meta/llama-3-8b-instruct",
	{
		prompt: "tell me a joke",
	},
	{
		gateway: {
			id: "my_gateway_id",
		},
	},
);

const myLogId = env.AI.aiGatewayLogId;

3. Odešlete zpětnou vazbu prostřednictvím požadavku PATCH

Jakmile máte API token a cf-aig-log-id, můžete odeslat požadavek PATCH pro zaslání zpětné vazby.

Požadovaná oprávnění API tokenu

Alespoň jeden z následujících oprávnění tokenu je povinné:
Patch Gateway Log
curl "https://api.cloudflare.com/client/v4/accounts/$ACCOUNT_ID/ai-gateway/gateways/$GATEWAY_ID/logs/$ID" \
	--request PATCH \
	--header "Authorization: Bearer $CLOUDFLARE_API_TOKEN" \
	--json '{
		"feedback": 1
	}'

Pokud jste měli negativní zpětnou vazbu, upravte tělo požadavku na -1.

{
	"feedback": -1
}

4. Ověřte odeslání zpětné vazby

Odeslání zpětné vazby můžete ověřit dvěma způsoby: